plusserver-Blog-S3
Blog

|

01.04.2021

S3 Object Storage: Flexibel skalierbarer Cloud-Speicher

Andreas Buhlmann
Object Storage unterstützt Unternehmen und Entwickler, große Datenmengen in einer skalierbaren Umgebung sicher zu speichern.

Was ist Object Storage?

Die Cloud-Speicherlösung Object Storage hilft dabei, große Mengen an unstrukturierten Daten besser zu organisieren und einfacher zu verwalten. Dazu werden Daten als „Objekte“ in einem flachen Adressraum gespeichert. Das bedeutet: Alle Objekte liegen quasi in einem einzigen großen Verzeichnispool ohne hierarchische Baumstruktur. Die Objekte sind jedoch anhand eindeutig zugewiesener Identifikatoren (IDs) und dazugehöriger Metadaten für andere Anwendungen erkennbar.

Ein Objekt-Paket besteht also aus der eigentlichen Datei sowie zugehörigen Metadaten, welche den Inhalt der Datei näher beschreiben. Das erleichtert die Strukturierung von großen, bis dahin unstrukturierten, Datenmengen. Bei einem Video könnten dessen Metadaten zum Beispiel den Ort vermerken, an dem das Video erstellt wurde. Möchte eine Anwendung auf ein Video von einem speziellen Ort zugreifen, findet sie das eindeutig gekennzeichnete Objekt schnell und einfach im Verzeichnispool.

Object Storage oder S3 Storage?

Object Storage kann in jede Anwendung oder jeden Workflow integriert werden. Die Integration erfolgt dabei meist via Web über ein dediziertes Nutzerportal oder über einen S3-kompatiblen Client. Der Begriff S3 geht aus dem Storage-Angebot von AWS hervor. Es hat sich inzwischen im Bereich Object Storage zum Quasi-Standard für die Storage-Schnittstelle etabliert. S3 basiert auf HTTP(S), um die Anforderungen einer geografisch verteilten Infrastruktur zu berücksichtigen. Wie HTTP(S) verwendet S3 die Befehle „Get“ für den Download sowie „Put“ für den Upload. Zudem bietet S3 Funktionen für direkte Abfragen, mit denen leistungsstarke Analysen direkt in den gespeicherten Daten ausgeführt werden können. Mittlerweile wird Object Storage häufig einfach als S3 oder S3 Storage bezeichnet.

Welche Vorteile bietet Object Storage?

Der wesentliche Vorteil ist die einfache Nutzung sowie die quasi unendliche Skalierbarkeit. Diese Art der Speicherlösung ist unabhängig vom Client-Dateisystem und gewährt einen verteilten Zugriff auf Dateien. Der Anwender bezieht das Objekt, ohne wissen zu müssen, an welchem physischen Standort sich die Daten befinden. Damit eignet sich diese Art der Speicherlösungen vor allem in Cloud-Umgebungen sowie für Stateless Container. Object Storage ermöglicht es zudem, Objekte direkt im Web verfügbar zu machen und es gibt für viele Programmiersprachen SDKs (Software Development Kits).

Metadaten machen Dateien auffindbar

Die verwendeten Metadaten können individuell und frei definiert werden. Alle zu einer Datei gehörenden Informationen lassen sich somit direkt im Objekt selbst speichern. Metadaten können zum Beispiel die Art der Anwendung enthalten, mit der das Objekt verknüpft ist, den Grad des Datenschutzes oder auch ein Verfallsdatum. Somit ist auch ein professionelles Lifecycle Management sowie eine Versionierung von Objekten möglich. Andere Anwendungen können die Daten jeweils anhand ihrer ID für eine Weiterverarbeitung aufrufen.

Wie viel kostet Object Storage?

Die Preisgestaltung beim Object Storage folgt gängigen „Pay-as-you-go“-Abrechnungsmodellen. Es gibt meist eine monatliche Grundgebühr plus flexibler Abrechnung nach genutztem Speicherplatz. Einige Anbieter berechnen außerdem den Datentransfer. Oft ist es möglich, ein fixes Budget pro Monat anzusetzen (Commitment), um die Kosten im Vorfeld zu limitieren und von Preisnachlässen zu profitieren.

Wofür braucht man Object Storage?

Typische Anwendungsfälle

  • Backup-Target
  • Medienarchiv
  • Bereitstellung statischer Webinhalte
  • Erfassung von IoT-Sensordaten
  • Permanent Storage für Stateless Computing
  • Trainings- und Produktionsdaten für Machine Learning
Im Zeitalter der Digitalisierung werden Daten oftmals als das „neue Gold“ bezeichnet. Fakt ist, dass inzwischen eine Vielzahl von Anwendungen und Geräten eine schier unübersichtliche Menge von Daten sammelt. Unternehmen stehen dabei vor der Herausforderung, diese enormen Datenmengen aus immer mehr Quellen sicher speichern und optimal analysieren zu können. Denn nur so ist es möglich, einen sinnvollen Nutzen daraus zu ziehen.

Big Data

Object Storage ist deshalb gerade für den Einsatz im Bereich Big Data sehr interessant: Angefangen vom großen Medienarchiv über die Erfassung von Sensordaten im Internet of Things (Produktion/Medizin) bis hin zu Big Data Analytics im Bereich Machine Learning. Object Storage eignet sich zudem für die sichere Speicherung von Backupdaten und für die Notfallwiederherstellung von Daten (Disaster Recovery). Auch für die Bereitstellung von statischen Inhalten sowie für eine permanente Datenspeicherung im Rahmen von Stateless Computing ist Object Storage interessant.

Fazit

Object Storage ist vor allem in Cloud-Umgebungen nützlich und eignet sich für die Speicherung relativ statischer, großer Datenmengen. Für den Zugriff auf sich häufig ändernde Daten oder gemeinsame Datenzugriffe ist diese Speicherlösung weniger geeignet. Für den Nutzer liegt der Fokus bei Object Storage komplett auf den Daten und Informationen. Auf welchem Speichermedium und an welchen Standorten die Inhalte liegen, ist für den Anwender nicht mehr relevant. Object Storage bietet damit direkte Kostenvorteile und ein Höchstmaß an Flexibilität bei der Verwaltung, Zugriffssteuerung und Compliance von Big Data.

Wo bekommt man Object Storage?

Viele Cloud-Anbieter haben entsprechende Angebote, die sich im Wesentlichen durch die Rechenzentrumsstandorte und Kosten unterscheiden. Günstigen S3-kompatiblen Storage in Deutschland gibt es zum Beispiel bei plusserver.

Die gängigsten Speicherarten im Überblick

Block Storage: Wenn sich Daten häufig ändern
Bei Block Storage sind die Daten in einzelnen Blöcken organisiert und werden auf einer Remote-Festplatte abgelegt. Der Datenzugriff erfolgt über ein Betriebssystem, das die Festplatte Block für Block steuert, als wäre sie direkt im Server integriert. Block Storage eignet sich vor allem für den Zugriff auf sich häufig ändernde Daten. Die gängigen Protokolle beim Zugriff via Block Storage sind Fibre-Channel und iSCSI und SATA.
File Storage: Für geteilte Datenverzeichnisse
Dieses Speicherverfahren eignet sich in erster Linie für den gemeinsame Zugriff auf Dateien über ein Netzwerk. Auch hier erfolgt der Zugriff über ein Betriebssystem, das auf Datei-Ebene agiert. Für den zugreifende Client ist irrelevant in welchen Blöcken die Datei auf der Festplatte abgelegt ist. Er gibt lediglich den Befehl „Datei XY öffnen“ und der Server liefert die angeforderte Datei aus. Der Vorteil ist, dass mehrere Clients auf ein geteiltes Dateiverzeichnis zugreifen können. Allerdings muss man sich im Vorfeld Gedanken über die Ordner-Struktur machen, damit es beim Datenzugriff nicht zu unübersichtlich wird. Die gängigen Protokolle beim Zugriff via File Storage sind NFS und CIFS.
Object Storage: Für große Datenmengen
Beim Object Storage wird das gesamte Objekt betrachtet – also die Datei und die dazugehörigen Metadaten. Diese Speicherlösung eignet sich vor allem für relativ statische Dateien, große Datenmengen (Big Data) sowie Cloud-Storage. Die gängigen Protokolle beim Zugriff via Object Storage sind REST APIs sowie SOAP über HTTP(S).

Über den Autor

Andreas Buhlmann verantwortet seit November 2022 als Senior Product Director das Storage Portfolio & Services sowie die dazugehörige Strategie bei plusserver. Das Leistungsportfolio umfasst neben hochstandardisierten Cloud-Storage-Produkten u.a. Themen wie Backup as a Service, Fileshare as a Service Strategien bis hin zum Betrieb von Storage Lösungen.

Weiterführende Inhalte

Blog

Speicherguide: Object Storage vs. File Storage

Cloud-Speichermodelle konzipiert für unstrukturierte Daten. Wesentlicher Unterschied: Skalierbarkeit
Blog

Speicherguide: Object Storage vs. Block Storage

Gegenüber Block Storage bietet Object Storage einen wesentlichen Vorteil: Dank Metadaten können Dateien einfach lokalisiert werden.
Produkte

Storage & Backup

Hochsicher und verfügbar. Weil Ihr Business ohne Daten nicht läuft.
Produkt

S3 Storage

Die flexible & preiswerte Speicherlösung für Cloud-native, IoT, Backup etc.