S3-Speicher

Ein Bucket (Eimer) ist eine logische Speichereinheit im Simple Storage Service (S3) von Amazon. Ein Bucket enthält Objekte mit Dateien und Metadaten, die die Daten beschreiben.

S3 (Simple Storage Service) ist ein Datei-Hosting-Service, der theoretisch jede beliebige Datenmenge speichern kann. Der Zugriff erfolgt über HTTP/HTTPS.

Beantragung bei PP&B

Um S3-Speicherplatz zu beantragen, senden Sie bitte eine Nachricht an ppb@fhi.mpg.de oder Michael Wesemann (mw@fhi.mpg.de) mit einer kurzen Beschreibung des Bedarfs und des Verwendungszwecks des Speicherplatzes.

Nutzung des S3-Speichers am Fritz-Haber-Institut

Der S3-Speicher kann auf drei Arten genutzt werden:

Über den Internetbrowser (Web-Interface): Der erste und einfachste Weg ist über den Internet-Browser. Rufen Sie die S3-Webseite auf, melden Sie sich sicher mit Ihrem Account an und nutzen Sie den Speicher wie ein Cloud-Laufwerk. Wir unterscheiden zwischen:
Externes S3-Portal: http://s3.fhi.mpg.de:9000 (erreichbar von außerhalb des FHI-Netzwerks)
Internes S3-Portal: http://s3.fhi.mpg.de:9001 (nur intern erreichbar)
Einbinden als lokales Laufwerk: Die zweite Möglichkeit besteht darin, den Bucket mithilfe verschiedener Softwareprogramme als Laufwerk in Ihr Betriebssystem einzubinden:
Windows & macOS: Sie können Cyberduck verwenden. Weitere Möglichkeiten sind TNTDrive oder S3 Browser.
Linux: Eine gängige Lösung ist zum Beispiel s3fs-fuse.
Programmatischer Zugriff (Direktabruf): Die dritte Möglichkeit besteht darin, die S3-Daten direkt mit einem Programm abzurufen und zu verarbeiten, ohne sie vorher lokal zu speichern. Hier ein paar Beispiele:
MATLAB: MathWorks S3 Transfer-Anleitung
Python / Jupyter: s3 Paket oder die offizielle AWS-Bibliothek Boto3
LabVIEW: NI LabVIEW Cloud Toolkit

Alternative Kommandozeilenwerkzeuge & Backups

MinIO Client (mc): Der MinIO Client bietet eine moderne Alternative zu UNIX-Befehlen wie ls, cat, cp, mirror, diff, find usw. Er unterstützt lokale Dateisysteme sowie Amazon S3-kompatible Cloud-Speicherdienste (AWS Signature v2 und v4).
Restic: Restic ist ein modernes Backup-Programm, das Ihre Dateien von Linux, BSD, macOS und Windows sicher direkt auf S3 sichern kann.