HDF5 (Hierarchical Data Format 5)
HDF5 ist ein Dateformat für große, komplexe, heterogene Daten. Es wird in der Wissenschaft, Technik und beim maschinellen Lernen für mehrdimensionale Arrays und Metadaten verwendet.
MIME-Typ
application/x-hdf5
Typ
Binaer
Komprimierung
Verlustfrei
Vorteile
- + Handles datasets from kilobytes to exabytes
- + Hierarchical structure organizes complex data
- + Built-in compression and chunked storage for performance
- + Parallel I/O support for HPC clusters
Nachteile
- − Complex API with a steep learning curve
- − Not suited for simple tabular data (use Parquet or CSV)
- − File corruption risk with concurrent writes without locks
Wann Sie .HDF5 verwenden sollten
Verwenden Sie HDF5 für wissenschaftliche Daten, Satellitenbilder, Genomdaten, Modellgewichte für maschinelles Lernen und jede Anwendung mit großen mehrdimensionalen Datensätzen.
Technische Details
HDF5 organisiert Daten in einer hierarchischen Gruppen/Datensatz-Struktur ähnlich einem Dateisystem. Datensätze können beliebig große mehrdimensionale Arrays mit Metadaten-Attributen sein. Chunking und Komprimierung sind integriert.
Geschichte
Das HDF-Projekt begann 1987 am National Center for Supercomputing Applications (NCSA). HDF5 wurde 1998 veröffentlicht und wird von NASA, CERN und der Genomforschung verwendet.