HDF5 (Hierarchical Data Format 5)
HDF5 adalah format file dan perpustakaan untuk menyimpan dan mengelola dataset ilmiah besar. Mendukung struktur hierarkis grup/dataset mirip filesystem, dengan dataset berdimensi sewenang-wenang. HDF5 adalah standar untuk citra satelit, genomik, dan simulasi fisika.
Tipe MIME
application/x-hdf5
Tipe
Biner
Kompresi
Lossless
Kelebihan
- + Handles datasets from kilobytes to exabytes
- + Hierarchical structure organizes complex data
- + Built-in compression and chunked storage for performance
- + Parallel I/O support for HPC clusters
Kekurangan
- โ Complex API with a steep learning curve
- โ Not suited for simple tabular data (use Parquet or CSV)
- โ File corruption risk with concurrent writes without locks
Kapan Menggunakan .HDF5
Gunakan HDF5 untuk dataset ilmiah besar, array multidimensi, dan data apa pun yang memerlukan organisasi hierarkis dengan I/O efisien.
Detail Teknis
File HDF5 mengorganisasi data dalam grup (direktori) dan dataset (array multidimensi) dengan atribut metadata. Mendukung penyimpanan chunked, filter kompresi (gzip, LZF, SZIP), dan I/O paralel untuk komputasi berperforma tinggi.
Riwayat
HDF Group (awalnya di NCSA, University of Illinois) membuat HDF pada akhir 1980-an. HDF5 dirilis pada tahun 1998 sebagai desain ulang lengkap, dan sekarang digunakan oleh NASA, CERN, dan komunitas genomik.