Zarr
ROBOTIQUE
Définition
Zarr est un format open-source pour stocker des tableaux n-dimensionnels sous forme fragmentée et compressée, conçu pour les charges de travail cloud-native et E/S parallèles. En robotique, Zarr est utilisé pour stocker de grands ensembles de démonstrations robotiques (images, états des articulations, actions) dans un format qui peut être lu efficacement à partir du stockage d'objets (S3, GCS) sans télécharger des fichiers entiers. Contrairement à HDF5, Zarr supporte les écritures concurrentes, ce qui le rend adapté aux pipelines de collecte de données distribuées. Zarr v3 a standardisé le format et ajouté le support du fragmentation (combinaison de nombreux petits fragments en moins de fichiers volumineux), ce qui améliore l'efficacité du stockage cloud. Des projets comme LeRobot et plusieurs ensembles de données de véhicules autonomes ont adopté Zarr pour l'hébergement de datasets à grande échelle.
Français
Zarr (format de données)
Anglais
Zarr (format de données)
Sources
Contributeurs: wiki
