preguntar acerca de h5py

1
réponses

Y a-t-il un avantage de vitesse d’analyse ou d’utilisation de la mémoire à l’utilisation de HDF5 pour le stockage de grands tableaux (au lieu de fichiers binaires plats)?

Je traite de grands tableaux 3D, que j'ai souvent besoin de découper de différentes manières pour effectuer une variété d'analyses de données. Un "cube" typique peut être ~100GB (et deviendra probablement plus grand dans le futur) Il semble que le …
demandé sur 1970-01-01 00:33:34
5
réponses

Combinaison de fichiers hdf5

J'ai un certain nombre de fichiers hdf5, chacun ayant un seul ensemble de données. Les jeux de données sont trop volumineux pour être conservés en RAM. Je voudrais combiner ces fichiers en un seul fichier contenant tous les ensembles de données sépar …
demandé sur 1970-01-01 00:33:33
3
réponses

La manière la plus rapide d’écrire des fichiers HDF5 avec Python?

étant donné un grand fichier CSV (10s de GB) de texte/nombres mélangés, Quel est le moyen le plus rapide pour créer un fichier HDF5 avec le même contenu, tout en gardant l'utilisation de la mémoire raisonnable? je voudrais utiliser le h5py module si …
demandé sur 1970-01-01 00:33:31