preguntar acerca de pytables

Je traite de grands tableaux 3D, que j'ai souvent besoin de découper de différentes manières pour effectuer une variété d'analyses de données. Un "cube" typique peut être ~100GB (et deviendra probablement plus grand dans le futur) Il semble que le …

Prenons l'exemple suivant: Préparer les données: import string import random import pandas as pd matrix = np.random.random((100, 3000)) my_cols = [random.choice(string.ascii_uppercase) for x in range(matrix.shape[1])] mydf = pd.DataFrame(matrix, …

j'analyse des données délimitées par tabulations pour créer des données tabulaires, que j'aimerais stocker dans un HDF5. mon problème est que je dois regrouper les données dans un format, puis les transférer dans HDF5. Il s'agit de données de taill …

j'ai un fichier csv ligne 100M (en fait beaucoup de fichiers csv séparés) totalisant 84 GO. J'ai besoin de le convertir en un fichier HDF5 avec un ensemble de données float unique. J'ai utilisé h5py dans testing sans aucun problème, mais maintenant …