preguntar acerca de hdf5

Je traite de grands tableaux 3D, que j'ai souvent besoin de découper de différentes manières pour effectuer une variété d'analyses de données. Un "cube" typique peut être ~100GB (et deviendra probablement plus grand dans le futur) Il semble que le …

Nous évaluons les technologies que nous utiliserons pour stocker les données que nous recueillons lors de l'analyse du code C/C++. Dans le cas de C++, la quantité de données peut être relativement grande, ~20Mb par TU. Après avoir lu ce qui suit SO …

Prenons l'exemple suivant: Préparer les données: import string import random import pandas as pd matrix = np.random.random((100, 3000)) my_cols = [random.choice(string.ascii_uppercase) for x in range(matrix.shape[1])] mydf = pd.DataFrame(matrix, …

J'ai un certain nombre de fichiers hdf5, chacun ayant un seul ensemble de données. Les jeux de données sont trop volumineux pour être conservés en RAM. Je voudrais combiner ces fichiers en un seul fichier contenant tous les ensembles de données sépar …

j'analyse des données délimitées par tabulations pour créer des données tabulaires, que j'aimerais stocker dans un HDF5. mon problème est que je dois regrouper les données dans un format, puis les transférer dans HDF5. Il s'agit de données de taill …

en utilisant HDF5DotNet, quelqu'un peut-il me montrer le code exemple, qui ouvrira un fichier hdf5, extraira le contenu d'un ensemble de données, et imprimera le contenu à la sortie standard? pour l'instant j'ai le code suivant: H5.Open(); …

étant donné un grand fichier CSV (10s de GB) de texte/nombres mélangés, Quel est le moyen le plus rapide pour créer un fichier HDF5 avec le même contenu, tout en gardant l'utilisation de la mémoire raisonnable? je voudrais utiliser le h5py module si …

j'ai un fichier csv ligne 100M (en fait beaucoup de fichiers csv séparés) totalisant 84 GO. J'ai besoin de le convertir en un fichier HDF5 avec un ensemble de données float unique. J'ai utilisé h5py dans testing sans aucun problème, mais maintenant …

j'ai un fichier au format hdf5 . Je sais que c'est censé être une matrice, mais je veux lire cette matrice dans R afin que je puisse l'étudier. Je vois qu'il y a un paquet h5r qui est supposé aider avec cela, mais je ne vois pas de tutoriel simp …

j'essaie de lire les données du fichier hdf5 en Python. Je peux lire le fichier hdf5 en utilisant h5py , mais je ne peux pas comprendre comment accéder aux données dans le fichier. mon code import h5py import numpy as np f1 = …