C'est en fait l'un des cas d'utilisation de HDF5. Si vous voulez juste être en mesure d'accéder à tous les ensembles de données à partir d'un seul fichier, et ne se soucient pas de la façon dont ils sont réellement stockés sur le disque, vous pouvez utiliser Liens externes. Du site web HDF5 :

Les liens externes permettent à un groupe d'inclure des objets dans un autre fichier HDF5 et permettent à la bibliothèque d'accéder à ces objets comme s'ils se trouvaient dans le fichier actuel. De cette manière, un groupe peut sembler contenir directement des ensembles de données, nommés types de données, et même les groupes qui sont réellement dans un fichier différent. Cette fonctionnalité est implémentée via une suite de fonctions qui créent et gèrent les liens, définissent et récupèrent des chemins vers des objets externes et interprètent les noms de liens:

Voici comment le faire en h5py:

myfile = h5py.File('foo.hdf5','a')
myfile['ext link'] = h5py.ExternalLink("otherfile.hdf5", "/path/to/resource")

Attention: lors de l'ouverture de myfile, vous devez l'ouvrir avec 'a' si c'est un fichier existant. Si vous l'ouvrez avec 'w', il effacera son contenu.

Ce serait beaucoup plus rapide que de copier tous les jeux de données dans un nouveau fichier. Je ne sais pas à quelle vitesse l'accès à otherfile.hdf5 serait, mais fonctionner sur tous les ensembles de données serait transparent - c'est-à-dire que h5py verrait tous les ensembles de données comme résidant dans foo.hdf5.

J'ai trouvé une solution non-python en utilisant h5copy à partir des outils officiels hdf5. h5copy peut copier des ensembles de données individuels spécifiés à partir d'un fichier hdf5 dans un autre fichier HDF5 existant.

Si quelqu'un trouve une solution basée sur python/h5py, je serais heureux d'en entendre parler.

J'ai l'habitude d'utiliser ipython et h5copy outil de ensemble, c'est beaucoup plus rapide par rapport à un pur python solution. Une fois installé h5copy.

Solution de Console M. W. E.

#PLESE NOTE THIS IS IPYTHON CONSOLE CODE NOT PURE PYTHON

import h5py
#for every dataset Dn.h5 you want to merge to Output.h5 
f = h5py.File('D1.h5','r+') #file to be merged 
h5_keys = f.keys() #get the keys (You can remove the keys you don't use)
f.close() #close the file
for i in h5_keys:
        !h5copy -i 'D1.h5' -o 'Output.h5' -s {i} -d {i}

Solution de console automatisée

Pour automatiser complètement le processus en supposant que vous travaillez dans le dossier où les fichiers à fusionner sont stockés:

import os 
d_names = os.listdir(os.getcwd())
d_struct = {} #Here we will store the database structure
for i in d_names:
   f = h5py.File(i,'r+')
   d_struct[i] = f.keys()
   f.close()

# A) empty all the groups in the new .h5 file 
for i in d_names:
    for j  in d_struct[i]:
        !h5copy -i '{i}' -o 'output.h5' -s {j} -d {j}

Créer un nouveau groupe pour chaque .fichier H5 Ajouté

Si vous voulez garder l'ensemble de données précédent séparé à l'intérieur sortie.h5, vous devez d'abord créer le groupe en utilisant le drapeau -p:

 # B) Create a new group in the output.h5 file for every input.h5 file
 for i in d_names:
        dataset = d_struct[i][0]
        newgroup = '%s/%s' %(i[:-3],dataset)
        !h5copy -i '{i}' -o 'output.h5' -s {dataset} -d {newgroup} -p
        for j  in d_struct[i][1:]:
            newgroup = '%s/%s' %(i[:-3],j) 
            !h5copy -i '{i}' -o 'output.h5' -s {j} -d {newgroup}

Pour mettre à jour à ce sujet, avec la version HDF5 1.10 vient une nouvelle fonctionnalité qui pourrait être utile dans ce contexte appelé "Jeux de données virtuels".
Vous trouverez ici un bref tutoriel et quelques explications: Jeux De Données Virtuels .
Voici des explications et une documentation plus complètes et détaillées pour la fonctionnalité:
jeux de données virtuels extra doc .
Et voici la requête d'extraction fusionnée dans h5py pour inclure l'API virtual datasets dans h5py:
h5py jeux de données virtuels PR mais je ne sais pas si elle est déjà disponible dans la version h5py actuelle ou viendra plus tard.