Keras + Tensorflow et Multiprocessing en Python

D'après mon expérience - le problème réside dans le chargement de Keras à un processus et ensuite la reproduction d'un nouveau processus lorsque le keras a été chargé à votre environnement principal. Mais pour certaines applications (comme la formation d'un mélange de Keras modèles), il est tout simplement préférable d'avoir toutes ces choses en un seul processus. Donc, ce que je conseille est l'approche suivante (un peu lourde - mais travailler pour moi):

1. NE PAS CHARGEZ KERAS À VOTRE ENVIRONNEMENT PRINCIPAL . Si vous voulez charger Keras / Theano / TensorFlow, faites-le seulement dans l'environnement de fonction. E. g. ne pas faites ceci:

   import keras
   
   def training_function(...):
       ...
   

   mais faire ce qui suit:

   def training_function(...):
       import keras
       ...
   

2. exécuter le travail relié à chaque modèle dans un processus séparé: je crée habituellement des travailleurs qui font le travail (comme par exemple la formation, l'ajustement, la notation) et je les exécute dans des processus séparés. Ce qui est agréable à ce sujet que toute la mémoire utilisée par ce processus est complètement libéré lorsque votre processus est terminé. Cela vous aide avec les charges de problèmes de mémoire que vous rencontrez généralement lorsque vous utilisez multiprocessing ou même l'exécution de plusieurs modèles dans un processus. Cela ressemble par exemple à ceci:

   def _training_worker(train_params):
       import keras
       model = obtain_model(train_params)
       model.fit(train_params)
       send_message_to_main_process(...)
   
   def train_new_model(train_params):
       training_process = multiprocessing.Process(target=_training_worker, args = train_params)
       training_process.start()
       get_message_from_training_process(...)
       training_process.join()
   

une approche différente consiste simplement à préparer différents scripts pour différentes actions modèles. Mais cela peut causer des erreurs de mémoire, surtout lorsque vos modèles consomment de la mémoire. NOTE que pour cette raison il est préférable de rendre votre exécution strictement séquentielle.