Comment faire pour multi-thread une opération dans une boucle en Python

tout d'abord, en Python, Si votre code est lié au CPU, le multithreading ne vous aidera pas, car un seul thread peut maintenir le verrouillage de L'interpréteur Global, et donc exécuter du code Python, à la fois. Donc, vous devez utiliser des processus, pas des threads.

ce n'est pas vrai si votre opération" prend une éternité pour revenir " parce qu'elle est liée à IO-c'est-à-dire qu'elle attend sur le réseau ou des copies de disque ou autres. Je reviendrai plus tard.

---

Ensuite, la façon de traiter 5 ou 10 ou 100 articles à la fois est de créer un bassin de 5 ou 10 ou 100 travailleurs, et mettre les articles dans une file d'attente que les travailleurs servent. Heureusement, les bibliothèques multiprocessing et concurrent.futures de stdlib couvrent la plupart des détails pour vous.

le premier est plus puissant et flexible pour la programmation traditionnelle; le second est plus simple si vous avez besoin de composer le futur-attente; pour trivial les affaires, peu importe ce que vous choisissez. (Dans ce cas , l'implémentation la plus évidente avec chaque prend 3 lignes avec futures , 4 lignes avec multiprocessing .)

si vous utilisez 2.6-2.7 ou 3.0-3.1, futures n'est pas intégré, mais vous pouvez l'installer à partir de PyPI ( pip install futures ).

---

enfin, il est généralement beaucoup plus simple de paralléliser les choses si vous pouvez tourner la boucle entière itération dans un appel de fonction (quelque chose que vous pourriez, par exemple, passer à map ), alors faisons d'abord cela:

def try_my_operation(item):
    try:
        api.my_operation(item)
    except:
        print('error with item')

---

Mettre tous ensemble:

executor = concurrent.futures.ProcessPoolExecutor(10)
futures = [executor.submit(try_my_operation, item) for item in items]
concurrent.futures.wait(futures)

---

si vous avez beaucoup d'emplois relativement petits, les frais généraux de la multi-transformation pourrait inonder les gains. La façon de résoudre cela est de grouper le travail dans de plus grands emplois. Par exemple (en utilisant grouper du itertools recipes , que vous pouvez copier et coller dans votre code, ou obtenir à partir du more-itertools projet sur PyPI):

def try_multiple_operations(items):
    for item in items:
        try:
            api.my_operation(item)
        except:
            print('error with item')

executor = concurrent.futures.ProcessPoolExecutor(10)
futures = [executor.submit(try_multiple_operations, group) 
           for group in grouper(5, items)]
concurrent.futures.wait(futures)

---

enfin, et si votre code est io bound? Alors les threads sont tout aussi bons que les processus, et avec moins de dépassement (et moins de limitations, mais ces limitations ne vous affecteront généralement pas dans des cas comme celui-ci). Parfois que "moins au-dessus" est suffisant pour signifier que vous n'avez pas besoin de batching avec des fils, mais vous faire avec le processus, qui est une belle victoire.

alors, comment utilisez-vous les threads au lieu des processus? Il suffit de remplacer ProcessPoolExecutor par ThreadPoolExecutor .

si vous n'êtes pas sûr si votre code est relié par CPU ou IO, essayez les deux.

---

puis-je faire cela pour plusieurs fonctions dans mon script python? Par exemple, si j'avais un autre For loop ailleurs dans le code que je voulais parallélisation. Est-il possible de faire deux multithread fonctions dans le même script?

Oui. En fait, il existe deux façons différentes de le faire.

tout d'abord, vous pouvez partager le même exécuteur (thread ou process) et l'utiliser à partir de plusieurs endroits sans problème. Le but des tâches et des futurs est qu'ils sont autonomes; vous ne vous souciez pas où ils courent, juste que vous les mettez en file d'attente et éventuellement obtenir la réponse de retour.

Alternativement, vous pouvez avoir deux exécuteurs dans le même programme sans problème. Ceci a un coût de performance-si vous utilisez les deux exécuteurs en même temps, vous finirez par essayer d'exécuter (par exemple) 16 threads occupés sur 8 noyaux, ce qui signifie qu'il va y avoir une commutation de contexte. Mais parfois cela vaut la peine de le faire parce que, disons, les deux exécuteurs sont rarement occupés en même temps, et cela rend votre code beaucoup plus simple. Ou peut-être qu'un exécuteur exécute de très grandes tâches qui peuvent prendre tandis que pour terminer, et l'autre exécute des tâches très petites qui ont besoin de terminer aussi rapidement que possible, parce que la réactivité est plus importante que le débit pour une partie de votre programme.

Si vous ne savez pas qui est approprié pour votre programme, habituellement c'est la première.