preguntar acerca de multiprocessing

2
réponses

multitraitement.Pool: quand utiliser apply, apply async ou map?

Je n'ai pas vu d'exemples clairs avec des cas d'utilisation pour Pool.appliquer, Piscine.apply_async et Piscine.carte. J'utilise principalement Pool.map; quels sont les avantages des autres? ... …
demandé sur 1970-01-01 00:33:31
2
réponses

multitraitement vs multithreading vs asyncio en Python 3.4

J'ai trouvé que dans Python 3.4 il y a quelques différentes bibliothèques de multitraitement/filetage: multitraitement vs filetage vs asyncio. , Mais je ne sais pas lequel utiliser ou est le "recommandé". Font-ils la même chose ou sont-ils différent …
demandé sur 1970-01-01 00:33:34
3
réponses

Multitraitement d’une boucle for?

J'ai un tableau (appelé data_inputs) contenant les noms de centaines d'astronomie des fichiers d'images. Ces images sont ensuite manipulées. Mon code fonctionne et prend quelques secondes pour traiter chaque image. Cependant, il ne peut faire qu'une …
demandé sur 1970-01-01 00:33:33
1
réponses

multitraitement.dummy en Python n’utilise pas 100% cpu

Je fais un projet d'apprentissage automatique en Python, donc je dois paralléliser la fonction de prédiction, que j'utilise dans mon programme. from multiprocessing.dummy import Pool from multiprocessing import cpu_count def multi_predict(X, predi …
demandé sur 1970-01-01 00:33:34
1
réponses

Python multiprocessing: certaines fonctions ne reviennent pas lorsqu’elles sont terminées (matériel de file d’attente trop grand)

J'utilise le processus et la file d'attente de multiprocessing. Je commence plusieurs fonctions en parallèle et la plupart se comportent bien: elles finissent, leur sortie va dans leur file d'attente, et elles apparaissent comme. is_alive () = = Fals …
demandé sur 1970-01-01 00:33:32
3
réponses

Python multitraitement et la base de données access avec pyodbc «n’est pas sans danger»?

Le Problème: j'obtiens le traceback suivant et je ne comprends pas ce qu'il signifie Ou comment le réparer: Traceback (most recent call last): File "<string>", line 1, in <module> File "C:Python26libmultiprocessingforking.py", line …
demandé sur 1970-01-01 00:33:29
2
réponses

Les Pandas de df.parallélisation iterrow()

for row in df.iterrow(): idx = row[0] k = row[1]['Chromosome'] start,end = row[1]['Bin'].split('-') sequence = sequence_from_coordinates(k,1,start,end) #slow download form http df.set_value(idx,'GC%',gc_content(sequence,percent= …
demandé sur 1970-01-01 00:33:36
4
réponses

Comment résoudre les problèmes de mémoire tout en multiprocessing en utilisant Pool.map()?

j'ai écrit le programme (ci-dessous): lire un énorme fichier texte pandas dataframe groupby en utilisant une valeur de colonne spécifique pour séparer les données et les stocker en tant que liste d'images de données. puis passez les données àmultipr …
demandé sur 1970-01-01 00:33:38
3
réponses

Boucle de parallélisation en python avec des tableaux numpy et de la mémoire partagée

je suis au courant de plusieurs questions et réponses sur ce sujet, mais n'ai pas trouvé une réponse satisfaisante à ce problème particulier: Quelle est la façon la plus simple de faire une simple parallélisation en mémoire partagée d'une boucle pyt …
demandé sur 1970-01-01 00:33:32
5
réponses

Est-il possible d’utiliser mutex dans multiprocessing case sous Linux/UNIX?

il s'agit d'une question d'entrevue. est-il possible d'utiliser mutex dans multiprocessing case sous Linux/UNIX ? Mon idée: Non, différents processus ont un espace mémoire séparé. mutex n'est utilisé que pour le multithreading. sémaphore est …
demandé sur 1970-01-01 00:33:32