Question Courte

J'ai une grande image 10000x10000 éléments, que je range dans quelques centaines de secteurs/bacs différents. J'ai ensuite besoin d'effectuer un calcul itératif sur les valeurs contenues dans chaque bac.

Comment extraire les indices de chaque bac pour effectuer efficacement mon calcul en utilisant les valeurs des bacs?

Ce que je cherche est une solution qui évite le goulot d'étranglement d'avoir à sélectionner chaque fois ind == j de mon grand tableau. Est-il un moyen de obtenir directement, en une seule fois, les indices des éléments appartenant à chaque bin?

Explication Détaillée

1. Solution Simple

Une façon de réaliser ce dont j'ai besoin est d'utiliser un code comme celui-ci (Voir par exemple cette réponse connexe), où je numérise mes valeurs, puis j'ai une boucle j sélectionnant des indices numérisés égaux à j comme ci-dessous

import numpy as np

# This function func() is just a place mark for a much more complicated function.
# I am aware that my problem could be easily speed up in the specific case of
# of the sum() function, but I am looking for a general solution to the problem.
def func(x):
    y = np.sum(x)
    return y

vals = np.random.random(1e8)
nbins = 100
bins = np.linspace(0, 1, nbins+1)
ind = np.digitize(vals, bins)

result = [func(vals[ind == j]) for j in range(1, nbins)]

Ce que je cherche est une solution qui évite le goulot d'étranglement d'avoir à sélectionner à chaque fois ind == j de mon grand tableau. Est-il possible d'obtenir directement, en une seule fois, les indices des éléments appartenant à chaque bin?

2. Utilisation de binned_statistics

L'approche ci-dessus s'avère être la même implémentée dans scipy.statistique.binned_statistic, pour le cas général d'une fonction définie par l'utilisateur. En utilisant Scipy directement, une sortie identique peut être obtenue avec

import numpy as np
from scipy.stats import binned_statistics

vals = np.random.random(1e8)
results = binned_statistic(vals, vals, statistic=func, bins=100, range=[0, 1])[0]

3. Utilisation de labeled_comprehension

Une autre alternative de Scipy est d'utiliser scipy.ndimage.mesure.labeled_comprehension . En utilisant cette fonction, l'exemple ci-dessus deviendrait

import numpy as np
from scipy.ndimage import labeled_comprehension

vals = np.random.random(1e8)
nbins = 100
bins = np.linspace(0, 1, nbins+1)
ind = np.digitize(vals, bins)

result = labeled_comprehension(vals, ind, np.arange(1, nbins), func, float, 0)

Malheureusement aussi ce formulaire est inefficace et en particulier il n'a aucun avantage de vitesse sur mon exemple original.

4. Comparaison avec la langue IDL

Pour clarifier davantage, ce que je cherche est une fonctionnalité équivalente au mot-clé REVERSE_INDICES dans la fonction HISTOGRAM du langage IDL ici. Cette fonctionnalité très utile peut-elle être efficacement répliqué en Python?

Plus précisément, en utilisant le langage IDL, l'exemple ci-dessus pourrait être écrit comme

vals = randomu(s, 1e8)
nbins = 100
bins = [0:1:1./nbins]
h = histogram(vals, MIN=bins[0], MAX=bins[-2], NBINS=nbins, REVERSE_INDICES=r)
result = dblarr(nbins)

for j=0, nbins-1 do begin
    jbins = r[r[j]:r[j+1]-1]  ; Selects indices of bin j
    result[j] = func(vals[jbins])
endfor

L'implémentation IDL ci-dessus est environ 10 fois plus rapide que celle Numpy, en raison du fait que les indices des bins n'ont pas besoin d'être sélectionnés pour chaque bac. Et la différence de vitesse en faveur de L'implémentation IDL augmente avec le nombre de bacs.