Mise en œuvre D'un test Smirnov de Kolmogorov en python scipy

mise à jour sur la réponse d'unutbu:

pour les distributions qui dépendent seulement de l'emplacement et de l'échelle, mais qui n'ont pas de paramètre de forme, les distributions de plusieurs statistiques de test de la qualité de l'ajustement sont indépendantes des valeurs de l'emplacement et de l'échelle. La distribution n'est pas standard, mais elle peut être mise en tableaux et utilisée avec n'importe quel emplacement et échelle de la distribution sous-jacente.

le test de Kolmogorov-Smirnov pour la distribution normale avec l'emplacement et l'échelle estimés sont également appelés lilliefors test .

il est maintenant disponible en modèles statistiques, avec des valeurs approximatives de p pour la gamme de décision pertinente.

>>> import numpy as np
>>> mu,sigma = 0.07, 0.89
>>> x = np.random.normal(mu, sigma, 10000)
>>> import statsmodels.api as sm
>>> sm.stats.lilliefors(x)
(0.0055267411213540951, 0.66190841161592895)

la plupart des études de Monte Carlo montrent que le test Anderson-Darling est plus puissant que le test Kolmogorov-Smirnov. Il est disponible en scipy.statistiques avec valeurs critiques, et dans les modèles de statistiques avec des valeurs approximatives de p:

>>> sm.stats.normal_ad(x)
(0.23016468240712129, 0.80657628536145665)

Ni de le test rejette l'hypothèse Nulle que l'échantillon est normal distribués. Alors que le kstest dans la question rejette L'hypothèse nulle que l'échantillon est normal standard distribué.

vous pouvez également envisager d'utiliser le test de Shapiro-Wilk, qui "vérifie l'hypothèse nulle que les données ont été tirées d'une distribution normale."Il est également mis en place de scipy :

http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.shapiro.html

Vous aurez besoin de passer vos données directement dans la fonction.

import scipy

W, p = scipy.stats.shapiro(dataset)
print("Shapiro-Wilk test statistic, W:", W, "\n", "p-value:", p)

qui renvoie quelque chose comme:

 Shapiro-Wilk test statistic, W: 0.7761164903640747 
 p-value: 6.317247641091492e-37

avec p < < 0,01 (ou 0,05, Si vous préférez - cela n'a pas d'importance,) nous avons de bonnes raisons de rejeter l'hypothèse nulle que ces données ont été tirées d'une distribution normale.

en complément de la réponse de @unutbu , vous pouvez également fournir les paramètres de distribution pour la distribution test dans kstest. Supposons que nous ayons des échantillons d'une variable (et que nous les appelions datax), et que nous voulions vérifier si ces échantillons ne pouvaient pas provenir d'un lognormal, d'un uniforme ou d'une normale. Notez que pour les statistiques scipy, la façon dont les paramètres d'entrée sont pris pour chaque distribution varie un peu. Maintenant, grâce à "args" (tuple ou séquence) dans kstest, est possible fournir les arguments en faveur de la scipy.vous voulez tester la distribution de stats.

:) j'ai également ajouté l'option d'utiliser un test à deux échantillons, au cas où vous vouliez le faire de toute façon:

import numpy as np
from math import sqrt
from scipy.stats import kstest, ks_2samp, lognorm
import scipy.stats

def KSSeveralDists(data,dists_and_args,samplesFromDists=100,twosampleKS=True):
    returnable={}
    for dist in dists_and_args:
        try:
            if twosampleKS:
                try:
                    loc=dists_and_args[dist][0]
                    scale=dists_and_args[dist][1]
                    expression='scipy.stats.'+dist+'.rvs(loc=loc,scale=scale,size=samplesFromDists)'
                    sampledDist=eval(expression)
                except:
                    sc=dists_and_args[dist][0]
                    loc=dists_and_args[dist][1]
                    scale=dists_and_args[dist][2]
                    expression='scipy.stats.'+dist+'.rvs(sc,loc=loc,scale=scale,size=samplesFromDists)'
                    sampledDist=eval(expression)
                D,p=ks_2samp(data,sampledDist)
            else:
                D,p=kstest(data,dist,N=samplesFromDists,args=dists_and_args[dist])
        except:
            continue
        returnable[dist]={'KS':D,'p-value':p}
    return returnable

a=lambda m,std: m-std*sqrt(12.)/2.
b=lambda m,std: m+std*sqrt(12.)/2.
sz=2000

sc=0.5 #shape 
datax=lognorm.rvs(sc,loc=0.,scale=1.,size=sz)
normalargs=(datax.mean(),datax.std())

#suppose these are the parameters you wanted to pass for each distribution
dists_and_args={'norm':normalargs,
               'uniform':(a(*normalargs),b(*normalargs)),
               'lognorm':[0.5,0.,1.]
              }
print "two sample KS:"
print KSSeveralDists(datax,dists_and_args,samplesFromDists=sz,twosampleKS=True)
print "one sample KS:"
print KSSeveralDists(datax,dists_and_args,samplesFromDists=sz,twosampleKS=False)

qui donne comme sortie quelque chose comme:

deux échantillons KS: {'lognorm': {'KS': 0.02349999999965, 'p-value': 0.63384188886455217},' norm': {'KS': 0.1060000000004, 'p-value': 2.9187666723155 e-10}, 'uniform': {'KS':: 0.15300000000000002, 'p-value': 6.443660021191129 e-21}}

un échantillon KS: {'lognorm': {'KS': 0.01763415915126032, "p-value": 0.56275820961065193}, 'norme': {'KS': 0.10792612430093562, "p-value": 0.0}, "uniforme": {'KS': 0.14910036159697559, "p-value": 0.0}}

Note: pour le scipy.distribution uniforme des statistiques, a et b sont pris comme a=loc et b=Loc + scale (voir documentation ).