Pseudocode D'estimation du maximum de vraisemblance

Je viens de tomber sur ceci, et je sais que c'est vieux, mais j'espère que quelqu'un d'autre en profite. Bien que les commentaires précédents aient donné de très bonnes descriptions de ce qu'est L'optimisation ML, personne n'a donné de pseudo-code pour l'implémenter. Python a un minimiseur dans Scipy qui va le faire. Voici un pseudo code pour une régression linéaire.

# import the packages
import numpy as np
from scipy.optimize import minimize
import scipy.stats as stats
import time

# Set up your x values
x = np.linspace(0, 100, num=100)

# Set up your observed y values with a known slope (2.4), intercept (5), and sd (4)
yObs = 5 + 2.4*x + np.random.normal(0, 4, 100)

# Define the likelihood function where params is a list of initial parameter estimates
def regressLL(params):
    # Resave the initial parameter guesses
    b0 = params[0]
    b1 = params[1]
    sd = params[2]

    # Calculate the predicted values from the initial parameter guesses
    yPred = b0 + b1*x

    # Calculate the negative log-likelihood as the negative sum of the log of a normal
    # PDF where the observed values are normally distributed around the mean (yPred)
    # with a standard deviation of sd
    logLik = -np.sum( stats.norm.logpdf(yObs, loc=yPred, scale=sd) )

    # Tell the function to return the NLL (this is what will be minimized)
    return(logLik)

# Make a list of initial parameter guesses (b0, b1, sd)    
initParams = [1, 1, 1]

# Run the minimizer
results = minimize(regressLL, initParams, method='nelder-mead')

# Print the results. They should be really close to your actual values
print results.x

Cela fonctionne très bien pour moi. Accordé, c'est juste les bases. Il ne profile pas ou ne donne pas de CIs sur les estimations de paramètres, mais c'est un début. Vous pouvez également utilisez les techniques ML pour trouver des estimations pour, disons, ODEs et d'autres modèles, comme je le décris ici .

Je sais que cette question était ancienne, j'espère que vous l'avez compris depuis lors, mais j'espère que quelqu'un d'autre en bénéficiera.

Vous avez besoin d'une procédure d'optimisation numérique. Je ne sais pas si quelque chose est implémenté en Python, mais si c'est le cas, ce sera dans numpy ou scipy et friends.

Recherchez des choses comme 'l'algorithme Nelder-Mead', ou 'BFGS'. Si tout le reste échoue, utilisez Rpy et appelez la fonction R'optim ()'.

Ces fonctions fonctionnent en recherchant l'espace de fonction et en essayant de déterminer où est le maximum. Imaginez essayer de trouver le Sommet d'une colline dans le brouillard. Vous pourriez essayer de toujours monter le plus raide façon. Ou vous pourriez envoyer des amis avec des radios et des unités GPS et faire un peu d'arpentage. L'une ou l'autre méthode pourrait vous conduire à un faux sommet, vous devez donc souvent le faire plusieurs fois, à partir de différents points. Sinon, vous pouvez penser que le sommet du Sud Est le plus élevé quand il y a un sommet massif du Nord qui l'éclipse.

Comme l'a dit joran, les estimations du maximum de vraisemblance pour la distribution normale peuvent être calculées analytiquement. Les réponses sont trouvées en trouvant les dérivées partielles de la fonction log-vraisemblance par rapport aux paramètres, en mettant chacun à zéro, puis en résolvant les deux équations simultanément.

Dans le cas de la distribution normale, vous dériveriez la log-vraisemblance par rapport à la moyenne (mu), puis dériveriez par rapport à la variance (sigma^2) pour obtenir deux équations à la fois égales à zéro. Après avoir résolu les équations pour mu et sigma^2, vous obtiendrez la moyenne de l'échantillon et la variance de l'échantillon comme réponses.

Voir la page wikipedia pour plus de détails.