SVM et réseau neuronal

cette question comporte deux volets. La première partie est "Quelle est la forme de la fonction apprise par ces méthodes?"Pour NN et SVM, c'est généralement la même chose. Par exemple, un réseau neuronal à couche cachée utilise exactement la même forme de modèle qu'un SVM. Qui est:

etant Donné un vecteur d'entrée x, la sortie est: de sortie(x) = sum_over_all_i weight_i * nonlinear_function_i(x)

généralement les fonctions non linéaires auront aussi quelques paramètres. Afin que ces méthodes besoin d'apprendre combien de fonctions non linéaires devraient être utilisées, quels sont leurs paramètres et quelle devrait être la valeur de tous les poids weight_i.

par conséquent, la différence entre un SVM et un NN réside dans la façon dont ils décident de ces paramètres. Généralement, quand quelqu'un dit qu'il utilise un réseau neuronal, cela signifie qu'il essaie de trouver les paramètres qui minimisent l'erreur moyenne de prédiction au carré par rapport à un ensemble d'exemples de formation. Ils seront également presque toujours à l'aide de la descente en pente stochastique algorithme d'optimisation pour ce faire. D'un autre côté, les SVM tentent de réduire au minimum les erreurs de formation et une certaine mesure de la "complexité de l'hypothèse". Ils trouveront donc un ensemble de paramètres qui correspond aux données mais qui est aussi "simple" dans un certain sens. Vous pouvez y penser comme le rasoir D'Occam pour l'apprentissage automatique. L'algorithme d'optimisation le plus utilisé avec SVMs est optimisation minimale séquentielle.

un Autre grand la différence entre les deux méthodes est que la descente en gradient stochastique n'est pas garantie pour trouver l'ensemble optimal de paramètres lorsqu'il est utilisé de la façon dont les implémentations NN l'emploient. Cependant, toute implémentation correcte de SVM va trouver l'ensemble optimal de paramètres. Les gens aiment à dire que les réseaux neuronaux sont coincés dans un minimum local alors que les SVM ne le sont pas.