SVM-marges dures ou douces?

Je m'attendrais à ce que la SVM à marge souple soit meilleure même lorsque l'ensemble de données d'entraînement est séparable linéairement. La raison en est que dans une SVM à marge dure, une seule valeur aberrante peut déterminer la limite, ce qui rend le classificateur trop sensible au bruit dans les données.

Dans le diagramme ci-dessous, une seule valeur aberrante rouge détermine essentiellement la limite, qui est la marque du suréquipement

Http://yaroslavvb.com/upload/save/so-svm.png

Pour avoir une idée de ce SVM à marge souple est-ce que, il est préférable de le regarder dans la formulation double, où vous pouvez voir qu'il a le même objectif de maximisation de la marge (la marge pourrait être négative) que le SVM à marge dure, mais avec une contrainte supplémentaire que chaque multiplicateur de Lagrange associé au vecteur de support est limité par C. essentiellement, cela limite l'influence de Noyau à base de Méthodes d'Apprentissage".

Le résultat est que la SVM à marge souple peut choisir une limite de décision qui a une erreur d'apprentissage non nulle même si l'ensemble de données est séparable linéairement et est moins susceptible de se surajuster.

Voici un exemple d'utilisation de libSVM sur un problème synthétique. Les points encerclés montrent des vecteurs de support. Vous pouvez voir que la diminution de C fait que le classificateur sacrifie la séparabilité linéaire afin de gagner en stabilité, en ce sens que l'influence de n'importe quel point de données unique est maintenant limitée par C.

Http://yaroslavvb.com/upload/save/so-libsvm.png

Signification des vecteurs de support:

Pour les SVM à marge dure, les vecteurs de support sont les points qui sont "sur la marge". Dans L'image ci-dessus, C=1000 est assez proche de la SVM à marge dure, et vous pouvez voir que les points encerclés sont ceux qui toucheront la marge (la marge est presque 0 dans cette image, donc c'est essentiellement le même que l'hyperplan de séparation)

Pour les SVM à marge molle, il est plus facile de les expliquer en termes de variables doubles. Votre prédicteur de vecteur de support en termes de variables doubles est la fonction suivante.

Http://yaroslavvb.com/upload/save/so-svm-dual.png

Ici, alphas et b sont des paramètres trouvés pendant la procédure d'entraînement, xi, yi sont votre ensemble d'entraînement et x est le nouveau point de données. Les vecteurs de Support sont des points de données de l'ensemble de formation qui sont inclus dans le prédicteur, c'est-à-dire ceux avec un paramètre alpha non nul.