N-grammes: explication + 2 applications

le mot n-grammes sera généralement plus utile pour la plupart des applications d'analyse de texte que vous mentionnez à l'exception possible de la détection de langue, où quelque chose comme les trigrammes de caractères pourrait donner de meilleurs résultats. En effet, vous créeriez n-gram vecteur pour un corpus de texte dans chaque langue que vous êtes intéressé à détecter et ensuite comparer les fréquences de trigrammes dans chaque corpus aux trigrammes dans le document que vous classifiez. Par exemple, le trigramme the apparaît probablement beaucoup plus fréquemment en anglais qu'en allemand et fournirait un certain niveau de corrélation statistique. Une fois que vous avez vos documents en format n-gram, vous avez le choix entre de nombreux algorithmes pour une analyse plus poussée, des filtres Baysiens, n - Plus proche voisin, Support Vector Machines, etc..

parmi les applications que vous mentionnez, la traduction automatique est probablement la plus farfelue, car n-grammes à elle seule ne vous mènera pas très loin dans le chemin. Convertir un fichier d'entrée en représentation n-gram est juste un moyen de mettre les données dans un format pour une analyse plus poussée des caractéristiques, mais comme vous perdez beaucoup d'informations contextuelles, il peut ne pas être utile pour la traduction.

une chose à surveiller, c'est qu'il ne suffit pas de créer un vecteur [1,1,1,2,1] pour un document et un vecteur [2,1,2,4] pour un autre document, si les dimensions ne correspondent pas. Qui est, la première entrée dans le vecteur ne peut pas être the dans un document et is dans un autre ou les algorithmes ne fonctionneront pas. Vous aurez le vent en avec des vecteurs comme [0,0,0,0,0,1,1,0,0,0,2,0,0,0,] car la plupart des documents ne contiennent pas la plupart des N-grammes qui vous intéressent. Cette "alignement" des caractéristiques est essentiel, et il exige que vous décidez "à l'avance" quels ngrams vous inclurez dans votre analyse. Souvent, il s'agit d'un algorithme à deux passes, qui permet de déterminer d'abord la signification statistique de divers n-grammes pour décider de ce qu'il faut conserver. Google "sélection de fonctionnalités" pour plus d'informations.

basé sur le mot n-grammes plus vecteur de Support Machines dans un excellent moyen pour effectuer rubrique spotting, mais vous avez besoin d'un grand corpus de texte pré classées en "sujet" et "hors sujet" pour former le classificateur. Vous trouverez un grand nombre de documents de recherche expliquant diverses approches à ce problème sur un site comme citeseerx. Je ne recommande pas l'approche euclidienne de la distance pour ce problème, car elle ne pondère pas les N-grammes individuels basés sur la signification statistique, donc deux documents qui comprennent tous les deux the, a,is et of serait considéré comme une meilleure correspondance que deux documents qui incluaient tous les deux Baysian. Supprimer les mots d'arrêt de vos N-grammes d'intérêt améliorerait quelque peu cela.