Algorithmes ou bibliothèques pour l'analyse textuelle, en particulier: mots dominants, phrases à travers le texte, et la collection de texte

une option pour ce que vous faites est la fréquence de terme pour inverser la fréquence de document, ou TF-idf. Les termes les plus forts auront la pondération la plus élevée dans ce calcul. Vérifiez si ici: http://en.wikipedia.org/wiki/Tf-idf

une autre option est d'utiliser quelque chose comme un classificateur Bayes naïf en utilisant des mots comme caractéristiques et de trouver ce que les caractéristiques les plus fortes sont dans le texte pour déterminer la classe du document. Ce serait le travail de même avec un classificateur d'entropie maximum.

en ce qui concerne les outils pour faire ceci, le meilleur outil pour commencer serait NLTK, une bibliothèque Python avec une documentation étendue et des tutoriels: http://nltk.sourceforge.net/

pour Java, essayez OpenNLP: http://opennlp.sourceforge.net/

pour le truc de phrase, considérez la deuxième option que j'ai offert en utilisant bigrams et trigrams comme caractéristiques, ou même en termes de TF-idf.

bonne chance!

pour ajouter à la réponse de Robert Elwell:

• des formes de mots qui se détachent et s'effondrent. Une méthode simple en anglais est d'utiliser porter Stemming sur les formes de mot en bas de page.
• , un terme pour les "mots communs" est "mots vides" ou "arrêter la liste"
• la lecture du livre NLTK, tel que suggéré, expliquera bien un grand nombre de ces questions d'introduction.
• certains des problèmes vous doivent s'attaquer sont parsing up phrases (de sorte que vos bigrammes et les phrases n-gram ne traversent pas les limites des phrases), la division des phrases en jetons, et de décider ce qu'il faut faire au sujet des formes possessives par exemple.

rien de tout cela n'est clair, ni n'a de "bonnes réponses". Voir aussi les étiquettes" nlp "et" langage naturel".

bonne chance! Il s'agit d'un projet non négligeable.

D'accord. Vous avez donc un document contenant du texte et une collection de documents (un corpus). Il y a un certain nombre de façons de le faire.

je vous conseille D'utiliser le moteur Lucene (Java) pour indexer vos documents. Lucene soutient une structure de données (Index) qui maintient un certain nombre de documents en elle. Un document lui - même est une structure de données qui peut contenir des "champs" - par exemple, Auteur, Titre, texte, etc. Vous pouvez choisir quels champs sont indexés et ceux qui ne le sont pas.

ajouter des documents à un index est trivial . Lucene est également construit pour la vitesse, et peut superbement.

ensuite, vous voulez trouver les Termes et les fréquences. Puisque lucene a déjà calculé ceci pour vous pendant le processus d'indexation, vous pouvez utiliser soit la fonction docFreq et construire votre propre fonction de fréquence de terme, ou utiliser la fonction getTermFreqVectors de la classe IndexReader pour obtenir les Termes (et les fréquences) de celui-ci).

maintenant c'est à vous de le trier et quels critères vous voulez utiliser pour filtrer les mots que vous voulez. Pour comprendre les relations, vous pouvez utiliser une API Java vers la bibliothèque open source de wordnet. Pour trouver des mots, utilisez la classe PorterStemFilter de Lucene. La partie "importance de l'expression" est plus délicate, mais une fois que vous en êtes arrivé là - vous pouvez chercher des conseils sur la façon d'intégrer la recherche de n-gram dans Lucene (indice) .

bonne chance!

vous pouvez utiliser le service D'indexation de Windows, qui est fourni avec la plate-forme Windows SDK. Ou encore, il suffit de lire l'introduction suivante pour avoir un aperçu de la NLP.

http://msdn.microsoft.com/en-us/library/ms693179 (VS.85).aspx 151940920" http://i.msdn.microsoft.com/ms693179.wbr-index-create(en-us, VS.85).gif

http://i.msdn.microsoft.com/ms693179.wbr-query-process(en-us, VS.85).gif

cochez MapReduce model pour obtenir le nombre de mots et ensuite calculer la fréquence comme décrit dans tf-idf

Hadoop est un MapReduce Apache framework qui peut être utilisé pour la lourde tâche de levage de word count sur de nombreux documents. http://hadoop.apache.org/common/docs/current/mapred_tutorial.html

vous ne pouvez pas obtenir un seul cadre qui résoudrait tout ce que vous voulez. Vous devez choisir une bonne combinaison de concepts et de cadre pour obtenir ce que vous voulez.

je voudrais aussi voir s'il y a un moyen d'identifier les phrases importantes. (Au lieu d'un nombre d'un mot, le comte de phrase étant 2-3 mots)

cette partie de votre problème s'appelle extraction de collocation . (Au moins si vous prenez importante des phrases " à des phrases qui apparaissent significativement plus souvent que par hasard.) I a donné une réponse plus à un autre SO question à propos de ce sous-problème spécifique.

il semble que ce que vous recherchez s'appelle le groupage/classification de documents en sacs de mots. Vous trouverez des conseils dans cette recherche.