Quelle est la différence entre le marquage POS et L'analyse superficielle?
je suis actuellement en train de suivre un cours de traitement du langage naturel à mon université et je suis encore confuse avec un concept de base. Je reçois la définition de POS Tagging de l' fondements du traitement statistique du langage naturel livre:
le Tagging est la tâche de l'étiquetage (ou le tagging) chaque mot dans une phrase avec la partie appropriée du discours. Nous décidons si chaque mot est un nom, verbe, adjectif, ou quoi que ce soit.
mais je ne peux pas trouver une définition D'analyse superficielle dans le livre car il décrit également l'analyse superficielle comme l'un des utilitaires de marquage POS. J'ai donc commencé à chercher sur le web et n'ai trouvé aucune explication directe de l'analyse superficielle, mais en Wikipédia:
parsing superficiel (aussi chunking, "light parsing") est une analyse d'une phrase qui identifie les constituants (groupes de noms, verbes, groupes de verbes, etc.), mais ne précise pas leur structure interne, ni leur rôle dans la principale phrase.
Je ne vois franchement pas la différence, mais c'est peut-être à cause de mon anglais ou simplement parce que je ne comprends pas le concept de base simple. Est-ce que quelqu'un peut expliquer la différence entre l'analyse superficielle et le marquage POS? Est-ce que le parsing superficiel est souvent aussi appelé le Parsing sémantique superficiel?
Merci avant.
5 réponses
le marquage au point de vente donnerait une étiquette au point de vente à chaque mot de la phrase d'entrée.
L'analyse de la phrase (en utilisant le stanford pcfg par exemple) convertirait la phrase en un arbre dont les feuilles contiendraient les étiquettes POS (qui correspondent aux mots de la phrase), mais le reste de l'arbre vous dirait comment exactement ces mots se réunissent pour faire la phrase globale. Par exemple, un adjectif et un substantif peut combiner à une "Phrase Nominale", qui pourrait combiner avec un autre adjectif pour former une autre Phrase substantive (par exemple renard brun rapide) (la façon exacte dont les morceaux se combinent dépend de l'analyseur en question).
Vous pouvez voir comment la sortie parser ressemble à http://nlp.stanford.edu:8080/parser/index.jsp
un analyseur superficiel ou "chunker" vient quelque part entre ces deux. Un simple POS tagger est vraiment rapide mais ne vous donne pas assez d'informations et un analyseur complet est lent et vous donne trop. Un POS tagger peut être considéré comme un analyseur qui retourne seulement le plus bas niveau de l'arbre d'analyse pour vous. Un chasseur peut être considéré comme un analyseur qui vous renvoie un autre niveau de l'arbre à la place. Parfois, vous avez juste besoin de savoir qu'un groupe de mots ensemble forment une Phrase substantive mais ne vous souciez pas de la sous-structure de l'arbre dans ces mots (i.e. quels mots sont des adjectifs, des déterminants, des noms, etc et comment ils se combinent). Dans de tels cas, vous pouvez utiliser un chunker pour obtenir exactement l' informations dont vous avez besoin au lieu de perdre du temps à générer l'arborescence complète de la phrase.
le tagging POS est un processus qui décide quel est le type de chaque token d'un texte, par exemple nom, verbe, DÉTERMINEUR, etc. Le jeton peut être mot ou Ponctuation.
Pendant ce temps, l'analyse superficielle ou le chunking est un processus qui divise un texte en un groupe syntaxique.
Pos Tagging de sortie
Mon/PRP$ chien/NN j'aime/VBZ son/PRP$ nourriture/NN ./.
Chunking de sortie
[NP Mon Chien] [VP aime] [NP ses la nourriture]
le cadre grammatical des contraintes est indicatif. Dans sa forme la plus simple et la plus grossière, il prend comme entrée le texte étiqueté POS, et ajoute ce que vous pourriez appeler une partie des étiquettes de Clause. Pour un adjectif, par exemple, il pourrait ajouter @NN> pour indiquer qu'il fait partie d'un NP dont le mot principal est à droite.
POS_tagger, nous étiquetons les mots en utilisant un "tagset" comme {nom, verbe, adj, adv, prob...} alors que les analyseur superficiel essayez de définir sous-composantes telles que L'entité du nom et les phrases dans la phrase comme "Je suis actuellement (en train de suivre un cours de traitement de la langue) à (mon université) et (toujours confondu avec un concept de base.)"
D. Jurafsky et J. H. Martin disent dans leur livre, cette parse superficielle (parse partielle) est une parse qui n'extrait pas toutes les informations possibles de la phrase, mais il suffit d'extraire précieuse dans les informations spécifiques au cas.
le Chunking n'est qu'une des approches de l'analyse superficielle. Comme il a été mentionné, il ne contient que des informations sur les phrases de base non récursives (par exemple, les phrases verbales ou les phrases nominales).
d'Autres approches, par exemple, produisent des crevé analyser les arbres. Ces arbres peuvent contenir de l'information sur les étiquettes de la partie de la parole, mais ils diffèrent les décisions qui peuvent exiger des facteurs sémantiques ou contextuels, comme les attachements au PP, les ambiguïtés de coordination et les analyses des composés nominaux.
donc, l'analyse superficielle est l'analyse qui produit un arbre partiel. Segmentation est un exemple d'une telle analyse.