Recherche sémantique avec PNL et elasticsearch

Il peut y avoir plusieurs approches avec une complexité de mise en œuvre différente.

Le plus simple est de créer Liste de sujets (comme plomberie), joindre sac de mots (comme "pipe"), identifier la demande de recherche par la majorité des mots-clés et rechercher uniquement dans le sujet spécifié (vous pouvez ajouter le champ topic à vos documents de recherche elastic et le Définir comme obligatoire avec + pendant la recherche).

Bien sûr, si vous avez beaucoup de documents, création manuelle de la liste des sujets et sac de les mots sont très chers. Vous pouvez utiliser Machine learning pour automatiser certaines tâches. Fondamentalement, il suffit d'avoir une mesure de distance entre les mots et / ou les documents pour découvrir automatiquement les sujets (par exemple par Data clustering) et classer requête à l'un de ces sujets. Le mélange de ces techniques peut également être un bon choix (par exemple, vous pouvez créer manuellement des sujets et leur attribuer des documents initiaux, mais utiliser la classification pour l'attribution de requêtes). Jetez un oeil à Article de Wikipédia sur analyse sémantique latente pour mieux comprendre l'idée. Faites également attention aux 2 articles liés sur Data clustering et document classification . Et oui, Maui Indexeur peut devenir un bon outil d'aide de cette façon.

Enfin, vous pouvez essayer de construire un moteur qui "comprend" le sens de l'expression (pas seulement utilise la fréquence des Termes) et recherche les sujets appropriés. Très probablement, cela impliquera naturel traitement du langage et bases de connaissances basées sur l'ontologie . Mais en fait, ce domaine est toujours en recherche active et sans expérience préalable, il vous sera très difficile de mettre en œuvre quelque chose comme ça.