Suivi des fichiers journaux à l'aide de certains paramètres exportateur + Prometheus + Grafana

j'ai besoin de surveiller des fichiers journaux très différents pour les erreurs, l'état de succès, etc. Et j'ai besoin de saisir les mesures correspondantes en utilisant Prometheus et de montrer dans Grafana + mettre une alerte sur elle. Prometheus + Grafana sont OK je les utilise déjà beaucoup avec différents exportateurs comme node_exporter ou mysql_exporter etc. Aussi alerte dans le nouveau Grafana 4.x fonctionne très bien.

mais j'ai tout un problème pour trouver un exportateur/ programme approprié qui pourrait analyser les fichiers journaux "à la volée" et extraire des mesures d'eux.

jusqu'à présent, j'ai essayé:

  • mtail (https://github.com/google/mtail) - fonctionne mais la version existante ne peut pas facilement surveiller plus de fichiers-en général, il ne peut pas lier le programme spécifique mtail (réception pour analyse) à un fichier log spécifique + Je ne peux pas facilement ajouter le nom du fichier log dans la balise
  • grok_exporter (https://github.com/fstab/grok_exporter) - fonctionne mais je ne peux extraire que des informations limitées + une instance peut surveiller un seul fichier log, ce qui veut dire que je devrais commencer à exporter plus d'instances sur plus de ports et les configurer toutes dans prometheus - ce qui fait trop de nouveaux points d'échec
  • fluentd prometheus exportateur (https://github.com/kazegusuri/fluent-plugin-prometheus) - fonctionne, mais il semble que je ne puisse extraire que des mesures très simples et je ne peux pas faire aucune analyse regexp avancée d'une ligne(s) à partir du fichier log

quelqu'un ici a vraiment une solution d'exécution pour le suivi des mesures avancées à partir des fichiers journaux en utilisant "certains exportateurs" + Prometheus + Grafana? Ou au lieu d'exporter QUELQUE programme à partir duquel je pourrais obtenir des résultats en utilisant Prometheus push gateway. Grâce.

8
demandé sur JosMac 2016-12-15 12:40:26

2 réponses

regardez Telegraf. Il supporte les logs de suivi en utilisant les plugins d'entrée logparser et queue. Pour exporter des mesures en tant que paramètre prometheus, utilisez prometheus_client sortie du plugin. Vous pouvez également appliquer sur les agrégations de mouche. J'ai trouvé plus simple de configurer pour plusieurs fichiers log que grok_exporter ou mtail

4
répondu LazyS 2017-11-23 12:11:13

ce sont les 3 réponses actuellement pour obtenir des données de journal dans Prometheus.

vous pouvez également chercher à obtenir ce qui produit les logs pour exposer Prometheus metrics directement.

1
répondu brian-brazil 2016-12-15 10:07:38