Airbnb Airflow vs Apache Nifi [fermé]
Airflow et Nifi font-ils le même travail sur workflows? Quels sont les avantages et les inconvénients de chacun? J'ai besoin de lire quelques fichiers json, d'y ajouter plus de métadonnées personnalisées et de les mettre dans une file D'attente Kafka pour être traitée. J'ai été en mesure de le faire dans Nifi. Je travaille encore sur le flux d'Air. J'essaie de choisir le meilleur moteur de flux de travail pour mon projet Je vous remercie!
1 réponses
pour un bon aperçu de Airflow et Apache NiFi, consultez ce post de reddit: https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/
pour votre cas d'utilisation spécifique de l'ingestion de fichiers Json, leur enrichissement et leur routage à Kafka je crois que NiFi est le bon outil pour le travail. Quelques processeurs que vous pourriez éventuellement utiliser, ainsi que de la documentation pour chacun, sont ci-dessous:
JoltTransformJSON: https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.standard.JoltTransformJSON/index.html
Publikafka (ou Publikafka_0_10 selon votre version): https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html