preguntar acerca de airflow

j'utilise un environnement de flux d'Air groupé où j'ai quatre EC2-instances AWS pour les serveurs. ec2-instances Serveur 1: Serveur Web, Planificateur, Redis File D'Attente, PostgreSQL Base De Données Serveur 2: Serveur Web Le Serveur 3: Travaill …

Airflow et Nifi font-ils le même travail sur workflows? Quels sont les avantages et les inconvénients de chacun? J'ai besoin de lire quelques fichiers json, d'y ajouter plus de métadonnées personnalisées et de les mettre dans une file D'attente Kafka …

Bonjour peuple de la Terre! J'utilise Airflow pour programmer et exécuter des tâches D'étincelles. Tout ce que j'ai trouvé à ce moment-là, c'est des DAGs en python que Airflow peut gérer. DAG exemple: spark_count_lines.py import logging from airfl …

nous avons mis en place Airbnb / Apache Airflow pour notre ETL en utilisant LocalExecutor, et comme nous avons commencé à construire des Dag plus complexes, nous avons remarqué que Airflow a commencé à utiliser des quantités incroyables de ressources …

je suis vraiment un internaute novice dans ce forum. Mais je joue avec airflow, depuis un moment, pour notre compagnie. Désolé si cette question semble vraiment stupide. j'écris un pipeline en utilisant un tas de BashOperators. Fondamentalement, …

je voudrais créer une tâche conditionnelle dans Airflow comme décrit dans le schéma ci-dessous. Le scénario attendu est le suivant: Tâche 1 exécute si la tâche 1 réussit, alors exécutez la tâche 2a Sinon si la tâche 1 échoue, alors exécutez la tâc …

problème est - il possible dans Airflow de créer un flux de travail tel que le nombre de tâches B.* est inconnu jusqu'à l'achèvement de la tâche A? J'ai regardé les sous-dags mais il semble qu'il ne peut fonctionner qu'avec un ensemble stati …

j'utilise docker-compose pour mettre en place un cluster d'écoulement d'air évolutif. J'ai basé mon approche sur ce fichier Dockerfile https://hub.docker.com/r/puckel/docker-airflow/ mon problème est de configurer les logs pour écrire/ …

je suis nouveau à Airflow. J'ai rencontré un scénario, où Dag Parent doit passer un certain nombre dynamique (disons n ) à Sub dag. Où as SubDAG utilisera ce nombre pour créer dynamiquement des tâches parallèles n . La documen …