preguntar acerca de airflow

1
réponses

Airflow Logs BrokenPipeException

j'utilise un environnement de flux d'Air groupé où j'ai quatre EC2-instances AWS pour les serveurs. ec2-instances Serveur 1: Serveur Web, Planificateur, Redis File D'Attente, PostgreSQL Base De Données Serveur 2: Serveur Web Le Serveur 3: Travaill …
demandé sur 1970-01-01 00:33:38
1
réponses

Airbnb Airflow vs Apache Nifi [fermé]

Airflow et Nifi font-ils le même travail sur workflows? Quels sont les avantages et les inconvénients de chacun? J'ai besoin de lire quelques fichiers json, d'y ajouter plus de métadonnées personnalisées et de les mettre dans une file D'attente Kafka …
demandé sur 1970-01-01 00:33:36
3
réponses

Comment exécuter Spark code dans Airflow?

Bonjour peuple de la Terre! J'utilise Airflow pour programmer et exécuter des tâches D'étincelles. Tout ce que j'ai trouvé à ce moment-là, c'est des DAGs en python que Airflow peut gérer. DAG exemple: spark_count_lines.py import logging from airfl …
demandé sur 1970-01-01 00:33:36
4
réponses

Airbnb Airflow utilisant toutes les ressources du système

nous avons mis en place Airbnb / Apache Airflow pour notre ETL en utilisant LocalExecutor, et comme nous avons commencé à construire des Dag plus complexes, nous avons remarqué que Airflow a commencé à utiliser des quantités incroyables de ressources …
demandé sur 1970-01-01 00:33:37
5
réponses

date d’exécution dans airflow: besoin d’accéder en tant que variable

je suis vraiment un internaute novice dans ce forum. Mais je joue avec airflow, depuis un moment, pour notre compagnie. Désolé si cette question semble vraiment stupide. j'écris un pipeline en utilisant un tas de BashOperators. Fondamentalement, …
demandé sur 1970-01-01 00:33:36
2
réponses

Comment créer une tâche conditionnelle dans Airflow

je voudrais créer une tâche conditionnelle dans Airflow comme décrit dans le schéma ci-dessous. Le scénario attendu est le suivant: Tâche 1 exécute si la tâche 1 réussit, alors exécutez la tâche 2a Sinon si la tâche 1 échoue, alors exécutez la tâc …
demandé sur 1970-01-01 00:33:37
4
réponses

Bonne façon de créer des flux de travail dynamiques dans le flux D’Air

problème est - il possible dans Airflow de créer un flux de travail tel que le nombre de tâches B.* est inconnu jusqu'à l'achèvement de la tâche A? J'ai regardé les sous-dags mais il semble qu'il ne peut fonctionner qu'avec un ensemble stati …
demandé sur 1970-01-01 00:33:37
5
réponses

mise en place de s3 pour les logs dans le flux d’air

j'utilise docker-compose pour mettre en place un cluster d'écoulement d'air évolutif. J'ai basé mon approche sur ce fichier Dockerfile https://hub.docker.com/r/puckel/docker-airflow/ mon problème est de configurer les logs pour écrire/ …
demandé sur 1970-01-01 00:33:37
4
réponses

Airflow: transmettre une valeur dynamique à L’opérateur Sub DAG

je suis nouveau à Airflow. J'ai rencontré un scénario, où Dag Parent doit passer un certain nombre dynamique (disons n ) à Sub dag. Où as SubDAG utilisera ce nombre pour créer dynamiquement des tâches parallèles n . La documen …
demandé sur 1970-01-01 00:33:37