Quelle est la différence entre Apache Spark et Apache Flink? [fermé]

au début, qu'ont-ils en commun? Flink et Spark sont à la fois des plates-formes de traitement de données polyvalentes et des projets de haut niveau de La Apache Software Foundation (ASF). Ils ont un large champ d'application et sont utilisables pour des dizaines de scénarios de big data. Grâce à des extensions telles que les requêtes SQL (Spark: Spark SQL, Flink: MRQL), le traitement de graphiques (Spark: GraphX, Flink: Spargel (base) et Gelly (bibliothèque)), l'apprentissage machine (Spark: MLlib, Flink: Flink ML) et le traitement de flux (Spark Streaming, Flink Streaming). Les deux sont capables de fonctionner en mode autonome, mais beaucoup les utilisent en plus de Hadoop (fil, HDFS). Ils partagent une performance forte en raison de leur nature en mémoire.

cependant, la façon dont ils atteignent cette variété et les cas sur lesquels ils sont spécialisés diffèrent.

différences: Au début, je voudrais fournir deux liens qui vont dans le détail sur les différences entre Flink et Spark avant de le résumer jusqu'. Si vous avez le temps de jeter un oeil à Apache Flink est le 4G de BigData Analytics Framework et Flink et étincelles similitudes et différences

contrairement à Flink, Spark n'est pas capable de traiter des ensembles de données plus grands que la mémoire vive avant la version 1.5.x

Flink est optimisé pour cycliques ou un processus itératif en utilisant itératif transformations sur les collections. C'est réalisé par une optimisation des algorithmes de jointure, chaînage opérateur et réutilisation du partitionnement et du tri. Cependant, Flink est également un outil puissant pour le traitement par lots. Flink streaming traite les flux de données comme des flux réels, c'est-à-dire que les éléments de données sont immédiatement "pipelinés" par un programme de streaming dès leur arrivée. Cela permet d'effectuer des opérations de fenêtre flexibles sur les flux. Il est même capable de traiter les données tardives dans les flux en utilisant des filigranes. En outre, Flink fournit un mode de compatibilité forte qui permet d'utiliser votre Tempête existante, carte réduire, ... code sur le moteur d'exécution flink

Spark est par contre basé sur des ensembles de données réparties (RDDs). Cette structure de données (principalement) en mémoire donne le pouvoir de créer un paradigme de programmation fonctionnelle. Il est capable de grands calculs de fournée en épinglant la mémoire. Spark stream enroule les flux de données en mini-lots, c'est-à-dire qu'il recueille toutes les données qui arrive dans une certaine période de temps et exécute un programme de lot régulier sur les données recueillies. Pendant que le programme batch est en cours d'exécution, les données pour le prochain mini-batch sont collectées.

est-ce que Flink va remplacer Hadoop?

Non. Hadoop se compose de différentes parties:

• HDFS-Hadoop Distributed Filesystem
• fils - encore un autre négociateur des ressources (ou Gestionnaire des ressources)
• MapReduce - Le traitement par lots "Cadre de 151960920" Hadoop