preguntar acerca de spark-streaming

nous sommes en train d'élaborer le cadre Spark dans lequel nous transférons les données historiques dans des ensembles de données de RDD. fondamentalement, RDD est immuable, lire seulement ensemble de données sur lesquelles nous faisons des opératio …

j'ai, je crois, relativement utilisation de spark streaming: j'ai un flux d'objets que je voudrais filtre sur la base de quelques données de référence au départ, j'ai pensé que ce serait une chose très simple à réaliser en utilisant un Variable D …

Bonjour, je suis en train de télécharger spark-core, spark-streaming,twitter4j et spark-streaming-twitter dans la construction.fichier sbt ci-dessous: name := "hello" version := "1.0" scalaVersion := "2.11.8" libraryDependencies += "org.apache.sp …

j'utilise le Streaming D'étincelles pour traiter les données entre deux files D'attente Kafka mais je ne trouve pas de bonne façon d'écrire sur Kafka à partir de Spark. J'ai essayé ceci: input.foreachRDD(rdd => rdd.foreachPartition(partitio …

j'ai essayé d'exécuter spark-shell en mode fils client , mais j'obtiens beaucoup d'erreurs ClosedChannelException . J'utilise la construction spark 2.0.0 Pour Hadoop 2.6. voici les exceptions: $ spark-2.0.0-bin-hadoop2.6/bin/spark-she …