preguntar acerca de rdd

Quelle est la différence entre un RDD l' map et mapPartitions méthode? Et flatMap se comporte - t-il comme map ou comme mapPartitions? Grâce. (modifier) c'est-à-dire quelle est la différence (sémantiquement ou en termes d'exécution) entre def m …

Spark version 1.2.0 on pourrait utiliser subtract 2 SchemRDDs terminer avec seulement le contenu différent de la première val onlyNewData = todaySchemaRDD.subtract(yesterdaySchemaRDD) onlyNewData contient les lignes de todaySchemRDD qui n'existent …

J'ai un petit programme Scala qui fonctionne bien sur un seul nœud. Cependant, je le redimensionne pour qu'il fonctionne sur plusieurs nœuds. C'est ma première tentative de ce genre. J'essaie juste de comprendre comment les RDDs fonctionnent dans Spa …

j'ai un RDD et je veux le convertir en pandas dataframe. Je sais que pour convertir et RDD normal dataframe nous pouvons faire df = rdd1.toDF() Mais je veux convertir le RDDpandas dataframe et pas normale dataframe. Comment puis-je le faire? …

nous sommes en train d'élaborer le cadre Spark dans lequel nous transférons les données historiques dans des ensembles de données de RDD. fondamentalement, RDD est immuable, lire seulement ensemble de données sur lesquelles nous faisons des opératio …

j'ai, je crois, relativement utilisation de spark streaming: j'ai un flux d'objets que je voudrais filtre sur la base de quelques données de référence au départ, j'ai pensé que ce serait une chose très simple à réaliser en utilisant un Variable D …

Définition dit: CA est immuable distribué collection d'objets Je ne comprends pas très bien ce que cela signifie. Est-ce que c'est comme des données (objets partitionnés) stockées sur un disque dur si c'est le cas, alors comment se fait-il q …

le code ci-dessous Lira à partir de l'hbase, puis le convertira en structure json et le convertira en schemaRDD , mais le problème est que je suis using List pour stocker la chaîne json puis passer à javaRDD, pour des données d'environ 100 Go le mast …

comment donner plus de conditions de colonne en rejoignant deux dataframes. Par exemple je veux exécuter la commande suivante : val Lead_all = Leads.join(Utm_Master, Leaddetails.columns("LeadSource","Utm_Source","Utm_Medium","Utm_Campaign") == …

je cherche une meilleure explication des fonctionnalités agrégées disponibles via spark en python. l'exemple que j'ai est comme suit (en utilisant pyspark de la version 1.2.0 de Spark) sc.parallelize([1,2,3,4]).aggregate( (0, 0), (lambda acc …