preguntar acerca de apache-spark-dataset

je voudrais écrire un codeur Ligne tapez un ensemble de données, pour une opération cartographique que je fais. Essentiellement, je ne comprends pas comment écrire les encodeurs. ci-Dessous est un exemple d'une opération de carte: In the example be …

j'aime les ensembles de données Spark car ils me donnent des erreurs d'analyse et des erreurs de syntaxe au moment de la compilation et me permettent également de travailler avec getters au lieu de noms/nombres codés en dur. La plupart des calculs pe …

je me demande juste Quelle est la différence entre un RDD et DataFrame (Spark 2.0.0 DataFrame est un simple alias type pour Dataset[Row] ) dans Apache Spark? Pouvez-vous convertir un à l'autre? ... …

selon introduisant les données D'étincelles : alors que nous attendons Spark 2.0, nous prévoyons des améliorations intéressantes aux ensembles de données, en particulier: ... Encodeurs personnalisés-alors que nous autorégulon …

à partir de spark 2.0.1 j'ai quelques questions. J'ai lu beaucoup de documentation mais jusqu'à présent je n'ai pas pu trouver de réponses suffisantes: Quelle est la différence entre df.select("foo") df.select($"foo") …