preguntar acerca de apache-spark

j'utilise PySpark et j'ai une base de données Spark avec un tas de colonnes numériques. Je veux ajouter une colonne qui est la somme de toutes les autres colonnes. supposons que mon datagramme ait les colonnes "a", "b", et "c". Je sais que je peux …

J'essaie de faire la classification doc dans Spark. Je ne suis pas sûr de ce que fait le hachage dans HashingTF; est-ce qu'il sacrifie une quelconque précision? J'en doute, mais je ne sais pas. L'étincelle doc dit qu'il utilise le "hachage truc"... j …

je me demandais s'il était possible de changer la position d'une colonne dans une base de données, en fait de changer le schéma ? Justement si j'ai un dataframe comme [champ1, champ2, champ3], et je voudrais obtenir [champ1, champ3, champ2]. Toute …

J'ai trouvé que PySpark a une méthode appelée drop mais il semble qu'il ne peut déposer une colonne à la fois. Toutes les idées sur la façon de déposer plusieurs colonnes en même temps? df.drop(['col1','col2']) TypeError …

je voudrais écrire un codeur Ligne tapez un ensemble de données, pour une opération cartographique que je fais. Essentiellement, je ne comprends pas comment écrire les encodeurs. ci-Dessous est un exemple d'une opération de carte: In the example be …

j'essaie de savoir s'il est possible d'avoir une "formation incrémentielle" sur les données en utilisant MLlib dans Apache Spark. ma plate-forme est prédiction IO, et c'est essentiellement une enveloppe pour Spark (MLlib), HBase, ElasticSearch et d …

Bonjour peuple de la Terre! J'utilise Airflow pour programmer et exécuter des tâches D'étincelles. Tout ce que j'ai trouvé à ce moment-là, c'est des DAGs en python que Airflow peut gérer. DAG exemple: spark_count_lines.py import logging from airfl …

j'écris pour voir si quelqu'un sait comment accélérer les temps d'écriture de S3 à partir de Spark courant dans EMR? mon travail D'étincelle prend plus de 4 heures à compléter, cependant le faisceau est seulement sous la charge pendant les première …

je suis nouveau à spark, et je veux utiliser group-by & reduce pour trouver ce qui suit de CSV (une ligne par employé): Department, Designation, costToCompany, State Sales, Trainee, 12000, UP Sales, Lead, 32000, AP Sales, Lead, 32000, LA …

j'ai une base de données en Spark en utilisant scala qui a une colonne que j'ai besoin de diviser. scala> test.show +-------------+ |columnToSplit| +-------------+ | a.b.c| | d.e.f| +-------------+ j'ai besoin que cette colonne s …