Ce n'était pas évident. Je ne vois aucune somme par ligne des colonnes définies dans l'API spark Dataframes.

Version 2

Cela peut être fait d'une manière assez simple:

newdf = df.withColumn('total', sum(df[col] for col in df.columns))

df.columns est fourni par pyspark sous la forme d'une liste de chaînes donnant tous les noms de colonnes dans la base de données Spark. Pour une somme différente, vous pouvez fournir n'importe quelle autre liste de noms de colonne à la place.

Je n'ai pas essayé ceci comme première solution parce que je n'étais pas certain comment il serait comporter. Mais il fonctionne.

Version 1

C'est trop compliqué, mais fonctionne aussi bien.

Vous pouvez faire ceci:

1. utiliser df.columns pour obtenir une liste des noms de colonnes
2. utilisez cette liste de noms pour faire une liste des colonnes
3. passer cette liste à quelque chose qui va invoquer la fonction add surchargée de la colonne dans un mode fonctionnel de type plie

avec python réduction, une certaine connaissance du fonctionnement de la surcharge de l'opérateur, et du code pyspark pour les colonnes ici devient:

def column_add(a,b):
     return  a.__add__(b)

newdf = df.withColumn('total_col', 
         reduce(column_add, ( df[col] for col in df.columns ) ))

notez qu'il s'agit d'une réduction python, pas d'une réduction RDD spark, et que le terme entre parenthèses du second paramètre à réduire nécessite la parenthèse car c'est une expression de générateur de liste.

Testé, Fonctionne!

$ pyspark
>>> df = sc.parallelize([{'a': 1, 'b':2, 'c':3}, {'a':8, 'b':5, 'c':6}, {'a':3, 'b':1, 'c':0}]).toDF().cache()
>>> df
DataFrame[a: bigint, b: bigint, c: bigint]
>>> df.columns
['a', 'b', 'c']
>>> def column_add(a,b):
...     return a.__add__(b)
...
>>> df.withColumn('total', reduce(column_add, ( df[col] for col in df.columns ) )).collect()
[Row(a=1, b=2, c=3, total=6), Row(a=8, b=5, c=6, total=19), Row(a=3, b=1, c=0, total=4)]