preguntar acerca de pyspark-sql

J'ai un dataframe date pyspark avec une colonne de chaîne au format MM-dd-yyyy et j'essaie de le convertir en une colonne de date. J'ai essayé: df.select(to_date(df.STRING_COLUMN).alias('new_date')).show() Et je reçois une chaîne de nulls. Que …

s'il vous Plaît suggérer pyspark dataframe alternative pour les Pandas df['col'].unique(). je veux énumérer toutes les valeurs uniques dans une colonne de dataframe de pyspark. pas le chemin de type SQL (registertemplate puis requête SQL pour des …

j'essaie d'effectuer une tâche simple dans spark dataframe (python) qui est de créer une nouvelle dataframe en sélectionnant des colonnes spécifiques et des colonnes imbriquées à partir d'une autre dataframe par exemple: df.printSchema() root …

j'ai passé beaucoup de temps à lire quelques questions avec les étiquettes pyspark et spark-dataframe et très souvent je trouve que les affiches ne fournissent pas assez d'information pour vraiment comprendre leur question. Je commente habituell …