preguntar acerca de scala

3
réponses

Créer UUID avec des zéros

j'essaie de générer un UUID avec tous les zéros: java.util.UUID fromString "00000000-00000000-00000000-00000000" L'erreur est java.lang.IllegalArgumentException: Invalid UUID string: 00000000-00000000-00000000-00000000 at java.util.UUID.from …
demandé sur 1970-01-01 00:33:33
4
réponses

Fendre 1 colonne en 3 colonnes en spark scala

j'ai une base de données en Spark en utilisant scala qui a une colonne que j'ai besoin de diviser. scala> test.show +-------------+ |columnToSplit| +-------------+ | a.b.c| | d.e.f| +-------------+ j'ai besoin que cette colonne s …
demandé sur 1970-01-01 00:33:36
2
réponses

Scala Spark DataFrame: dataFrame.sélectionner plusieurs colonnes avec une séquence de noms de colonnes

val columnName=Seq("col1","col2",....."coln"); y a-t-il un moyen de faire le dataframe.sélectionnez opération pour obtenir dataframe contenant seulement les noms de colonne spécifiés . Je sais que je peux faire dataframe.select("col1","col2"...) m …
demandé sur 1970-01-01 00:33:36
2
réponses

Pourquoi le toSeq de Scala convertit-il un jeu immuable en un Mutable ArrayBuffer?

Si j'appelle toSeq sur un immuable Set collection je reçois un ArrayBuffer. scala> Set(1,2,3).toSeq // returns Seq[Int] = ArrayBuffer(1, 2, 3) cela me surprend. Étant donné L'accent mis par Scala sur l'utilisation de structures de données immua …
demandé sur 1970-01-01 00:33:32
5
réponses

Comment puis-je trouver l’indice de la valeur maximale dans une Liste Scala?

pour une liste Scala [Int] je peux appeler la méthode max pour trouver la valeur maximale de l'élément. Comment puis-je trouver l'index de l'élément maximum? C'est ce que je fais maintenant: val max = list.max val index = list.indexOf(max) …
demandé sur 1970-01-01 00:33:32
6
réponses

Meilleure façon de convertir un champ string en timestamp en Spark

j'ai un CSV dans lequel un champ est datetime dans un format spécifique. Je ne peux pas l'importer directement dans mon Dataframe car il doit être un timestamp. Donc je l'importe comme chaîne de caractères et le transforme en Timestamp comme ceci im …
demandé sur 1970-01-01 00:33:35
2
réponses

Scala: cas classe unapply vs une mise en œuvre manuelle et type erasure

j'essaie de comprendre ce que Scala fait avec les classes de CAs qui les rendent en quelque sorte immunisés aux avertissements d'effacement de type. disons que nous avons la structure de classe simple suivante. C'est en gros un Either: abstract cla …
demandé sur 1970-01-01 00:33:32
5
réponses

Comment puis-je itérer les RDD dans apache spark (scala)

j'utilise la commande suivante pour remplir un RDD avec un tas de tableaux contenant 2 chaînes ["filename", "content"]. maintenant je veux itérer sur chacune de ces occurrences pour faire quelque chose avec chaque nom de fichier et le contenu. val …
demandé sur 1970-01-01 00:33:34
7
réponses

Générer une séquence de nombre de Fibonacci dans Scala [dupliquer]

Cette question a déjà une réponse ici: Quelle est la façon la plus rapide d'écrire la fonction Fibonacci dans Scala? 8 réponses def fibSeq(n: Int): List[Int] = { …
demandé sur 1970-01-01 00:33:32
1
réponses

Filtre spark DataFrame sur la chaîne contient

j'utilise étincelle 1.3.0 et Spark Avro 1.0.0. Je travaille à partir de l'exemple sur la page de référentiel. Ce code suivant fonctionne bien val df = sqlContext.read.avro("src/test/resources/episodes.avro") df.filter("doctor > 5").write.avr …
demandé sur 1970-01-01 00:33:36