preguntar acerca de scala
3
réponses
Créer UUID avec des zéros
j'essaie de générer un UUID avec tous les zéros:
java.util.UUID fromString "00000000-00000000-00000000-00000000"
L'erreur est
java.lang.IllegalArgumentException: Invalid UUID string: 00000000-00000000-00000000-00000000
at java.util.UUID.from …
demandé sur
1970-01-01 00:33:33
4
réponses
Fendre 1 colonne en 3 colonnes en spark scala
j'ai une base de données en Spark en utilisant scala qui a une colonne que j'ai besoin de diviser.
scala> test.show
+-------------+
|columnToSplit|
+-------------+
| a.b.c|
| d.e.f|
+-------------+
j'ai besoin que cette colonne s …
demandé sur
1970-01-01 00:33:36
2
réponses
Scala Spark DataFrame: dataFrame.sélectionner plusieurs colonnes avec une séquence de noms de colonnes
val columnName=Seq("col1","col2",....."coln");
y a-t-il un moyen de faire le dataframe.sélectionnez opération pour obtenir dataframe contenant seulement les noms de colonne spécifiés .
Je sais que je peux faire dataframe.select("col1","col2"...)
m …
demandé sur
1970-01-01 00:33:36
2
réponses
Pourquoi le toSeq de Scala convertit-il un jeu immuable en un Mutable ArrayBuffer?
Si j'appelle toSeq sur un immuable Set collection je reçois un ArrayBuffer.
scala> Set(1,2,3).toSeq // returns Seq[Int] = ArrayBuffer(1, 2, 3)
cela me surprend. Étant donné L'accent mis par Scala sur l'utilisation de structures de données immua …
demandé sur
1970-01-01 00:33:32
5
réponses
Comment puis-je trouver l’indice de la valeur maximale dans une Liste Scala?
pour une liste Scala [Int] je peux appeler la méthode max pour trouver la valeur maximale de l'élément.
Comment puis-je trouver l'index de l'élément maximum?
C'est ce que je fais maintenant:
val max = list.max
val index = list.indexOf(max)
…
demandé sur
1970-01-01 00:33:32
6
réponses
Meilleure façon de convertir un champ string en timestamp en Spark
j'ai un CSV dans lequel un champ est datetime dans un format spécifique. Je ne peux pas l'importer directement dans mon Dataframe car il doit être un timestamp. Donc je l'importe comme chaîne de caractères et le transforme en Timestamp comme ceci
im …
demandé sur
1970-01-01 00:33:35
2
réponses
Scala: cas classe unapply vs une mise en œuvre manuelle et type erasure
j'essaie de comprendre ce que Scala fait avec les classes de CAs qui les rendent en quelque sorte immunisés aux avertissements d'effacement de type.
disons que nous avons la structure de classe simple suivante. C'est en gros un Either:
abstract cla …
demandé sur
1970-01-01 00:33:32
5
réponses
Comment puis-je itérer les RDD dans apache spark (scala)
j'utilise la commande suivante pour remplir un RDD avec un tas de tableaux contenant 2 chaînes ["filename", "content"].
maintenant je veux itérer sur chacune de ces occurrences pour faire quelque chose avec chaque nom de fichier et le contenu.
val …
demandé sur
1970-01-01 00:33:34
7
réponses
Générer une séquence de nombre de Fibonacci dans Scala [dupliquer]
Cette question a déjà une réponse ici:
Quelle est la façon la plus rapide d'écrire la fonction Fibonacci dans Scala?
8 réponses
def fibSeq(n: Int): List[Int] = { …
demandé sur
1970-01-01 00:33:32
1
réponses
Filtre spark DataFrame sur la chaîne contient
j'utilise étincelle 1.3.0 et Spark Avro 1.0.0.
Je travaille à partir de l'exemple sur la page de référentiel. Ce code suivant fonctionne bien
val df = sqlContext.read.avro("src/test/resources/episodes.avro")
df.filter("doctor > 5").write.avr …
demandé sur
1970-01-01 00:33:36