preguntar acerca de scala
1
réponses
Informeless: Générique.Aux
J'essaie de comprendre comment fonctionne Generic (et TypeClass aussi). Le wiki github est très clairsemé sur les exemples et la documentation. Y a-t-il une page de blog / documentation canonique décrivant Generic et TypeClass en détail?
Concrètemen …
demandé sur
1970-01-01 00:33:35
1
réponses
Aplatir les rangées dans Spark
Je fais des tests pour spark en utilisant scala. Nous lisons généralement les fichiers json qui doivent être manipulés comme l'exemple suivant:
Test.json:
{"a":1,"b":[2,3]}
val test = sqlContext.read.json("test.json")
Comment puis-je le conve …
demandé sur
1970-01-01 00:33:35
6
réponses
Scala: fusionner des cartes par clé
Disons que j'ai deux cartes:
val a = Map(1 -> "one", 2 -> "two", 3 -> "three")
val b = Map(1 -> "un", 2 -> "deux", 3 -> "trois")
Je veux fusionner ces cartes par clé, en appliquant une fonction pour collecter les valeurs (dans c …
demandé sur
1970-01-01 00:33:31
3
réponses
Mode autonome Spark: comment compresser la sortie spark écrite sur HDFS
Lié à mon autre question, mais distinct:
someMap.saveAsTextFile("hdfs://HOST:PORT/out")
Si j'enregistre un RDD sur HDFS, Comment puis-je dire à spark de compresser la sortie avec gzip?
Dans Hadoop, il est possible de définir
mapred.output.compr …
demandé sur
1970-01-01 00:33:33
1
réponses
Spark / Scala: remplissage en avant avec la dernière observation
En Utilisant Spark 1.4.0, Scala 2.10
J'ai essayé de trouver un moyen de transférer les valeurs null avec la dernière observation connue, mais je ne vois pas un moyen facile. Je pense que c'est une chose assez commune à faire, mais je ne trouve pas d …
demandé sur
1970-01-01 00:33:35
1
réponses
quitter la console repl avec un processus d’arrière-plan
Comment quittez-vous de la console repl dans sbt avec un processus d'arrière-plan en cours d'exécution? Ce qui suit se bloque:
$ sbt
> console
Welcome to Scala version 2.9.1.final (Java HotSpot(TM) 64-Bit Server VM, Java 1.6.0_26).
scala> i …
demandé sur
1970-01-01 00:33:31
8
réponses
Java 8 flux, obtenir la tête et la queue
Java 8 a introduit une classe Stream qui ressemble à Stream de Scala, une puissante construction paresseuse utilisant laquelle il est possible de faire quelque chose comme ceci de manière très concise:
def from(n: Int): Stream[Int] = n #:: from(n+ …
demandé sur
1970-01-01 00:33:33
6
réponses
akka HttpResponse lire le corps comme chaîne scala
J'ai Donc une fonction avec cette signature (akka.http.modèle.HttpResponse):
def apply(query: Seq[(String, String)], accept: String): HttpResponse
J'obtiens simplement une valeur dans un test comme:
val resp = TagAPI(Seq.empty[(String, String)] …
demandé sur
1970-01-01 00:33:35
3
réponses
Scala bloque enfin la fermeture / le rinçage des ressources
Existe - t-il un meilleur moyen de s'assurer que les ressources sont correctement libérées-une meilleure façon d'écrire le code suivant ?
val out: Option[FileOutputStream] = try {
Option(new FileOutputStream(path))
} catch …
demandé sur
1970-01-01 00:33:32
2
réponses
Comment aplatir une collection avec Spark / Scala?
Dans Scala, je peux aplatir une collection en utilisant:
val array = Array(List("1,2,3").iterator,List("1,4,5").iterator)
//> array : Array[Iterator[String]] = Array(non-empty iterator, non-empt …
demandé sur
1970-01-01 00:33:34