preguntar acerca de scala

1
réponses

Informeless: Générique.Aux

J'essaie de comprendre comment fonctionne Generic (et TypeClass aussi). Le wiki github est très clairsemé sur les exemples et la documentation. Y a-t-il une page de blog / documentation canonique décrivant Generic et TypeClass en détail? Concrètemen …
demandé sur 1970-01-01 00:33:35
1
réponses

Aplatir les rangées dans Spark

Je fais des tests pour spark en utilisant scala. Nous lisons généralement les fichiers json qui doivent être manipulés comme l'exemple suivant: Test.json: {"a":1,"b":[2,3]} val test = sqlContext.read.json("test.json") Comment puis-je le conve …
demandé sur 1970-01-01 00:33:35
6
réponses

Scala: fusionner des cartes par clé

Disons que j'ai deux cartes: val a = Map(1 -> "one", 2 -> "two", 3 -> "three") val b = Map(1 -> "un", 2 -> "deux", 3 -> "trois") Je veux fusionner ces cartes par clé, en appliquant une fonction pour collecter les valeurs (dans c …
demandé sur 1970-01-01 00:33:31
3
réponses

Mode autonome Spark: comment compresser la sortie spark écrite sur HDFS

Lié à mon autre question, mais distinct: someMap.saveAsTextFile("hdfs://HOST:PORT/out") Si j'enregistre un RDD sur HDFS, Comment puis-je dire à spark de compresser la sortie avec gzip? Dans Hadoop, il est possible de définir mapred.output.compr …
demandé sur 1970-01-01 00:33:33
1
réponses

Spark / Scala: remplissage en avant avec la dernière observation

En Utilisant Spark 1.4.0, Scala 2.10 J'ai essayé de trouver un moyen de transférer les valeurs null avec la dernière observation connue, mais je ne vois pas un moyen facile. Je pense que c'est une chose assez commune à faire, mais je ne trouve pas d …
demandé sur 1970-01-01 00:33:35
1
réponses

quitter la console repl avec un processus d’arrière-plan

Comment quittez-vous de la console repl dans sbt avec un processus d'arrière-plan en cours d'exécution? Ce qui suit se bloque: $ sbt > console Welcome to Scala version 2.9.1.final (Java HotSpot(TM) 64-Bit Server VM, Java 1.6.0_26). scala> i …
demandé sur 1970-01-01 00:33:31
8
réponses

Java 8 flux, obtenir la tête et la queue

Java 8 a introduit une classe Stream qui ressemble à Stream de Scala, une puissante construction paresseuse utilisant laquelle il est possible de faire quelque chose comme ceci de manière très concise: def from(n: Int): Stream[Int] = n #:: from(n+ …
demandé sur 1970-01-01 00:33:33
6
réponses

akka HttpResponse lire le corps comme chaîne scala

J'ai Donc une fonction avec cette signature (akka.http.modèle.HttpResponse): def apply(query: Seq[(String, String)], accept: String): HttpResponse J'obtiens simplement une valeur dans un test comme: val resp = TagAPI(Seq.empty[(String, String)] …
demandé sur 1970-01-01 00:33:35
3
réponses

Scala bloque enfin la fermeture / le rinçage des ressources

Existe - t-il un meilleur moyen de s'assurer que les ressources sont correctement libérées-une meilleure façon d'écrire le code suivant ? val out: Option[FileOutputStream] = try { Option(new FileOutputStream(path)) } catch …
demandé sur 1970-01-01 00:33:32
2
réponses

Comment aplatir une collection avec Spark / Scala?

Dans Scala, je peux aplatir une collection en utilisant: val array = Array(List("1,2,3").iterator,List("1,4,5").iterator) //> array : Array[Iterator[String]] = Array(non-empty iterator, non-empt …
demandé sur 1970-01-01 00:33:34