preguntar acerca de yarn

Apache Spark a récemment mis à jour la version 0.8.1, dans laquelle le mode yarn-client est disponible. Ma question Est, qu'est-ce que le mode yarn-client signifie vraiment? Dans la documentation il est dit: Avec le mode yarn-client, l'applicatio …

après avoir installé hadoop 2.2 et essayé de lancer pipes exemple j'ai eu l'erreur suivante (la même erreur apparaît après avoir essayé de lancer hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount someFile.txt /out): /usr/local/hadoop$ hadoop …

j'ai trois machines virtuelles fonctionnant comme cluster à étincelles distribuées. J'utilise Spark 1.3.0 avec un Hadoop 2.6.0 sous-jacent. Si je lance l'Étincelle Pi exemple /usr/local/spark130/bin/spark-submit --class org.apache.sp …

lors de l'exécution D'une application Java (en fil) avec suivi de mémoire natif activé ( -XX:NativeMemoryTracking=detail voir https://docs.oracle.com/javase/8/docs/technotes/guides/vm/nmt-8.html et https://docs.oracle.com/javase/8/docs/technote …

le Namenode dans l'architecture Hadoop est un point de défaillance unique. Comment font les gens qui ont de gros clusters Hadoop faire face à ce problème?. y a-t-il une solution acceptée par l'industrie qui a bien fonctionn …

j'ai essayé d'exécuter spark-shell en mode fils client , mais j'obtiens beaucoup d'erreurs ClosedChannelException . J'utilise la construction spark 2.0.0 Pour Hadoop 2.6. voici les exceptions: $ spark-2.0.0-bin-hadoop2.6/bin/spark-she …

dans Hadoop v1, j'ai assigné chaque 7 fente mapper et réducteur avec la taille de 1 Go, mes mappers & réducteurs fonctionne très bien. Ma machine a 8g de mémoire, 8 processeurs. Maintenant avec le fil, quand exécuter la même application sur la m …