Spark Pi exemple en mode Cluster avec fil: Association perdue

j'ai trois machines virtuelles fonctionnant comme cluster à étincelles distribuées. J'utilise Spark 1.3.0 avec un Hadoop 2.6.0 sous-jacent.

Si je lance l'Étincelle Pi exemple

/usr/local/spark130/bin/spark-submit 
--class org.apache.spark.examples.SparkPi  
--master yarn-client /usr/local/spark130/examples/target/spark-examples_2.10-1.3.0.jar  10000

je reçois cet avertissement / erreurs et éventuellement une exception:

 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/04/08 12:37:06 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkYarnAM@virtm4:47128] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].
15/04/08 12:37:12 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkYarnAM@virtm4:45975] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].
15/04/08 12:37:13 ERROR YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED!

quand je vérifie les logs du conteneur je vois qu'il était SIGTERM-ed

15/04/08 12:37:08 INFO yarn.YarnAllocator: Container request (host: Any, capability: <memory:1408, vCores:1>)
15/04/08 12:37:08 INFO yarn.YarnAllocator: Container request (host: Any, capability: <memory:1408, vCores:1>)
15/04/08 12:37:08 INFO yarn.ApplicationMaster: Started progress reporter thread - sleep time : 5000
15/04/08 12:37:12 ERROR yarn.ApplicationMaster: RECEIVED SIGNAL 15: SIGTERM
15/04/08 12:37:12 INFO yarn.ApplicationMaster: Final app status: UNDEFINED, exitCode: 0, (reason: Shutdown hook called before final status was reported.)
15/04/08 12:37:12 INFO yarn.ApplicationMaster: Unregistering ApplicationMaster with UNDEFINED (diag message: Shutdown hook called before final status was reported.)

SOLUTION: J'ai résolu le problème. J'utilise Java7 maintenant au lieu de Java8. Cette situation a été signalée comme bug, mais elle a été rejetée comme telle https://issues.apache.org/jira/browse/SPARK-6388 Pourtant, changer la version Java a fonctionné.

3
demandé sur toobee 2015-04-08 13:48:01

2 réponses

l'association peut être perdue en raison de La Java 8 problème d'allocation de mémoire excessive: https://issues.apache.org/jira/browse/YARN-4714

vous pouvez forcer fil à ignorer ce en mettant en place les propriétés suivantes dans fil-site.xml

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
4
répondu simpleJack 2016-09-12 19:37:55

j'ai rencontré un problème similaire avant, jusqu'à ce que je trouve ce problème

essayez d'arrêter explicitement votre instance SparkContext sc.stop()

0
répondu Jonathan 2015-04-09 17:10:33