Hadoop: la connexion à ResourceManager a échoué

après avoir installé hadoop 2.2 et essayé de lancer pipes exemple j'ai eu l'erreur suivante (la même erreur apparaît après avoir essayé de lancer hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount someFile.txt /out):

/usr/local/hadoop$ hadoop pipes -Dhadoop.pipes.java.recordreader=true -Dhadoop.pipes.java.recordwriter=true -input someFile.txt -output /out -program bin/wordcount
DEPRECATED: Use of this script to execute mapred command is deprecated.
Instead use the mapred command for it.

13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
13/12/14 20:12:07 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:08 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:09 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:10 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:11 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:12 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:13 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
13/12/14 20:12:14 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

mon site de fil.xml:

<configuration>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>

cœur-site.xml:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

mapred-site.xml:

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
</configuration>

hdfs-site.xml:

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/home/hduser/mydata/hdfs/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/home/hduser/mydata/hdfs/datanode</value>
</property>
</configuration>
<!-J'ai compris que mon IPv6 est désactivé comme il se doit. Peut-être que mes /etc/hosts ne sont pas - il correct?

/ etc / hosts:

fe00::0         ip6-localnet
ff00::0         ip6-mcastprefix
ff02::1         ip6-allnodes
ff02::2         ip6-allrouters

127.0.0.1 localhost.localdomain localhost hduser
# Auto-generated hostname. Please do not remove this comment.
79.98.30.76 356114.s.dedikuoti.lt  356114
::1             localhost ip6-localhost ip6-loopback
21
demandé sur user3102852 2013-12-14 22:49:38

8 réponses

le problème de connexion recource manager était parce que ive avait besoin d'ajouter quelques propriétés à fil-site.xml:

<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:8031</value>
</property>

Pourtant, mes Jobs ne fonctionnent pas mais la connexion est réussie maintenant

20
répondu user3102852 2017-03-31 16:49:10

assurez-vous que vous avez commencé fil. Utilisez cette commande pour le lancer:

start-yarn.sh

puis utilisez cette commande pour vérifier que le Gestionnaire de ressources est en cours d'exécution:

jps

La sortie devrait ressembler à quelque chose comme ceci:

17542 NameNode

17920 SecondaryNameNode

22064 Jps

17703 DataNode

18226 ResourceManager

18363 NodeManager

10
répondu Nadine 2014-08-10 12:34:46

la bonne façon pourrait être d'ajouter les lignes suivantes dans site de fil.xml:

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>127.0.0.1</value>
</property>

parce que le champ de valeur accueil représenter un seul nom d'hôte qui peut être mis en place de l'établissement de tous fil.resourcemanager* adresser les ressources. Résultats dans les ports par défaut pour les composants ResourceManager.

Apache Hadoop 2.7.1-Configurations for ResourceManager

  • Paramètre: laine.resourcemanager.nom d'hôte
  • valeur: ResourceManager host.
  • Notes:accueil nom d'hôte unique qui peut être mis à la place de la mise en place de tous les fils.resourcemanager*adresse de ressources. Résultats dans les ports par défaut pour les composants ResourceManager.
2
répondu Mincong Huang 2015-07-29 11:59:07

j'avais fait face au même problème. Je l'ai résolu.

car il y a un problème de connexion à ResourceManager, donc, assurez-vous que le fil fonctionne ou pas. Le fil est divisé en différentes entités. L'un d'eux est ResourceManager qui est responsable de l'allocation des ressources aux différentes applications en cours d'exécution dans le cluster.

faites les étapes suivantes.

  1. démarrer le fil en utilisant la commande: start-yarn.sh
  2. vérifier la nod du Gestionnaire de ressources en utilisant la commande: jps
  3. ajouter le code suivant à la configuration
<property>
    <name>yarn.resourcemanager.address</name>
    <value>127.0.0.1:8032</value>
</property>
1
répondu sunanda 2017-03-27 16:23:38

j'ai résolu le même problème en changeant la valeur de 127.0.0.1:*yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.resourcemanager.address</name>
    <value>127.0.0.1:8032</value>
     </property>
      <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>127.0.0.1:8030</value>
     </property>
    <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>127.0.0.1:8031</value>
     </property>
1
répondu B B 2017-06-01 13:48:07 
Configuration conf = HBaseConfiguration.create();
 conf.set("yarn.resourcemanager.address", "127.0.0.1:8032");

dans conf, vous pouvez définir le fil.resourcemanager.adresse

0
répondu Saurabh 2016-01-15 09:36:12

ce problème pourrait être dû à HADOOP_CONF_DIR manquant qui est nécessaire à L'Application MapReduce pour se connecter au gestionnaire de ressources qui est mentionné dans fil-site.XML. Donc, avant d'exécuter le travail MapReduce essayez de définir/exporter HADOOP_CONF_DIR manuellement avec le répertoire Hadoop approprié comme exporter HADOOP_CONF_DIR= / etc/hadoop / conf. De cette façon fonctionné pour moi :)

-1
répondu Ajit K'sagar 2016-11-15 12:40:27

utilisez les paramètres ci-dessous dans /etc/hosts, ajoutez votre nom d'hôte à la place de your_host_name:

127.0.0.1   localhost
127.0.0.1   your_host_name
-4
répondu user4597445 2015-02-23 20:08:25