Le conteneur dépasse les limites de mémoire

il y a un contrôle placé au niveau du fil pour le rapport Vertuel et physique d'utilisation de la mémoire. Le problème n'est pas seulement que VM n'a pas une mémoire physique suffisante. Mais c'est parce que L'utilisation de la mémoire virtuelle est plus que prévu pour une mémoire physique donnée.

Note : ceci se produit sur Centos/RHEL 6 en raison de son allocation agressive de mémoire virtuelle.

il peut être résolu par:

1. désactiver la vérification de l'utilisation de la mémoire virtuelle en paramétrant de fils.nodemanager.vmem-case activée à false ;

2. augmenter le rapport VM:PM en réglant fils.nodemanager.VMEM-pmem-ratio à une valeur plus élevée.

Références :

https://issues.apache.org/jira/browse/HADOOP-11364

http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas /

ajouter les biens suivants à fil-site.xml

 <property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
    <description>Whether virtual memory limits will be enforced for containers</description>
  </property>
 <property>
   <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value>
    <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
  </property>

j'ai eu un problème vraiment similaire en utilisant la ruche dans EMR. Aucune des solutions existantes ne fonctionnait pour moi, c'est-à-dire qu'aucune des configurations mapreduce ne fonctionnait pour moi, et ni le réglage de yarn.nodemanager.vmem-check-enabled à false.

cependant, ce qui a fini par fonctionner était le réglage tez.am.resource.memory.mb , par exemple:

hive -hiveconf tez.am.resource.memory.mb=4096

un autre paramètre à considérer est yarn.app.mapreduce.am.resource.mb

Je ne peux pas commenter la réponse acceptée, en raison de la mauvaise réputation. Cependant, je voudrais ajouter, ce comportement est par la conception. Le NodeManager est en train de tuer votre conteneur. Il semble que vous essayez d'utiliser hadoop streaming qui s'exécute comme un processus enfant de la carte-réduire la tâche. Le NodeManager surveille tout l'arbre des processus de la tâche et s'il absorbe plus de mémoire que le maximum défini dans mapreduce.cartographie.mémoire.mo ou mapreduce.réduire.mémoire.mo, respectivement, nous nous attendons à ce que le Nodemanager de tuer la tâche, sinon votre tâche est de voler la mémoire appartenant à d'autres conteneurs, que vous ne voulez pas.

en travaillant avec spark dans EMR j'avais le même problème et le réglage maximizeResourceAllocation=true a fait l'affaire; espérons que cela aide quelqu'un. Vous devez le configurer lorsque vous créez le cluster. Du EMR docs:

aws emr create-cluster --release-label emr-5.4.0 --applications Name=Spark \
--instance-type m3.xlarge --instance-count 2 --service-role EMR_DefaultRole --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole --configurations https://s3.amazonaws.com/mybucket/myfolder/myConfig.json

où myConfig.json devrait dire:

[
  {
    "Classification": "spark",
    "Properties": {
      "maximizeResourceAllocation": "true"
    }
  }
]

Nous avons également été confrontés à ce problème récemment. Si le problème est lié à la mémoire de mapper, deux choses que je voudrais suggérer qui doit être vérifié sont.

• vérifier si combiner est activé ou non ? Si oui, cela signifie que la logique de réduction doit être exécutée sur tous les enregistrements (sortie de mapper). cela se produit dans la mémoire. basé sur votre application, vous devez vérifier si l'activation de combiner aide ou non. Hors commerce est entre les octets de transfert réseau et le temps pris/mémoire/CPU pour la logique de réduction sur 'X' nombre d'enregistrements.
  • si vous pensez que combiner n'a pas beaucoup de valeur, désactivez-le.
  • si vous avez besoin de combiner et que " X " est un nombre énorme (disons des millions d'enregistrements), alors envisagez de changer votre logique de split (pour les formats d'entrée par défaut, utilisez moins de taille de bloc, normalement 1 Taille de bloc = 1 split) pour mapper moins de nombre d'enregistrements à un seul mapper.
• nombre de dossiers traités dans un seul mapper. Rappelez-vous que tous ces enregistrements doivent être triés en mémoire (sortie de mapper est triée). Envisagez de définir mapreduce.tâche.io.trier.mb (par défaut 200MB) à une valeur plus élevée si nécessaire. mapred-configs.xml
• si l'un des éléments ci-dessus n'a pas aidé, essayez d'exécuter la logique mapper comme une application autonome et profiler l'application en utilisant un Profiler (comme JProfiler) et voir où la mémoire est utilisée. Cela peut vous donner de très bonnes idées.