Hadoop namenode: point de défaillance unique
le Namenode dans l'architecture Hadoop est un point de défaillance unique.
Comment font les gens qui ont de gros clusters Hadoop faire face à ce problème?.
y a-t-il une solution acceptée par l'industrie qui a bien fonctionné dans laquelle un Namenode secondaire prend la relève en cas de défaillance du Namenode primaire ?
3 réponses
Yahoo a certaines recommandations pour les paramètres de configuration à différentes tailles de cluster à prendre NameNode échec en compte. Par exemple:
le seul point de défaillance dans un cluster Hadoop est le NameNode. Alors que la perte de toute autre machine (de façon intermittente ou permanente) n'entraîne pas de perte de données, la perte de NameNode entraîne une indisponibilité de cluster. La perte permanente de données NameNode rendrait HDFS inopérable.
par conséquent, une autre étape devrait être franchie dans cette configuration pour sauvegarder les métadonnées NameNode
Facebook utilise une version modifiée de Hadoop pour ses entrepôts de données; il a quelques optimisations qui se concentrent sur la fiabilité du NameNode. En plus des patches disponibles sur Github, Facebook semble utiliser AvatarNode spécifiquement pour commutation rapide entre les NameNodes primaires et secondaires. le blog de Dhruba Borthakur contient plusieurs autres entrées offrant d'autres aperçus sur le NameNode comme un seul point d'échec.
éditer: plus d'informations sur les améliorations de Facebook à la norme .
haute disponibilité de Namenode a été introduit avec Hadoop 2.x version.
il peut être réalisé en deux modes - avec NFS et avec QJM
mais haute disponibilité avec Quorum Journal Manager (QJM ) est l'option préférée.
dans un HA typique cluster, deux machines séparées sont configurées comme NameNodes. À tout moment, exactement de la NameNodes est dans un état Actif, et l'autre est dans un état de Veille. Le Active NameNode est responsable de toutes les opérations client dans le cluster, tandis que la veille agit simplement comme un esclave, en maintenant un état suffisant pour fournir un basculement rapide si nécessaire.
Regardez ci-dessous les questions SE, ce qui explique le basculement complet processus.
Secondary NameNode usage and High available in Hadoop 2.x
Comment fonctionne le processus de basculement Hadoop Namenode?
grands clusters Hadoop ont des milliers de noeuds de données et un noeud de nom. La probabilité de défaillance augmente de façon linéaire avec le nombre de machines (Toutes les autres étant égales). Donc si Hadoop ne s'est pas occupé des défaillances des noeuds de données, il n'aurait pas changé d'échelle. Comme il n'y a encore qu'un seul noeud de nom, le seul point D'échec (SPOF) est là, mais la probabilité d'échec est encore faible.
que sad, la réponse de Bkkbrad à propos de Facebook ajoutant la capacité de basculement au noeud de nom est à droite sur.