Facteur de réplication HDFS

Selon Hadoop: Guide Définitif

la stratégie par défaut de Hadoop est de placer la première réplique sur le même noeud que le client (pour clients en dehors du cluster, un noeud est choisi au hasard, bien que le système essaie de ne pas choisir les nœuds qui sont trop ou trop occupé). La seconde réplique est placée sur un rack différent du premier (hors rack), choisi au hasard. La troisième réplique est placée sur la même crémaillère que la seconde, mais sur un autre nœud choisi au hasard. Plus de répliques sont placés sur des noeuds aléatoires sur le cluster, bien que le système essaie d'éviter de placer trop de répliques sur la même étagère.

cette logique a du sens puisqu'elle diminue le bavardage réseau entre les différents noeuds. Mais, le livre a été publié en 2009 et il y avait eu beaucoup de changements dans le cadre Hadoop.

je pense que cela dépend, si le client est la même qu'un nœud Hadoop ou pas. Si le client est un noeud Hadoop alors toutes les divisions seront sur le même noeud. Cela ne fournit pas un meilleur débit de lecture/écriture malgré la présence de plusieurs nœuds dans le cluster. Si le client n'est pas le même que le noeud Hadoop, alors le noeud est choisi au hasard pour chaque division, de sorte que les divisions sont réparties à travers les noeuds dans un cluster. Maintenant, cela fournit un meilleur débit de lecture/écriture.

l'un des avantages d'écrire à plusieurs noeuds est que même si l'un d'eux descend, quelques divisions peuvent être vers le bas, mais au moins certaines données peuvent être récupérées en quelque sorte du reste se divise.