Recherche de site Web

Comment configurer la haute disponibilité pour Namenode - Partie 5

Hadoop se compose de deux composants principaux qui sont HDFS et YARN. HDFS sert au stockage des données, YARN sert au traitement des données. HDFS est un système de fichiers distribué Hadoop, il a Namenode comme service maître et Datanode comme service esclave.

Namenode est le composant critique de Hadoop qui stocke les métadonnées des données stockées dans HDFS. Si le Namenode tombe en panne, l’ensemble du cluster ne sera pas accessible, c’est le point de défaillance unique (SPOF). Ainsi, l’environnement de production disposera de Namenode High Availability pour éviter l’arrêt de production si un Namenode tombe en panne pour diverses raisons telles qu’une panne de machine, une activité de maintenance planifiée, etc.

Hadoop 2.x offre la possibilité d’avoir deux Namenodes, l’un sera Active Namenode et l’autre sera Standby Namenode.

  • Namenode actif – Il gère toutes les opérations du client.
  • Namenode de secours – Il est redondant du Namenode actif. Si Active NN tombe en panne, Standby NN assumera toute la responsabilité d’Active NN.

L’activation de Namenode High Availability nécessite Zookeeper qui est obligatoire pour le basculement automatique. ZKFC (Zookeeper Failover Controller) est un client Zookeeper qui est utilisé pour maintenir l’état de Namenode.

Exigences

  • Bonnes pratiques pour le déploiement de Hadoop Server sur CentOS/RHEL 7 – Partie 1
  • Configuration des prérequis Hadoop et du renforcement de la sécurité – Partie 2
  • Comment installer et configurer Cloudera Manager sur CentOS/RHEL 7 – Partie 3
  • Comment installer CDH et configurer les placements de service sur CentOS/RHEL 7 – Partie 4

Dans cet article, nous allons activer Namenode High Availability dans Cloudera Manager.

Étape 1 : Installation de Zookeeper

1. Connectez-vous à Cloudera Manager.

http://Your-IP:7180/cmf/home

2. Dans l’invite d’action Cluster (tecmint), sélectionnez « Ajouter un service ».

3. Sélectionnez le service « Gardien de zoo ».

4. Sélectionnez les serveurs sur lesquels nous allons installer Zookeeper.

5. Nous allons avoir 3 gardiens de zoo pour former le quorum des gardiens de zoo. Sélectionnez les serveurs comme indiqué ci-dessous.

6. Configurez les propriétés de Zookeeper, ici nous avons celles par défaut. En temps réel, vous devez disposer d’un répertoire/points de montage séparés pour stocker les données Zookeeper. Dans la partie 1, nous avons expliqué la configuration du stockage pour chaque service. Cliquez sur « continuer » pour continuer.

7. L’installation commencera, une fois installé, Zookeeper sera démarré. Vous pouvez voir les opérations en arrière-plan ici.

8. Une fois l’étape ci-dessus terminée, le statut sera « Terminé ».

9. Maintenant, Zookeeper est installé et configuré avec succès. Cliquez sur « Terminer ».

10. Vous pouvez consulter le service Zookeeper sur le tableau de bord Cloudera Manager.

Étape 2 : Activation de la haute disponibilité de Namenode

11. Accédez à Cloudera Manager –> HDFS –> actions –> Activer la haute disponibilité.

12. Entrez le nom du service de noms sous la forme « nameservice1 » – Il s’agit d’un espace de noms commun pour Namenode actif et en veille.

13. Sélectionnez le deuxième Namenode où nous allons avoir Namenode en veille.

14. Ici, nous sélectionnons master2.linux-console.net pour Namenode en veille.

15. Sélectionnez les nœuds Journal, ce sont des services obligatoires pour synchroniser le nœud de nom actif et de secours.

16. Nous créons le Quorum Journal en plaçant le nœud Journal sur 3 serveurs, comme mentionné ci-dessous. Sélectionnez 3 serveurs et cliquez sur 'OK'.

17. Cliquez sur « Continuer » pour continuer.

18. Entrez le chemin d’accès au répertoire du nœud de journal. Il suffit de mentionner le chemin d’accès lors de l’installation de ce répertoire qui sera automatiquement créé par le service lui-même. Nous mentionnons comme '/jn'. Cliquez sur « Continuer » pour continuer.

19. Il commencera à activer la haute disponibilité.

20. Une fois tous les processus d’arrière-plan terminés, nous obtiendrons le statut « Terminé ».

21. Enfin, nous recevrons une notification « Haute disponibilité activée avec succès ». Cliquez sur « Terminer ».

22. Vérifiez le nœud de nom actif et de secours en accédant à Cloudera Manager –> HDFS –> Instances.

23. Ici, vous pouvez utiliser deux Namenodes, l’un sera à l’état 'Actif' et l’autre à l’état 'Veille'.

Conclusion

Dans cet article, nous avons passé en revue le processus étape par étape pour activer Namenode High Availability. Il est fortement recommandé d’avoir Namenode High Availability dans tous les clusters dans un environnement en temps réel. Veuillez poster vos doutes si vous rencontrez une erreur lors de ce processus. Nous verrons la haute disponibilité de Resource Manager dans le prochain article.

Articles connexes: