Jak skonfigurować wysoką dostępność dla Namenode — część 5
Hadoop składa się z dwóch podstawowych komponentów: HDFS i YARN. HDFS służy do przechowywania danych, PRZĘDZA służy do przetwarzania danych. HDFS to rozproszony system plików Hadoop, ma Namenode jako usługę główną i Datanode jako Służba niewolników.
Namenode to krytyczny komponent Hadoop, który przechowuje metadane danych przechowywanych w HDFS. Jeśli Namenode ulegnie awarii, cały klaster nie będzie dostępny, jest to pojedynczy punkt awarii (SPOF). Zatem środowisko produkcyjne będzie wyposażone w Wysokiej dostępności Namenode, aby uniknąć przestojów w produkcji, jeśli jeden Namenode ulegnie awarii z różnych powodów, takich jak awaria maszyny, planowana konserwacja itp.
Hadoop 2.x zapewnia wykonalność, w której możemy mieć dwa Namenodes, jeden będzie Aktywnym Namenode, a drugi będzie Gotowym Namenode.
- Aktywny węzeł nazw – zarządza wszystkimi operacjami klienta.
- Węzeł nazw w trybie gotowości – jest zbędny w stosunku do Aktywnego węzła nazw. Jeśli Aktywna sieć NN ulegnie awarii, funkcja Gotowa sieć NN przejmie całą odpowiedzialność za Aktywna sieć NN.
Włączenie Wysokiej dostępności Namenode wymaga Zookeepera, który jest obowiązkowy w przypadku automatycznego przełączania awaryjnego. ZKFC (Kontroler przełączania awaryjnego Zookeeper) to klient Zookeeper używany do utrzymywania stanu Namenode.
Wymagania
- Najlepsze praktyki dotyczące wdrażania serwera Hadoop w CentOS/RHEL 7 – część 1
- Konfigurowanie wymagań wstępnych Hadoop i zwiększanie zabezpieczeń — część 2
- Jak zainstalować i skonfigurować menedżera Cloudera na CentOS/RHEL 7 – część 3
- Jak zainstalować CDH i skonfigurować rozmieszczenie usług w CentOS/RHEL 7 – część 4
W tym artykule włączymy opcję Wysoka dostępność Namenode w Menedżerze Cloudera.
Krok 1: Instalacja Zookeepera
1. Zaloguj się do Menedżera Cloudera.
http://Your-IP:7180/cmf/home
2. W wierszu akcji Klaster (tecmint) wybierz „Dodaj usługę”.
3. Wybierz usługę „Zookeeper”.
4. Wybierz serwery, na których będziemy mieć zainstalowany Zookeeper.
5. Będziemy mieć 3 zookeeperów, którzy utworzą Kworum zookeeperów. Wybierz serwery zgodnie z poniższym opisem.
6. Skonfiguruj właściwości Zookeeper, tutaj mamy właściwości domyślne. W czasie rzeczywistym musisz mieć oddzielne katalogi/punkty montowania do przechowywania danych Zookeepera. W Części 1 wyjaśniliśmy konfigurację pamięci masowej dla każdej usługi. Kliknij „kontynuuj”, aby kontynuować.
7. Rozpocznie się instalacja, a po zainstalowaniu uruchomi się Zookeeper. Tutaj możesz zobaczyć operacje w tle.
8. Po pomyślnym ukończeniu powyższego kroku status będzie wynosić „Zakończono”.
9. Teraz Zookeeper został pomyślnie zainstalowany i skonfigurowany. Kliknij „Zakończ”.
10. Usługę Zookeeper możesz wyświetlić w panelu kontrolnym Cloudera Manager.
Krok 2: Włączanie wysokiej dostępności węzła nazw
11. Przejdź do Menedżera Cloudera –> HDFS –> Akcje –> Włącz wysoką dostępność mocny>.
12. Wprowadź Nazwę usługi nazw jako „nameservice1” – jest to wspólna przestrzeń nazw zarówno dla aktywnego, jak i rezerwowego węzła nazw.
13. Wybierz Drugi węzeł nazw, w którym będziemy mieli rezerwowy Węzeł nazw.
14. Tutaj wybieramy master2.linux-console.net jako rezerwowy Namenode.
15. Wybierz węzły Dziennik, są to obowiązkowe usługi do synchronizacji Aktywny i Wstrzymania Namenode.
16. Tworzymy Dziennik Quorum, umieszczając węzeł Dziennik na 3 serwerach, jak wspomniano poniżej. Wybierz 3 serwery i kliknij „OK”.
17. Kliknij „Kontynuuj”, aby kontynuować.
18. Wprowadź ścieżkę katalogu Journal Node. Wystarczy wspomnieć, że podczas instalacji ten katalog zostanie automatycznie utworzony przez samą usługę. Wspominamy jako „/jn”. Kliknij „Kontynuuj”, aby kontynuować.
19. Rozpocznie się włączanie Wysokiej dostępności.
20. Po zakończeniu wszystkich procesów w tle otrzymamy status „Zakończono”.
21. Na koniec otrzymamy powiadomienie „Pomyślnie włączono wysoką dostępność”. Kliknij „Zakończ”.
22. Sprawdź węzeł Aktywny i Wstrzymanie, przechodząc do Menedżera Cloudera –> HDFS > –> Instancje.
23. Tutaj możesz zobaczyć dwa Namenodes, jeden będzie w stanie „Aktywny”, a drugi będzie w stanie „Wstrzymanie” ' stan.
Wniosek
W tym artykule omówiliśmy krok po kroku proces włączania Wysokiej dostępności Namenode. Zdecydowanie zaleca się posiadanie Wysokiej dostępności Namenode we wszystkich klastrach w środowisku czasu rzeczywistego. Jeśli podczas wykonywania tego procesu napotkasz jakiś błąd, napisz swoje wątpliwości. Wysoka dostępność Menedżera zasobów omówimy w następnym artykule.