Jak zainstalować CDH i skonfigurować rozmieszczenie usług w CentOS/RHEL 7 — część 4
We wcześniejszym artykule wyjaśniliśmy instalację Cloudera Managera, w tym artykule dowiesz się, jak zainstalować i skonfigurować CDH (Cloudera Distribution Hadoop) w RHEL/CentOS 7.
Instalując paczkę CDH musimy zadbać o kompatybilność Cloudera Manager i CDH. Wersja Cloudera składa się z 3 części –
Na przykład używamy Cloudera Manager 6.3.1 i CDH 6.3.2. Tutaj 6 to wersja główna, a 3 to wersja podrzędna. Major i Minor muszą być takie same, aby uniknąć problemów ze zgodnością.
Wymagania
- Najlepsze praktyki dotyczące wdrażania serwera Hadoop w CentOS/RHEL 7 – część 1
- Konfigurowanie wymagań wstępnych Hadoop i zwiększanie zabezpieczeń — część 2
- Jak zainstalować i skonfigurować menedżera Cloudera na CentOS/RHEL 7 – część 3
Do instalacji CDH weźmiemy poniższe 2 węzły. Zainstalowaliśmy już Cloudera Manager w master1, używamy też master1 jako serwera repo.
master1.linux-console.net
worker1.linux-console.net
Krok 1: Pobierz przesyłki CDH na serwer główny
1. Najpierw połącz się z serwerem master1 i pobierz pliki CDH Parcels z folderu /var/www/html/cloudera-repos/ katalog cdh . Musimy pobrać poniżej wymienione 3 pliki, które powinny być kompatybilne z RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
2. Przed pobraniem tych plików pamiętaj o utworzeniu katalogu cdh w lokalizacji /var/www/html/cloudera-repos/.
cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh
3. Następnie pobierz wyżej wymienione 3 pliki za pomocą następującego polecenia wget.
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Krok 2: Skonfiguruj repozytorium Cloudera Manager na klientach roboczych
4. Teraz połącz się z serwerami worker i skopiuj plik repo (cloudera-manager.repo) z serwera repo (master1<) do wszystkich pozostałych serwerów roboczych. Ten plik repo gwarantuje, że serwery podczas instalacji pobiorą z serwera repo wszystkie wymagane paczki i pakiety RPM.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL
5. Po dodaniu repozytorium wyświetl listę włączonych repozytoriów, aby upewnić się, że repozytorium cloudera-manager jest włączone.
yum repolist
Krok 3: Zainstaluj demony i agenta Cloudera Manager na serwerach roboczych
6. Teraz musimy zainstalować cloudera-manager-daemons i cloudera-manager-agent na wszystkich pozostałych serwerach.
sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Następnie musisz skonfigurować agenta Cloudera Manager, aby raportował serwer Cloudera Manager.
sudo vi /etc/cloudera-scm-agent/config.ini
Zastąp localhost adresem IP serwera Cloudera Manager.
8. Uruchom agenta Cloudera Manager i sprawdź jego stan.
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
Krok 4: Zainstaluj i skonfiguruj CDH
Mamy przesyłki CDH w master1 – serwerze repo. Upewnij się, że wszystkie serwery mają plik repozytorium Cloudera Manager w /etc/yum.repos.d/, jeśli postępujesz zgodnie z automatyczną instalacją przy użyciu Cloudera Manager.
9. Zaloguj się do Cloudera Managera, korzystając z poniższego adresu URL na porcie 7180 i użyj domyślnej nazwy użytkownika i hasła Cloudera Manager.
http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin
10. Po zalogowaniu zostaniesz przywitany stroną powitalną. Tutaj znajdziesz Informacje o wydaniu, Nowe funkcje Cloudera Manager.
11. Zaakceptuj licencję i kontynuuj.
12. Wybierz wydanie. Domyślnie wybrana jest wersja próbna, możemy kontynuować.
13. Teraz wykonaj kroki instalacji klastra. Kontynuuj stronę powitalną.
14. Nazwij klaster i kontynuuj, nazwaliśmy go „tecmint”. Istnieją 2 typy klastrów, które można zdefiniować. Kontynuujemy pracę z klastrem zwykłym.
- Zwykły klaster: będzie składać się z węzłów magazynowania, węzłów obliczeniowych i innych niezbędnych usług.
- Klaster obliczeniowy: będzie składać się tylko z węzłów obliczeniowych. Do przechowywania danych można używać pamięci zewnętrznej.
15. Zainstalowaliśmy już Agenty Cloudera Manager na wszystkich serwerach. Możesz znaleźć te serwery w „Aktualnie zarządzanych hostach”. Aby przeprowadzić instalację automatyczną, musisz wpisać nazwę FQDN lub IP serwerów w opcji „Nowe hosty” i wyszukać. Cloudera Manager automatycznie wykryje hosty, na których musimy zainstalować CDH.
Tutaj kliknij „Aktualnie zarządzane hosty”, wybierz wszystkie hosty, wybierając „Nazwa hosta” i kontynuuj.
16. Wybierz Repozytorium – zalecanym sposobem jest użycie Paczki. Kliknij „Więcej opcji”, aby skonfigurować repozytorium.
17. Wprowadź adres URL lokalnego repozytorium, jak opisano poniżej. Usuń wszystkie pozostałe repozytoria publiczne, które wskazują na Internet (Repozytoria Cloudera).
To jest adres URL lokalnego repozytorium CDH, który mamy w master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Po wprowadzeniu adresu URL repozytorium na tej stronie zostaną wyświetlone tylko dostępne przesyłki. Kontynuuj ten krok.
19. Teraz paczki są pobierane, dystrybuowane, rozpakowywane i aktywowane na wszystkich dostępnych serwerach.
20. Po aktywowaniu Paczek CDH sprawdź Klaster. W tym kroku zostanie przeprowadzona kontrola kondycji klastra. Tutaj pomijamy i kontynuujemy.
Krok 5: Konfiguracja klastra
21. Tutaj musimy wybrać Usługi, które mają zostać zainstalowane w Klastrze. Niektóre spakowane kombinacje będą dostępne domyślnie. Korzystamy z Usług niestandardowych.
22. W Usługach niestandardowych instalujemy tylko Komponenty podstawowe (HDFS i YARN >) w tym celu demonstracyjnym.
23. Przypisz role do serwera. Możemy dostosować według naszych wymagań. Znajdź poniższy wykres opisujący zalecany rozkład ról dla podstawowego małego klastra z 5 do 20 węzłami o wysokiej dostępności.
24. Wybierz typ bazy danych, nazwę hosta, nazwę bazy danych, nazwę użytkownika i hasło. Ponieważ używamy Embedded PostgreSQL, zostanie on wybrany domyślnie. Przetestuj połączenie, powinno zakończyć się pomyślnie.
25. Na tej stronie zostaną wyświetlone domyślne parametry konfiguracyjne HDFS i Yarn, w tym katalogi danych. Przejrzyj wszystkie szczegóły konfiguracji i w razie potrzeby możesz wprowadzić zmiany. Następnie kontynuuj to.
26. Na tej stronie zostaną wyświetlone szczegóły polecenia „Pierwsze uruchomienie”. Możesz go rozwinąć, aby zobaczyć szczegóły uruchamiania poleceń. Jeśli w klastrze występują jakiekolwiek problemy z siecią lub uprawnieniami, ten krok zakończy się niepowodzeniem. Zwykle ten krok decyduje o bezproblemowej instalacji budynku klastra.
27. Po zakończeniu powyższego kroku kliknij „Zakończ”, aby dokończyć instalację. To jest panel kontrolny Cloudera Manager po zainstalowaniu CDH.
http://104.211.95.96:7180/cmf/home
Wniosek
Pomyślnie ukończyliśmy instalację Cloudera Manager i CDH. W Panelu menedżera Cloudera znajdziesz predefiniowany zestaw wykresów, na których możesz monitorować procesor klastra, I/O dysku itp. Za pomocą tego Menedżera Cloudera możemy zarządzać całym klastrem. . Wszystkie operacje administracyjne zobaczymy w nadchodzących artykułach.