Jak zainstalować Apache Kafka w CentOS/RHEL 7

Apache Kafka to potężny silnik przesyłania wiadomości, który jest szeroko stosowany w projektach BigData i cyklu życia Analizy danych. Jest to platforma typu open source służąca do tworzenia potoków strumieniowego przesyłania danych w czasie rzeczywistym. Jest to rozproszona platforma publikowania i subskrybowania charakteryzująca się niezawodnością, skalowalnością i trwałością.

Możemy mieć Kafkę jako samodzielną platformę lub jako klaster. Kafka przechowuje dane przesyłane strumieniowo i można je kategoryzować jako Tematy. Temat będzie miał kilka partycji, dzięki czemu będzie mógł obsłużyć dowolną ilość danych. Ponadto możemy mieć wiele replik w celu zapewnienia odporności na błędy, tak jak to ma miejsce w HDFS. W klastrze Kafki broker jest komponentem przechowującym opublikowane dane.

Zookeeper to usługa obowiązkowa do uruchomienia klastra Kafka, ponieważ służy do zarządzania koordynacją brokerów Kafki. Zookeeper odgrywa kluczową rolę pomiędzy producentem a konsumentem, gdzie jest odpowiedzialny za utrzymanie stanu wszystkich brokerów.

W tym artykule wyjaśnimy, jak zainstalować Apache Kafka w pojedynczym węźle CentOS 7 lub RHEL 7.

Instalowanie Apache Kafka w CentOS 7

1. Najpierw musisz zainstalować Java w swoim systemie, aby uruchomić Apache Kafka bez żadnych błędów. Zainstaluj więc domyślną dostępną wersję Java, używając następującego polecenia yum i zweryfikuj wersję Java, jak pokazano.

yum -y install java-1.8.0-openjdk
java -version

2. Następnie pobierz najnowszą stabilną wersję Apache Kafka z oficjalnej strony internetowej lub użyj następującego polecenia wget, aby pobrać ją bezpośrednio i rozpakować.

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz 

3. Utwórz dowiązanie symboliczne do pakietu kafka, następnie dodaj ścieżkę środowiska Kafka do pliku .bash_profile i zainicjuj go, jak pokazano.

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. Następnie uruchom Zookeeper, który jest wbudowany w pakiet Kafka. Ponieważ jest to klaster z jednym węzłem, możesz uruchomić zookeepera z domyślnymi właściwościami.

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Sprawdź, czy zookeeper jest dostępny, czy nie, po prostu telnetem na port 2181 Zookeeper.

telnet localhost 2181

6. Uruchom Kafkę z jej domyślnymi właściwościami.

kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Sprawdź, czy Kafka jest dostępna, po prostu telnetem do portu Kafki 9092

telnet localhost 9092

8. Następnie utwórz przykładowy temat.

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Wypisz utworzony temat.

kafka-topics.sh --zookeeper localhost:2181 --list

Wniosek

W tym artykule widzieliśmy, jak zainstalować klaster Kafka z jednym węzłem w CentOS 7. W następnym artykule zobaczymy, jak zainstalować wielowęzłowy klaster Kafka.