Кафканы орнату: 4 қадам

2024 Автор: John Day | [email protected]. Соңғы өзгертілген: 2024-01-30 10:24

Кіріспе:

Apache Kafka-бұл Scala-да жазылған Apache Software Foundation әзірлеген ашық көзі бар ауқымды және жоғары жылдамдықтағы хабар алмасу жүйесі. Apache Kafka бір кластердің үлкен орта үшін мәліметтердің негізгі тірегі болуына мүмкіндік беру үшін арнайы жасалған. Ол ActiveMQ және RabbitMQ сияқты басқа хабарламалық брокерлер жүйесімен салыстырғанда әлдеқайда жоғары өткізу қабілетіне ие. Ол нақты уақыттағы үлкен көлемдегі деректерді тиімді өңдеуге қабілетті. Сіз Кафканы Apache серверінде немесе таратылған кластерлі ортада орналастыра аласыз.

Ерекше өзгешеліктері:

Кафканың жалпы ерекшеліктері келесідей:

Дискідегі тұрақты жұмыс уақытын қамтамасыз ететін тұрақты хабарлама.

Секундына жүздеген мың хабарларды қолдайтын диск құрылымдарымен жоғары өткізу қабілеті.

Бөлінген жүйе тоқтап қалусыз оңай таразыға түседі.

Көп абоненттерді қолдайды және сәтсіздік кезінде тұтынушыларды автоматты түрде теңестіреді.

Бұл оқулық Apache Kafka бағдарламасын Ubuntu 16.04 серверіне қалай орнатуды және конфигурациялауды көрсетеді.

Талаптар

Ubuntu 16.04 сервері.

Серверде жоғары пайдаланушылық артықшылықтары бар түбірлік емес пайдаланушы тіркелгісі.

1 -қадам: Жұмысты бастау және Java орнату

1) Ubuntu 16.04 серверіңіз толықтай жаңартылғанына көз жеткізейік

Келесі пәрмендерді орындау арқылы серверді жаңартуға болады:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Java орнату

Келесі пәрмен бойынша сіздің компьютерде Java орнатылған немесе Java әдепкі нұсқасы бар-жоғын тексеріңіз:-

java нұсқасы

Егер сізде java болса да, бірақ оның төменгі нұсқасы болса да, оны жаңартуға тура келеді.

Сіз Java-ны келесі жолмен орната аласыз:-

sudo apt-get install default-jdk

НЕМЕСЕ

Oracle JDK 8 -ді Webupd8 командалық PPA репозиторийі арқылы орнатуға болады.

Репозиторийді қосу үшін келесі пәрменді орындаңыз:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get oracle-java8-installer -y орнатыңыз

2 -қадам: Zookeeper орнатыңыз

Zookeeper дегеніміз не?

Zookeeper - бұл конфигурация ақпаратын сақтауға, атау беруге, таратылған синхрондауды қамтамасыз етуге және топтық қызметтерді ұсынуға арналған орталықтандырылған қызмет. Бұл қызметтердің барлығы қандай да бір түрде таратылған қосымшалар арқылы қолданылады. Оларды іске асырған сайын сөзсіз болатын қателер мен жарыс жағдайларын түзеуге бағытталған көптеген жұмыстар болады. Мұндай қызметтерді енгізудің қиындығына байланысты, қосымшалар әдетте оларды үнемдейді, бұл өзгерістер болған кезде оларды сынғыш етеді және басқаруды қиындатады. Дұрыс орындалған кезде де, бұл қызметтерді әр түрлі енгізу бағдарламалар орналастырылған кезде басқарудың күрделілігіне әкеледі.

Apache Kafka'ны орнатпас бұрын, сізде зоотехник жұмыс істеп тұруы керек. ZooKeeper - бұл конфигурация ақпаратын сақтауға, таратылған синхрондауды қамтамасыз етуге, атау беруге және топтық қызметтерді ұсынуға арналған ашық бастапқы қызмет.

1) Әдепкі бойынша Zookeeper пакеті Ubuntu әдепкі репозиторийінде қол жетімді

Сіз оны келесі пәрменді іске қосу арқылы орната аласыз:-

sudo apt-get install zookeeperd

Орнату аяқталғаннан кейін ол автоматты түрде демон ретінде іске қосылады. Әдепкі бойынша Zookeeper 2181 портында жұмыс істейді.

Сіз оны келесі пәрменді іске қосу арқылы тексере аласыз:

netstat -ant | grep: 2181

Шығу сізге 2181 порты тыңдалып жатқанын көрсетуі керек.

3 -қадам: Kafka серверін орнатыңыз және іске қосыңыз

Енді Java мен ZooKeeper орнатылған кезде, Apache веб -сайтынан Кафканы жүктеп алып тастау керек.

1) Сіз curl немесе wget көмегімен Кафканы жүктей аласыз: (Kafka 0.10.1.1 нұсқасы)

Кафка қондырғысын жүктеу үшін келесі пәрменді орындаңыз:-

curl -O

НЕМЕСЕ

wget

2) Кафкаға каталог жасаңыз

Содан кейін Кафканы орнату үшін каталог жасаңыз:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Жүктелген қалтаны ашыңыз

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Қолданушы атыңызға сәйкес пайдаланушы атын өзгертіңіз

4) kafka серверін іске қосыңыз

Келесі қадам-Kafka серверін іске қосу, оны келесі команда арқылы /opt/kafka/kafka_2.11-0.10.1.1/bin/ каталогында орналасқан kafka-server-start.sh сценарийін іске қосу арқылы бастауға болады:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Kafka Server жақсы жұмыс істейтінін тексеріңіз

Сізде 9092 портында жұмыс істейтін және тыңдайтын Kafka сервері бар.

Енді біз тыңдау порттарын тексере аламыз:

- ZooKeeper: 2181

- Кафка: 9092

netstat -ant | grep -E ': 2181 |: 9092'

4 -қадам: Kafka серверін тексеріңіз

Енді Kafka серверінің дұрыс жұмыс істейтінін тексеру уақыты келді.

1) Жаңа тақырып құру

Кафканы сынақтан өткізу үшін келесі пәрменді қолдана отырып Apache Kafka -да «тестілеу» деген атаумен тақырыпты құрыңыз:

-

2) Сіздің тақырып сәтті жасалғанын тексеріңіз

Енді Zookeeper -ден келесі пәрменді орындау арқылы Apache Kafka -да бар тақырыптардың тізімін сұраңыз:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Сіз жасаған тақырыпты пайдаланып хабарлама жариялаңыз

жаңғырық «сәлем әлем» | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-делдалдар тізімі localhost: 9092-тақырыптық тестілеу

4) Жасалған тақырып бойынша хабарлама алу

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092-тақырыптық тестілеу-басынан

5) Тақырып бойынша kafka көмегімен файл жіберу

kafka-console-producer.sh-делдалдар тізімі localhost: 9092-тақырыптық тестілеу