Kafkani sozlash: 4 qadam

2024 Muallif: John Day | [email protected]. Oxirgi o'zgartirilgan: 2024-01-30 13:25

Kirish:

Apache Kafka-bu Scala-da yozilgan Apache Software Foundation tomonidan ishlab chiqilgan, ochiq manbali kengaytiriladigan va tez o'tkaziladigan xabarlar tizimi. Apache Kafka bitta klaster katta muhit uchun asosiy ma'lumotlar ombori bo'lib xizmat qilish uchun maxsus mo'ljallangan. ActiveMQ va RabbitMQ kabi boshqa xabarlar brokerlari tizimiga qaraganda, bu o'tkazish qobiliyati ancha yuqori. U katta hajmdagi real vaqtda ma'lumotlarni samarali boshqarishga qodir. Siz Kafkani bitta Apache serverida yoki tarqatilgan klasterli muhitda joylashtirishingiz mumkin.

Xususiyatlari:

Kafkaning umumiy xususiyatlari quyidagilar:

Doimiy ishlashni ta'minlaydigan diskdagi doimiy xabar.

Sekundiga yuz minglab xabarlarni qo'llab -quvvatlaydigan disk tuzilmalari bilan yuqori o'tkazuvchanlik.

Tarqatilgan tizim osonlikcha ishlamay qoladi.

Ko'p abonentlarni qo'llab-quvvatlaydi va muvaffaqiyatsizliklar paytida iste'molchilarni avtomatik ravishda muvozanatlashtiradi.

Bu qo'llanma Apache Kafkani Ubuntu 16.04 serveriga qanday o'rnatish va sozlashni ko'rsatadi.

Talablar

Ubuntu 16.04 serveri.

Serverda super foydalanuvchi huquqiga ega bo'lgan root bo'lmagan foydalanuvchi hisobi.

1 -qadam: Java -ni ishga tushirish va o'rnatish

1) Ubuntu 16.04 serveringiz to'liq yangilanganligiga ishonch hosil qilishni boshlaylik

Siz serverni quyidagi buyruqlar yordamida yangilashingiz mumkin:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Java -ni o'rnatish

Quyidagi buyruq yordamida kompyuteringizda java o'rnatilgan yoki java standart versiyasi mavjudligini tekshiring:-

java versiyasi

Agar sizda java, lekin pastroq versiyasi bo'lsa ham, uni yangilashingiz kerak bo'ladi.

Siz Java-ni quyidagicha o'rnatishingiz mumkin:-

sudo apt-get install default-jdk

YoKI

Oracle JDK 8 ni Webupd8 jamoasining PPA omboridan foydalanib o'rnatishingiz mumkin.

Ma'lumot omborini qo'shish uchun quyidagi buyruqni bajaring:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get oracle-java8-installer -y ni o'rnating

2 -qadam: Zookeeper -ni o'rnating

Zookeeper nima?

Zookeeper - bu konfiguratsiya ma'lumotlarini saqlash, nom berish, taqsimlangan sinxronizatsiya va guruhli xizmatlarni ko'rsatish bo'yicha markazlashtirilgan xizmat. Bu turdagi xizmatlarning barchasi qaysidir ma'noda tarqatilgan ilovalar orqali ishlatiladi. Har safar ular amalga oshirilganda, muqarrar bo'lgan xatolarni va poyga sharoitlarini to'g'irlash uchun ko'p ishlar qilinadi. Ushbu turdagi xizmatlarni amalga oshirish qiyinligi sababli, ilovalar odatda ularni tejaydi, bu esa ularni o'zgarish paytida mo'rt qiladi va boshqarish qiyin bo'ladi. To'g'ri bajarilgan taqdirda ham, ushbu xizmatlarning har xil qo'llanilishi, ilovalar joylashtirilganda boshqaruv murakkabligiga olib keladi.

Apache Kafkani o'rnatishdan oldin siz zookeeper -ni ishga tushirishingiz kerak. ZooKeeper - bu konfiguratsiya ma'lumotlarini saqlash, tarqatilgan sinxronizatsiya, nomlash va guruh xizmatlarini taqdim etish uchun ochiq manba kodli xizmat.

1) Odatiy bo'lib, Zookeeper to'plami Ubuntu -ning standart omborida mavjud

Siz uni quyidagi buyruq yordamida o'rnatishingiz mumkin:-

sudo apt-get install zookeeperd

O'rnatish tugagandan so'ng, u avtomatik ravishda demon sifatida boshlanadi. Odatiy bo'lib, Zookeeper 2181 portida ishlaydi.

Siz uni quyidagi buyruq yordamida sinab ko'rishingiz mumkin:

netstat -ant | Grep: 2181

Chiqish sizga 2181 porti tinglanayotganini ko'rsatishi kerak.

3 -qadam: Kafka serverini o'rnating va ishga tushiring

Java va ZooKeeper o'rnatilgandan so'ng, Apache veb -saytidan Kafkani yuklab olish va chiqarish vaqti keldi.

1) Siz curl yoki wget yordamida Kafkani yuklab olishingiz mumkin: (Kafka versiyasi 0.10.1.1)

Kafka sozlamalarini yuklab olish uchun quyidagi buyruqni bajaring:-

jingalak -O

YoKI

wget

2) Kafka uchun katalog yarating

Keyin, Kafka o'rnatish uchun katalog yarating:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Yuklab olingan papkani oching

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Foydalanuvchi nomiga ko'ra foydalanuvchi nomini o'zgartiring

4) kafka serverini ishga tushiring

Keyingi qadam-Kafka serverini ishga tushirish, uni quyidagi buyruq yordamida /opt/kafka/kafka_2.11-0.10.1.1/bin/ katalogida joylashgan kafka-server-start.sh skriptini ishga tushirish orqali boshlashingiz mumkin:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Kafka Server yaxshi ishlayotganini tekshiring

Sizda 9092 portda ishlaydigan va tinglayotgan Kafka serveri bor.

Endi biz tinglash portlarini tekshirishimiz mumkin:

- Hayvonot bog'chasi: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

4 -qadam: Kafka serveringizni sinab ko'ring

Endi Kafka serverining to'g'ri ishlashini tekshirish vaqti keldi.

1) Yangi mavzu yaratish

Kafkani sinab ko'rish uchun quyidagi buyruq yordamida Apache Kafkada "test" nomi bilan namuna mavzusini yarating:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh-yaratish --topik test-zookeeper localhost: 2181-bo'limlar 1-replikatsiya-omil 1

2) Sizning mavzuingiz muvaffaqiyatli yaratilganligini tekshiring

Endi Zookeeper -dan Apache Kafka -dagi mavjud mavzular ro'yxatini quyidagi buyruqni bajarib so'rang:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) O'zingiz yaratgan mavzu yordamida xabarni chop eting

echo "Salom dunyo" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-broker-list localhost: 9092 --topik testlar

4) Yaratilgan mavzu bo'yicha xabarni qabul qiling

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 --topik testlar-boshidan

5) Mavzu bo'yicha kafka yordamida fayl yuborish

kafka-console-producer.sh-brokerlar ro'yxati localhost: 9092-mavzuli testlar