Uvod u Kafka alate
Kafka Tools skup je raznih alata pomoću kojih možemo upravljati našim Kafka klasterom. Alati se uglavnom temelje na naredbenoj liniji, ali dostupni su i alati koji se mogu preuzimati i instalirati.
Kafka alate možemo koristiti za izvođenje različitih operacija poput:
- Navedi dostupne klastere Kafke i njihove brokere, teme i potrošače.
- Može ispisati poruke iz različitih tema na standardnom izlazu. Alati temeljeni na korisničkom sučelju mogu definitivno poboljšati čitljivost.
- Dodajte i ispustite teme od brokera.
- Dodajte nove poruke u particije.
- Pogledajte sve naknade naših potrošača.
- Stvorite particije naših tema.
- Popis svih grupa potrošača, opišite grupe potrošača, izbrišite podatke o grupi potrošača i resetirajte odstupanja od potrošačke skupine.
Ako želimo koristiti alat temeljen na korisničkom sučelju, možemo upotrijebiti Kafka Alat koji se može preuzeti sa sljedeće web stranice:
http://www.kafkatool.com/download.html
Ova je aplikacija dostupna za osobnu upotrebu besplatno, ali moramo kupiti licencu za komercijalnu upotrebu. Dobra stvar je njegova dostupnost za Mac, Windows i Linux sustave.
3 najbolje vrste alata Kafka
Kafka alati kategorizirani su u Alat za sustav i Alat za primjenu.
1. Alati sustava
Alat za sustav može se pokrenuti pomoću sljedeće sintakse.
Sintaksa:
bin/kafka-run-class.sh package.class - - options
Neki od alata za sustav su sljedeći:
- Alat za migraciju Kafke : Ovaj se alat koristi za migraciju Kafka Brokera s jedne verzije na drugu.
- Consumer Offset Checker: Ovaj alat može prikazati Consumer Group, Teme, Particije, Off-set, logSize, Vlasnika za određeni skup Tema i Potrošačku grupu.
- Proizvođač zrcala: Ovaj se alat koristi za zrcaljenje jednog Kafka klastera u drugi.
2. Alati za umnožavanje
To su u osnovi dizajnerski alati visoke razine predviđeni za trajnost i dostupnost.
Neki od alata za replikaciju su:
- Alat za kreiranje teme : Ovaj se alat koristi za stvaranje tema sa zadanim brojem particija i faktorom replikacije.
- Alat za temu popisa: koristi se za unos podataka o određenom popisu tema. Sjajna stvar ovog alata je ta da ako nijedna tema već nije dostupna u naredbenom retku, ona će zatražiti od Zookera da prvo preuzme popis tema, a zatim ispisuje podatke o njima. Navodi se u raznim poljima kao što su naziv teme, particije, vođa, replike itd.
- Alat za dodavanje particija : Ovaj se alat koristi za dodavanje particija u temu koja je potrebna za upravljanje količinom podataka u temi. Ali imajte na umu da, moramo stvoriti particije tijekom stvaranja teme. Ovaj nam alat omogućuje dodavanje ručnih replika za dodane particije.
3. Razni alati
Sada ćemo razgovarati o nekim drugim alatima:
a. Alat Kafka-teme
Ovaj se alat koristi za stvaranje, popis, izmjenu i opisivanje tema.
Primjer: Stvaranje teme: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic topic_name --partitions 30 --replication-factor 3 --config x=y
b. Alat Kafka-Konzola-Potrošač
Ovaj alat se može koristiti za čitanje podataka iz Kafka tema i pisanje na standardni izlaz
Primjer: bin/kafka-console-consumer --zookeeper zk01.example.com:8080 --topic topic_name>/code>
c. Alat Kafka-proizvođač konzola
Ovaj se alat može koristiti za pisanje podataka u Kafka temu iz Standardnog izlaza.
Primjer: bin/kafka-console-producer --broker-list kafka03.example.com:9091 --topic topic_name
d. Alat za grupe potrošača Kafka
Ovaj se alat može koristiti za popis svih grupa potrošača, opisivanje grupe potrošača, brisanje podataka o grupi potrošača ili resetiranje odstupanja od grupe potrošača. Ovaj se alat uglavnom koristi za opisivanje grupa potrošača i uklanjanje pogrešaka u vezi s bilo kakvim problemima koji se odnose na potrošače.
Primjer: gledanje pomaka na nezaštićenom klasteru: bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name
Kafka arhitektura
Razne komponente alata Kafka
Glavne komponente Kafke su sljedeće:
1. Broker
Svaki čvor u klasteru Kafke je posrednik koji pohranjuje podatke. Obično postoji više brokera radi ispravnog uravnoteženja opterećenja. Broker pohranjuje poruke u obliku tema kojima mogu pristupiti proizvođači (za pisanje) i potrošači (za čitanje). Teme su stvorene za odvajanje podataka jedne aplikacije od drugih. Kako su brokeri bez državljanstva, potrebna im je pomoć Zookera za održavanje stanja klastera. Jedan broker može obraditi TB poruke bez ikakvog utjecaja na performanse. Izbore vođe Kafka brokera vrši Zookeeper.
2. Producent
To je jedinica koja gura poruke posrednicima. Može biti više proizvođača koji generiraju podatke vrlo velikom brzinom i neovisno jedan od drugog. Proizvođači ne primaju potvrdu od posrednika i šalju podatke brzinom kojom se posrednici mogu baviti. Oni mogu pretražiti brokere i početi slati poruke čim ih brokeri pokrenu. Producent je odgovoran za odabir poruke koja će se dodijeliti toj particiji unutar teme. To se može učiniti na način okruglog roba, jednostavno da se uravnoteži opterećenje ili se može obaviti u skladu s nekom semantičkom particijskom funkcijom (recimo na temelju nekog ključa u poruci).
3. Zookeeper
Jedinica je koja upravlja i koordinira brokere. Zookeeper obavještava proizvođača ili kupca u slučaju dodavanja ili neuspjeha brokera. Svaki posrednik redovno šalje zahtjeve za otkucaje srca dok je živ. Zookeeper također održava informacije o temama i odstupanjima od potrošača.
4. Potrošač
Jedinica je koja čita poruke iz tema. Potrošač se može pretplatiti i čitati iz više tema. Potrošač može raditi paralelno s drugim potrošačima (u ovom će slučaju svaku particiju čitati samo jedan potrošač) tvoreći potrošačku grupu. To ne radi u sinkronizaciji s proizvođačima. Potrošač mora održavati koliko je poruka pročitao pomoću pomaka particije. Ako potrošač prihvati određeno odstupanje particije, to podrazumijeva da je već potrošio prethodne poruke u particiji.
Zaključak
U ovom smo članku naučili kako pomoću različitih Kafka alata možemo učinkovito upravljati našim Kafka klasterom. Također smo saznali o različitim komponentama ekosustava Kafka i kako oni međusobno djeluju.
Preporučeni članci
Ovo je vodič za alate Kafka. Ovdje raspravljamo o vrstama alata Kafka, različitim komponentama Kafke zajedno s Kafka arhitekturom. Možete pogledati i sljedeći članak da biste saznali više -
- Vrhunske aplikacije Kafka
- Objašnjenje arhitekture velikih podataka
- Vrhunski alati za znanost o podacima
- Razlike između Kafke i Spark