Kafka Alati - Vrste alata Kafka - Kafka arhitektura i dijelovi

Sadržaj:

Anonim

Uvod u Kafka alate

Kafka Tools skup je raznih alata pomoću kojih možemo upravljati našim Kafka klasterom. Alati se uglavnom temelje na naredbenoj liniji, ali dostupni su i alati koji se mogu preuzimati i instalirati.

Kafka alate možemo koristiti za izvođenje različitih operacija poput:

  • Navedi dostupne klastere Kafke i njihove brokere, teme i potrošače.
  • Može ispisati poruke iz različitih tema na standardnom izlazu. Alati temeljeni na korisničkom sučelju mogu definitivno poboljšati čitljivost.
  • Dodajte i ispustite teme od brokera.
  • Dodajte nove poruke u particije.
  • Pogledajte sve naknade naših potrošača.
  • Stvorite particije naših tema.
  • Popis svih grupa potrošača, opišite grupe potrošača, izbrišite podatke o grupi potrošača i resetirajte odstupanja od potrošačke skupine.

Ako želimo koristiti alat temeljen na korisničkom sučelju, možemo upotrijebiti Kafka Alat koji se može preuzeti sa sljedeće web stranice:

http://www.kafkatool.com/download.html

Ova je aplikacija dostupna za osobnu upotrebu besplatno, ali moramo kupiti licencu za komercijalnu upotrebu. Dobra stvar je njegova dostupnost za Mac, Windows i Linux sustave.

3 najbolje vrste alata Kafka

Kafka alati kategorizirani su u Alat za sustav i Alat za primjenu.

1. Alati sustava

Alat za sustav može se pokrenuti pomoću sljedeće sintakse.

Sintaksa:

bin/kafka-run-class.sh package.class - - options

Neki od alata za sustav su sljedeći:

  • Alat za migraciju Kafke : Ovaj se alat koristi za migraciju Kafka Brokera s jedne verzije na drugu.
  • Consumer Offset Checker: Ovaj alat može prikazati Consumer Group, Teme, Particije, Off-set, logSize, Vlasnika za određeni skup Tema i Potrošačku grupu.
  • Proizvođač zrcala: Ovaj se alat koristi za zrcaljenje jednog Kafka klastera u drugi.

2. Alati za umnožavanje

To su u osnovi dizajnerski alati visoke razine predviđeni za trajnost i dostupnost.

Neki od alata za replikaciju su:

  • Alat za kreiranje teme : Ovaj se alat koristi za stvaranje tema sa zadanim brojem particija i faktorom replikacije.
  • Alat za temu popisa: koristi se za unos podataka o određenom popisu tema. Sjajna stvar ovog alata je ta da ako nijedna tema već nije dostupna u naredbenom retku, ona će zatražiti od Zookera da prvo preuzme popis tema, a zatim ispisuje podatke o njima. Navodi se u raznim poljima kao što su naziv teme, particije, vođa, replike itd.
  • Alat za dodavanje particija : Ovaj se alat koristi za dodavanje particija u temu koja je potrebna za upravljanje količinom podataka u temi. Ali imajte na umu da, moramo stvoriti particije tijekom stvaranja teme. Ovaj nam alat omogućuje dodavanje ručnih replika za dodane particije.

3. Razni alati

Sada ćemo razgovarati o nekim drugim alatima:

a. Alat Kafka-teme

Ovaj se alat koristi za stvaranje, popis, izmjenu i opisivanje tema.

Primjer: Stvaranje teme: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic topic_name --partitions 30 --replication-factor 3 --config x=y

b. Alat Kafka-Konzola-Potrošač

Ovaj alat se može koristiti za čitanje podataka iz Kafka tema i pisanje na standardni izlaz

Primjer: bin/kafka-console-consumer --zookeeper zk01.example.com:8080 --topic topic_name>/code>

c. Alat Kafka-proizvođač konzola

Ovaj se alat može koristiti za pisanje podataka u Kafka temu iz Standardnog izlaza.

Primjer: bin/kafka-console-producer --broker-list kafka03.example.com:9091 --topic topic_name

d. Alat za grupe potrošača Kafka

Ovaj se alat može koristiti za popis svih grupa potrošača, opisivanje grupe potrošača, brisanje podataka o grupi potrošača ili resetiranje odstupanja od grupe potrošača. Ovaj se alat uglavnom koristi za opisivanje grupa potrošača i uklanjanje pogrešaka u vezi s bilo kakvim problemima koji se odnose na potrošače.

Primjer: gledanje pomaka na nezaštićenom klasteru: bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name

Kafka arhitektura

Razne komponente alata Kafka

Glavne komponente Kafke su sljedeće:

1. Broker

Svaki čvor u klasteru Kafke je posrednik koji pohranjuje podatke. Obično postoji više brokera radi ispravnog uravnoteženja opterećenja. Broker pohranjuje poruke u obliku tema kojima mogu pristupiti proizvođači (za pisanje) i potrošači (za čitanje). Teme su stvorene za odvajanje podataka jedne aplikacije od drugih. Kako su brokeri bez državljanstva, potrebna im je pomoć Zookera za održavanje stanja klastera. Jedan broker može obraditi TB poruke bez ikakvog utjecaja na performanse. Izbore vođe Kafka brokera vrši Zookeeper.

2. Producent

To je jedinica koja gura poruke posrednicima. Može biti više proizvođača koji generiraju podatke vrlo velikom brzinom i neovisno jedan od drugog. Proizvođači ne primaju potvrdu od posrednika i šalju podatke brzinom kojom se posrednici mogu baviti. Oni mogu pretražiti brokere i početi slati poruke čim ih brokeri pokrenu. Producent je odgovoran za odabir poruke koja će se dodijeliti toj particiji unutar teme. To se može učiniti na način okruglog roba, jednostavno da se uravnoteži opterećenje ili se može obaviti u skladu s nekom semantičkom particijskom funkcijom (recimo na temelju nekog ključa u poruci).

3. Zookeeper

Jedinica je koja upravlja i koordinira brokere. Zookeeper obavještava proizvođača ili kupca u slučaju dodavanja ili neuspjeha brokera. Svaki posrednik redovno šalje zahtjeve za otkucaje srca dok je živ. Zookeeper također održava informacije o temama i odstupanjima od potrošača.

4. Potrošač

Jedinica je koja čita poruke iz tema. Potrošač se može pretplatiti i čitati iz više tema. Potrošač može raditi paralelno s drugim potrošačima (u ovom će slučaju svaku particiju čitati samo jedan potrošač) tvoreći potrošačku grupu. To ne radi u sinkronizaciji s proizvođačima. Potrošač mora održavati koliko je poruka pročitao pomoću pomaka particije. Ako potrošač prihvati određeno odstupanje particije, to podrazumijeva da je već potrošio prethodne poruke u particiji.

Zaključak

U ovom smo članku naučili kako pomoću različitih Kafka alata možemo učinkovito upravljati našim Kafka klasterom. Također smo saznali o različitim komponentama ekosustava Kafka i kako oni međusobno djeluju.

Preporučeni članci

Ovo je vodič za alate Kafka. Ovdje raspravljamo o vrstama alata Kafka, različitim komponentama Kafke zajedno s Kafka arhitekturom. Možete pogledati i sljedeći članak da biste saznali više -

  1. Vrhunske aplikacije Kafka
  2. Objašnjenje arhitekture velikih podataka
  3. Vrhunski alati za znanost o podacima
  4. Razlike između Kafke i Spark