Kako instalirati Kafka?
Kafka je distribuirana streaming platforma. Pomaže u objavljivanju i pretplati na streamove zapisa. Kafka se obično koristi za izgradnju cjevovoda za prijenos podataka u stvarnom vremenu koji pouzdano dobivaju podatke između različitih sustava i aplikacija. Može vam pomoći i u stvaranju aplikacija za streaming u stvarnom vremenu koje pomažu u preoblikovanju ili uvođenju promjena u struji podataka. Kafka omogućuje pohranjivanje tokova zapisa u različite kategorije zvane teme. Svaki se zapis sastoji od ključa, vrijednosti i vremenske oznake. Sadrži četiri glavne komponente kao što su Producer API, Consumer API, Streams API i Connector API. Koristi TCP protokol što je dobra komunikacija između klijenata i poslužitelja s visokim performansama. Da biste instalirali Kafku, mogu se slijediti sljedeći koraci.
Instalirajte Kafka na Windows OS
Za instaliranje Kafke na Windows slijedite dolje navedene korake:
Korak 1. Preuzmite Zookeeper sa sljedeće veze: HTTP: //zookeeper.apache.org/releases.html
Nakon što to učinite preuzmite Kafku sa sljedeće veze: http://kafka.apache.org/downloads.html
Također preuzmite JRE prema vašoj operativnom sustavu i arhitekturi procesora s donje veze: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
Korak 2. Postavljanje JDK-
Pokrenite JRE Instalaciju, a zatim kliknite potvrdni okvir "Promijeni odredišnu mapu". Sada kliknite na Instaliraj.
Jednom kada to učinite, promijenite mapu u bilo koji put bez razmaka u nazivu mape.
Korak 3. Nakon što je to učinjeno, otvorite varijable okoline s upravljačke ploče -> Sustav -> Napredne postavke sustava -> Promjenjive sredine.
Korak 4. Pritisnite karticu Nova korisnička varijabla na kartici Korisnička varijabla, a zatim u naziv varijable upišite JAVA_HOME. Unesite svoj JRE put u odjeljak Vrijednost varijable. Treba biti na sljedeći način:
Korak 5. Sada kliknite na U redu.
Korak 6. Potražite varijablu puta u odjeljku "Varijabla sustava" u dijaloškom okviru "Promjena okoliša" koji se otvori.
Korak 7. Uredite stazu i na kraju teksta koji je već napisan tamo upišite ";% JAVA_HOME% \ bin", baš poput slike ispod:
Korak 8. Da biste provjerili je li Java ispravno instalirana, idite na naredbeni redak i upišite "java - verzija". Na zaslonu će se prikazati inačica Java koja je instalirana.
Ako vidite gore navedene detalje u naredbenom retku, onda ste dobri s Java strane.
Jednom kada je Java instalirana, sada se možete premjestiti da biste dovršili postavljanje Zookera.
Slijedite upute u nastavku kako biste instalirali Zookeeper na svoj sustav:
- Otvorite direktorij u kojem se nalazi Zookeeper config direktorij. To može biti C: \ zookeeper-3.4.7 \ conf.
- Sada preimenujte datoteku "zoo_sample.cfg" u "cfg"
- Otvorite ovu preimenovanu datoteku u bilježnici.
- Pronađite i uredite sljedeće: dataDir = / tmp / zookeeper do \ zookeeper-3.4.7 \ data
- Baš kao što smo za Java dodali varijablu okruženja, dodajte i varijablu okruženja za Zookeeper.
- Postavite put varijable sustava kao: dataDir = / tmp / zookeeper na: \ zookeeper-3.4.7 \ data
- Uredite sistemsku varijablu nazvanu "Put" i dodajte; % ZOOKEEPER_HOME% \ smeće;
- Zadani port za Zookeeper je 2181 koji se može promijeniti u bilo koji drugi port tako da se otvori datoteka zoo.cfg.
- Pokrenite Zookeeper otvaranjem novog cmd-a i upišite "zkserver". Vidjet ćete dolje detalje.
Nakon što vidite ovaj zaslon, trebali biste biti sigurni da je Zookeeper uspješno instaliran.
Postavljanje Kafke
Nakon što se na vašem sustavu pokrenu Java i Zookeeper, možete prijeći na postavljanje Kafke.
- Idite u Kafka config direktorij.
- Uredite datoteku "server.properties".
- Nakon što to učinite, možete pronaći i urediti redak u kojem vidite: dirs = / tmp / kafka-logs do „log.dir = C: \ kafka_2.11-0.9.0.0 \ kafka-logs
- Ako vaš Zookeeper radi na nekom drugom stroju, možete promijeniti ovu putanju u "zookeeper.connect: 2181" u prilagođeni IP i port port.
- Zadani priključak za Kafku je port 9092, a za povezivanje sa Zookeeper-om je 2181.
Trčanje Kafka poslužitelja
Nakon što je početno postavljanje, možete jednostavno pokrenuti Kafka poslužitelj
Prije pokretanja poslužitelja Kafka, potrebno je osigurati da se instanca Zookeeper pokrene i pokrene.
1. Idite na instalacijski direktorij Kafke: C: /kafka_2.11-0.9.0.0
2. Otvorite naredbeni redak i pritisnite Shift + desni klik i odaberite opciju "Otvori naredbeni prozor ovdje".
3. Sad upišite. \ Bin \ windows \ kafka-server-start.bat. \ Config \ server.properties i pritisnite Enter.
Jednom kada pokrenete ovo i sve je u redu, vaš bi zaslon trebao izgledati na sljedeći način:
4. Sada je vaš Kafka server pokrenut. Možete kreirati vlastite teme za pohranu različitih poruka. Kad to učinite, možete proizvesti i konzumirati podatke iz Java ili Scala koda ili se izravno pokrenuti iz naredbenog retka.
Instalirajte Kafka na Linux
Slijedite korake u nastavku da biste instalirali Kafka na Linux:
Korak 1. Preuzmite i izdvojite Kafka binarne datoteke i pohranite ih u direktorije.
Korak 2. Izdvojite arhivu koju preuzmete pomoću naredbe tar.
Korak 3. Za konfiguriranje Kafke idite na server.properties. Otvorite ovu datoteku pomoću nano naredbe i na dnu datoteke dodajte sljedeće.
nano ~/Kafka/config/server.properties
delete.topic.enable = true
Korak 4. Nakon što je to učinjeno, korisnik će morati stvoriti datoteke sistemske jedinice za usluge Kafka. Ovo pomaže u obavljanju uobičajenih servisnih radnji poput pokretanja, zaustavljanja i ponovnog pokretanja Kafke na dosljedan način kao i ostale Linux usluge. Zookeeper je usluga koju Kafka koristi za upravljanje svojim klasterom i konfiguracijama.
Korak 5. Za stvaranje jedinice datoteke za Zookeeper slijedi u nastavku:
sudo nano /etc/systemd/system/zookeeper.service
Korak 6. Jednom kada se stvori ova zookeeper datoteka, zalijepite je u nastavku:
(Unit) Requires=network.target remote-fs.target
After=network.target remotefs.target
(Service) Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
(Install) WantedBy=multi-user.target
Ovaj odjeljak (Jedinica) ovdje određuje da Zookeeper zahtijeva umrežavanje i datotečni sustav spreman prije nego što se može pokrenuti.
Odjeljak (Usluga) omogućuje sustavu znati da su datoteke zookeeper-server-start.sh i zookeeper-server-stop.sh prisutne za pokretanje i zaustavljanje usluga.
Korak 7. Sada bi korisnik trebao stvoriti sistemsku datoteku za Kafku kako slijedi:sudo nano /etc/system/system/Kafka.service
Korak 8. U ovoj datoteci zalijepite u nastavku:
(Unit) Requires=zookeeper.service
After=zookeeper.service
(Service) Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh
/home/kafka/kafka/config/server.properties >
/home/kafka/kafka/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.shRestart=on-abnormal
(Install) WantedBy=multi-user.target
Ovdje (Jedinica) određuje da datoteka jedinice ovisi o zookeeper.service. To osigurava pokretanje zookera prije nego što se pokrene Kafka.
Korak 9. Sada morate omogućiti Kafka i ponovno pokrenuti poslužitelj. Pokrenite: sudo systemctl omogućite Kafku
Korak 10. Provjera instalacije:
Svoju Kafka instalaciju možete testirati stvaranjem teme, a zatim objavljivanjem potrošačima.
Stvorite temu prema : ~ / Kafka / bin / Kafka-topics.sh – kreirajte –ookeeper localhost: 2181 - faktor replikacije 1 - particije 1 - topicki TutorialTopic
Objavite ovog korisnika može stvoriti proizvođače i potrošače, a zatim objaviti sve podatke o određenim temama.
Preporučeni članci
Ovo je vodič za instaliranje Kafke. Ovdje smo razgovarali o različitim koracima za instaliranje Kafke na Windows i Linux. Možete pogledati i sljedeće članke da biste saznali više -
- Korak za instaliranje Java 8
- Kako instalirati C
- Vodič za instaliranje Rubyja
- Kafka aplikacije
- JRE vs JVM | Top 8 razlike s (Infographics)