Razlike između Kafke i Spark
Organizacije kontinuirano rastu s ogromnim podacima. Oni pokušavaju koristiti Hadoop za tako ogromne podatke umjesto tradicionalnih RDBMS. U isto vrijeme, žele brzu obradu i izlaz u stvarnom vremenu. Hadoop je platforma otvorenog koda na kojoj možemo koristiti više jezika za različite vrste alata kao što su Python, Scala. Za obradu u stvarnom vremenu u Hadoopu možemo koristiti Kafka i Spark. Ovo je mali članak u kojem pokušavam objasniti kako će funkcionirati Kafka vs Spark.
Kafka
Kafka je platforma za obradu protoka otvorenog koda koju je razvio Apache. To je posrednik između izvora i odredišta za streaming proces u stvarnom vremenu u kojem možemo zadržati podatke za određeno vremensko razdoblje. Kafka je distribuirani sustav za razmjenu poruka. Gdje možemo upotrijebiti trajne podatke za postupak u stvarnom vremenu. Radi kao servis na jednom ili više poslužitelja. Kafka pohranjuje niz zapisa u kategorijama koje se nazivaju temama. Svaki zapis toka sastoji se od ključa, vrijednosti i vremenske oznake.
Za pokretanje poslužitelja Kafka
>bin/Kafka-server-start.sh config/server.properties
Slijedi glavna komponenta Kafke
Izvor: To će se pokrenuti kada se na izvoru pojavi novi CDC (Change Data Capture) ili novi umetak. Za to moramo definirati ključni stupac da bismo identificirali promjenu.
Posrednik: koji je odgovoran za čuvanje podataka. Svaki Broker nema particiju.
Tema: kategorizira podatke. Teme u Kafki uvijek pretplaćuje više potrošača koji se pretplaćuju na podatke napisane u njoj.
Da biste stvorili temu
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
I da vidim popis tema
> bin/kafka-topics.sh --list --zookeeper localhost:2181
Particija: Teme se dalje dijele na particiju za paralelnu obradu.
Proizvođač: Proizvođač je odgovoran za objavljivanje podataka. Podatke će gurnuti na teme po njihovom izboru. Producent će odabrati koji će zapis da dodijeli kojoj particiji unutar teme.
Kafka je zapovjedio da pošalje poruku na neku temu.
> bin/Kafka-console-producer.sh --broker-list localhost:9092 --topic test
Bok, dobro jutro.
Ovo je testna poruka.
Potrošač: Potrošači će konzumirati podatke iz tema. Potrošač će biti etiketa sa grupom potrošača. Ako ista tema ima više potrošača iz različitih grupa potrošača, svaki je primjerak poslan svakoj skupini potrošača.
Možete zadržati podatke iz više izvora kako biste zadržali podatke. Kafka je zapovjedio da konzumira poruke na neku temu.
> bin/Kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
Bok, dobro jutro.
Ovo je testna poruka.
Flume: Možemo koristiti flume Kafka Sudoper. U kojem čim čim CDC (Change Data Capture) ili New insert flume pokrene zapis i gurne podatke na temu Kafka. Za to moramo postaviti kanal.
Kao i Kafka sudoper, možemo imati HDFS, JDBC izvor i sudoper.
Kafka ima bolju propusnost i ima značajke poput ugrađene particije, replikacije i tolerancije na greške što ga čini najboljim rješenjem za goleme aplikacije za obradu poruka ili protoka
Iskra
Apache Spark je open-source klaster-računalni okvir. Izvorno razvijena na Kalifornijskom sveučilištu, u Berkeleyevom laboratoriju Amp, kôd Spark je kasnije darovan Apache Software Foundation. Spark pruža sučelje za programiranje čitavih klastera s implicitnom paralelizmom podataka i tolerancijom grešaka.
Kada je Hadoop predstavljen, Map-Reduce je bio pokretački motor za bilo koji posao. U postupku izvršenja Map-Reduce (Read - Write) dogodio se na stvarnom tvrdom disku. To je razlog za veću potrošnju vremena i prostora u vrijeme izvršenja.
Apache Spark je platforma otvorenog koda. Poboljšava kvalitetu izvršenja od procesaMap-Reduce. To je otvorena platforma na kojoj možete koristiti nekoliko programskih jezika kao što su Java, Python, Scala, R. Spark omogućuje izvršavanje u memoriji koja je 100X brža od MapReduce. Ovo koristi RDD definiciju. RDD je robustan raspoređeni skup podataka koji omogućuje spremanje podataka u memoriju na transparentan način i zadržavanje na disku samo prema potrebi. Tu prolazi vrijeme pristupa podacima iz memorije umjesto diska.
Spark je platforma na kojoj možemo pohraniti podatke u Data Frame i obraditi ih. Razvojni programer aplikacija, Data Scientist, Data Analyst može upotrijebiti Spark za obradu ogromne količine podataka u minimalnom vremenu. U Sparku možemo koristiti značajku poput interaktivne, iterativne, analize podataka.
Spark streaming je još jedna značajka na kojoj možemo obraditi podatke u stvarnom vremenu. Bankovna domena mora pratiti transakciju u stvarnom vremenu kako bi ponudila najbolju ponudu klijentu, prateći sumnjive transakcije. Streaming iskre je najpopularniji u mlađoj Hadoop generaciji. Spark je lagan API jednostavan za razvoj koji će pomoći programeru da brže radi na strujnim projektima. Iskreno strujanje lako će oporaviti izgubljene podatke i moći će ih se isporučiti točno nakon što arhitektura bude uspostavljena. I bez ikakvih dodatnih napora kodiranja Možemo istovremeno raditi na iskrenom streamingu i povijesnim paketnim podacima (Lambda Architecture).
U Spark streamingu možemo koristiti više alata kao što su mlaznica, Kafka, RDBMS kao izvor ili sudoper.
Ili možemo izravno strujati iz RDBMS u Spark.
Iskra možemo vršiti na vrhu HDFS-a ili bez HDFS-a. Zato svi govore o njegovoj zamjeni Hadoopa. HDFS je osnovni datotečni sustav za Hadoop. HDFS možemo koristiti kao izvor ili ciljno odredište.
Pomoću Spark SQL koristite osnovne SQL upite za obradu podataka. Ova iskra pruža bolje mogućnosti poput Mlib-a (Knjižnica strojnog učenja) za znanstvenika s podacima da bi mogao predvidjeti.
Usporedba između Kafke i Sparka (Infographics)
Ispod je top 5 usporedbe između Kafka i Spark
Ključna razlika između Kafke i Sparka
Razgovarajmo o nekim glavnim razlikama između Kafke i Sparka:
- Kafka je posrednik u porukama. Spark je platforma otvorenog koda.
- Kafka ima proizvođača, potrošače, teme za rad s podacima. Tamo gdje Spark pruža platformu izvlači podatke, čuva ih, obrađuje i gura od izvora do cilja.
- Kafka pruža streaming u stvarnom vremenu i postupak prozora. Tamo gdje Spark dopušta i protok u stvarnom vremenu i skupni postupak.
- U Kafki ne možemo izvršiti transformaciju. Where In Spark izvodimo ETL
- Kafka ne podržava nijedan programski jezik za transformaciju podataka. Gdje iskra podržava više programskih jezika i knjižnica.
- Tako se Kafka koristi za streaming u stvarnom vremenu kao kanal ili posrednik između izvora i cilja. Gdje se Spark koristi za streaming u stvarnom vremenu, batch postupak i ETL.
Značajke Kafka vs Spark
Postoje neke ključne značajke:
- Tijek podataka: Kafka vs Spark omogućuju strujanje podataka u stvarnom vremenu od izvora do cilja. Kafka samo Unesite podatke u temu, Spark je proceduralni protok podataka.
- Obrada podataka: Ne možemo izvršiti nikakvu transformaciju na podacima gdje Spark možemo transformirati podatke.
- Trajni podaci: Kafka zadržava podatke neko vrijeme kako je definirano u konfiguraciji. Moramo koristiti podatkovni okvir ili objekt skupa podataka da bismo ustrajali na podacima.
- Transformacija ETL-a: Pomoću iskre možemo izvesti ETL, gdje Kafka ne daje ETL.
- Upravljanje memorijom: Spark koristi RDD za pohranu podataka na distribuirani način (tj. Predmemoriju, lokalni prostor) gdje Kafka pohranjuje podatke u Topic, tj. U međuspremnik.
Tablica za usporedbu između Kafke i Spark
Ispod je najviša usporedba između Kafke i Sparka:
| Kriteriji značajki | Apache Spark | Kafka |
| Ubrzati | 100 puta brži od Hadoopa | Pristojna brzina |
| Obrada | Obrada u stvarnom vremenu i serije | Samo u stvarnom vremenu / obrada prozora |
| teškoća | Jednostavno za učenje zbog modula visoke razine | Jednostavno za konfiguriranje |
| Oporavak | Omogućuje oporavak particija koristeći Cache i RDD | Fault tolerantnih / Replication |
| interaktivnost | Ima interaktivne načine rada | Nema interaktivnog načina / konzumiranje podataka |
Zaključak
Kafku možemo koristiti kao posrednika za poruke. Podatci mogu zadržati podatke tijekom određenog razdoblja. Pomoću Kafke možemo izvoditi operacije prozora u stvarnom vremenu. Ali ne možemo izvesti ETL transformaciju u Kafka.Uzračenjem iskre možemo zadržati podatke u podatkovnom objektu i izvršiti krajnju krajnju ETL transformaciju.
Stoga je najbolje rješenje ako Kafku koristimo kao streaming platformu u stvarnom vremenu za Spark.
Preporučeni članak
Ovo je vodič za najbolju razliku između Kafke i Sparka. Ovdje također raspravljamo o razlikama između Kafke i Spark-a s infografikom i tablicom za usporedbu. Da biste saznali više, možete pogledati i sljedeće članke. Možete pogledati i sljedeće članke da biste saznali više -
- Razlika između Apache Kafke i Flume
- Apache Storm vs Kafka
- Apache Hadoop i Apache Spark
- Google Cloud vs AWS
- Kafka vs Kinesis | Top 5 razlike