Uvod u arhitekturu košnica

Arhitektura košnica izgrađena je na vrhu ekosustava Hadoop. Košnica često ima interakcije s Hadoopom. Apache Hive se nosi sa sustavom baza podataka domene i smanjenjem Map-a. Aplikacije za košnice mogu se pisati na raznim jezicima kao što su Java, python. Arhitektura košnica pokazuje kako napisati jezik upita košnice i kako se obavljaju interakcije između programera pomoću sučelja naredbenog retka. Jezik upita košnice obavlja posao pretvaranja svih zadataka Hadoop clustera kroz smanjenje karte. Kao što smo svi znali Hadoop obrađuje velike podatke u distribuiranom okruženju i oblikuje okvir otvorenog koda. S košnicom je fleksibilan za upravljanje i izvršavanje upita, a dobar je podrška za obavljanje funkcija poput enkapsulacije, ad-hoc upita. Ovaj članak daje kratak uvod u arhitekturu košnica koja se nalazi na sloju Hadoop za obavljanje sažetka u velikim podacima.

Arhitektura košnica sa svojim komponentama

Košnica igra veliku ulogu u analizi podataka i integraciji poslovne inteligencije, a podržava formate datoteka poput tekstualne datoteke, rc datoteke. Hive koristi distribuirani sustav za obradu i izvršavanje upita, a pohrana se na kraju vrši na disku i konačno obrađuje pomoću okvira za smanjenje karte. Rješava problem optimizacije koji se nalazi pod smanjenim preslikavanjem i košnicom obavlja obavljanje grupnih poslova koji su jasno objasnjeni u tijeku rada. Ovdje meta trgovina pohranjuje podatke o shemi. Okvir zvan Apache Tez osmišljen je za izvedbu upita u stvarnom vremenu.

Glavne komponente košnice su date u nastavku:

  1. Klijenti za košnice
  2. Usluge košnica
  3. Skladište košnica (Meta skladištenja)

Gornji dijagram prikazuje arhitekturu košnice i njenih sastavnih elemenata.

Klijenti košnica:

Uključuju Thrift aplikaciju za izvršavanje jednostavnih naredbi košnica koje su dostupne za python, ruby, C ++ i upravljačke programe. Ove korisničke aplikacije pogoduju za izvršavanje upita na košnici. Hive ima tri vrste kategorizacije klijenata: štedljivi klijenti, JDBC i ODBC klijenti.

Usluge košnica:

Za obradu svih upita košnica ima razne usluge. Korisnik u košnici lako može definirati sve funkcije. Pogledajmo sve te usluge ukratko:

  • Sučelje naredbenog retka (korisničko sučelje): Omogućuje interakciju između korisnika i košnice, zadanu školjku. Pruža GUI za izvođenje naredbenog retka košnice i uvid u košnicu. Također možemo koristiti web sučelja (HWI) za slanje upita i interakcija s web preglednikom.
  • Vozač košnica: prima upite iz različitih izvora i klijenata kao što je štedljiv poslužitelj te pohranjuje i dohvaća na ODBC i JDBC pokretaču koji su automatski povezani s košnicom. Ova komponenta vrši semantičku analizu gledanja tablica iz metastore koja analizira upit. Vozač uzima pomoć prevoditelja i obavlja funkcije poput raščlanjivača, planiranja, izvršavanja zadataka MapReduce i alata za optimizaciju.
  • Sastavljač: Kompilarni pregled i semantički postupak upita vrši prevoditelj. Upit pretvara u apstraktno stablo sintakse i ponovno se vraća u DAG radi kompatibilnosti. Optimizator, zauzvrat, dijeli dostupne zadatke. Zadatak izvršitelja je da izvršava zadatke i prati raspored cjevovoda.
  • Execution Engine: Sve upite obrađuje izvršni motor. DAG fazni planovi izvršavaju motor i pomažu u upravljanju ovisnostima između raspoloživih faza i izvršavanju ih na ispravnoj komponenti.
  • Metastore: Djeluje kao središnje spremište za pohranu svih strukturiranih informacija metapodataka, a također je važan aspekt za košnicu jer ima informacije poput tablica i detalja o particijama i pohranu HDFS datoteka. Drugim riječima, reći ćemo da metastore djeluje kao prostor s imenima za tablice. Metastore se smatra zasebnom bazom podataka koju dijele i druge komponente. Metastore ima dva dijela koja se nazivaju servis i zaostatak za pohranu.

Model podataka košnice strukturiran je u Pregrade, kante, tablice. Sve to može se filtrirati, imati ključeve za particiju i procijeniti upit. Upit za košnice radi na Hadoop okviru, a ne na tradicionalnoj bazi podataka. Poslužitelj košnica je sučelje između upita udaljenog klijenta u košnici. Motor izvršenja u potpunosti je ugrađen u košnički poslužitelj. Možete pronaći primjenu košnica u strojnom učenju, poslovnoj inteligenciji u postupku otkrivanja.

Tijek rada košnice:

Košnica radi u dvije vrste načina rada: interaktivni način i neinteraktivni način rada. Bivši način omogućuje da se svim naredbama košnica izravno prebaci na ljusku košnice, dok kasniji tip izvršava kod u načinu konzole. Podaci su podijeljeni u particije koje se dalje dijele u kante. Planovi izvršenja temelje se na agregaciji i nagibu podataka. Dodatna prednost korištenja košnice je to što se lako obrađuje velika količina podataka i ima više korisničkih sučelja.

Iz gornjeg dijagrama možemo vidjeti uvid u protok podataka u košnici sa sustavom Hadoop.

Koraci uključuju:

  1. izvršavanje upita s korisničkog sučelja
  2. dobiti plan iz faza zadataka vozača DAG faza
  3. preuzmi zahtjev za metapodatke iz meta trgovine
  4. pošaljite metapodatke iz prevoditelja
  5. vraćanje plana vozaču
  6. Izvršite plan u motoru za izvršenje
  7. dohvaćanje rezultata za odgovarajući korisnički upit
  8. slanje rezultata dvosmjerno
  9. izvršenje obrade motora u HDFS s smanjenjem mape i dohvaćanjem rezultata iz čvorova podataka koji su stvorili alati za praćenje poslova. djeluje kao veznik između košnice i Hadoopa.

Zadatak pokretačkog stroja je komuniciranje s čvorovima za dobivanje podataka pohranjenih u tablici. Ovdje se za pristup tablici izvode SQL operacije poput stvaranja, ispadanja, izmjene.

Zaključak:

Prošli smo kroz arhitekturu košnica i njihov radni tijek, košnica u osnovi provodi količinu podataka od petabajta i otuda je to paket skladišta podataka na platformi Hadoop. Kako je košnica dobar izbor za rukovanje velikim količinama podataka, pomaže u pripremi podataka pomoću vodiča SQL sučelja za rješavanje problema MapReduce. Apache košnica je ETL alat za obradu strukturiranih podataka. Poznavanje arhitekture košnica pomaže korporativnim ljudima da razumiju princip rada košnice i dobro započne s programiranjem košnica.

Preporučeni članci:

Ovo je vodič za arhitekturu košnica. Ovdje smo razgovarali o arhitekturi košnice, različitim komponentama i tijeku rada košnice. Možete pogledati i sljedeće članke da biste saznali više -

  1. Hadoop arhitektura
  2. Upotrebe Ruby
  3. Što je C ++
  4. Što je MySQL baza podataka
  5. Naruči košnicu

Kategorija:

Veliki podaci