Razlika između Hadoopa i košnice
Hadoop:
Hadoop je okvir ili softver koji je izumljen za upravljanje ogromnim podacima ili velikim podacima. Hadoop se koristi za pohranu i obradu velikih podataka distribuiranih na grupi robnih poslužitelja.
Hadoop pohranjuje podatke koristeći Hadoop distribuirani datotečni sustav i obrađuje ih / pretražuje pomoću programskog modela Map Reduce.
Slika 1, Osnovna arhitektura Hadoop komponente.
Hadoop-ove glavne komponente:
Hadoop Baza / Uobičajena: Hadoop common pružit će vam jednu platformu za instaliranje svih njegovih komponenti.
HDFS (Hadoop distribuirani datotečni sustav): HDFS je glavni dio Hadoop okvira koji vodi računa o svim podacima u Hadoop Clusteru. Radi na Master / Slave arhitekturi i pohranjuje podatke koristeći replikaciju.
Glavni / slavenska arhitektura i replikacija:
- Glavni čvor / naziv čvor: Ime čvora pohranjuje metapodate svakog bloka / datoteke pohranjene u HDFS, HDFS može imati samo jedan glavni čvor (u slučaju HA drugi glavni čvor će raditi kao sekundarni glavni čvor).
- Podređeni čvor / čvor podataka: Čvorovi podataka sadrže stvarne datoteke podataka u blokovima. HDFS može imati više podataka čvorova.
- Replikacija: HDFS pohranjuje svoje podatke dijeleći ih u blokove. Zadana veličina bloka je 64 MB. Podaci zbog replikacije pohranjuju se u 3 (zadani faktor replikacije, može se po potrebi povećati) različiti čvorovi podataka, pa postoji najmanja mogućnost gubitka podataka u slučaju kvara čvora.
PREDNJA (još jedan pregovarač o resursima): U osnovi se koristi za upravljanje Hadoop resursima, a također igra važnu ulogu u zakazivanju korisničkih aplikacija.
MR (Smanjivanje karata): Ovo je osnovni programski model Hadoopa. Koristi se za obradu / upit podataka unutar Hadoop okvira.
Košnica:
Hive je aplikacija koja se pokreće preko Hadoop okvira i pruža sučelje poput SQL-a za obradu / upit podataka. Facebook je osmislio i razvio Facebook prije nego što je postao dio Apache-Hadoop projekta.
Hive vodi svoj upit koristeći HQL (jezik upita jezika Hive). Košnica ima istu strukturu kao RDBMS i u košnici se mogu koristiti gotovo iste naredbe.
Hive može pohraniti podatke u vanjske tablice, tako da nije obvezan koristiti HDFS, a također podržava formate datoteka kao što su ORC, Avro datoteke, slijedne datoteke i tekstualne datoteke itd.
Slika 2, Hiveova arhitektura i glavne komponente.
Glavna komponenta košnice:
Klijenti košnica: Ne samo SQL, Hive također podržava programske jezike kao što su Java, C, Python koristeći razne upravljačke programe poput ODBC, JDBC i Thrift. Jedan može pisati bilo koju aplikaciju klijenta za košnice na drugim jezicima, a može se pokrenuti u košnici putem ovih klijenata.
Usluge košnica: Pod košničkim uslugama odvija se izvršavanje naredbi i upita. Web sučelje košnice ima pet podsustava.
- CLI: Zadano sučelje naredbenog retka koje Hive nudi za izvršavanje upita / naredbi Hive.
- Web sučelja košnica: Jednostavno je grafičko korisničko sučelje. Alternativa je naredbenom retku Hive i koristi se za pokretanje upita i naredbi u aplikaciji Hive.
- Server košnica: Zove se i kao Apache Thrift. Odgovorno je uzimati naredbe iz različitih sučelja naredbenog retka i sve naredbe / upite slati u košnicu, a također donosi konačni rezultat.
- Apache Hive Driver: Odgovorna je za preuzimanje ulaza iz CLI, web sučelja, ODBC, JDBC ili Thrift sučelja i prosljeđuje ih u metastore gdje su pohranjene sve informacije o datoteci.
- Metastore: Metastore je skladište za pohranu svih podataka metapodataka Hive. Metapodatci Hivea pohranjuju informacije poput strukture tablica, particija i vrste stupaca itd …
Skladište košnica: to je mjesto na kojem se obavlja stvarni zadatak, a svi upiti koji se pokreću iz košnice izveli su radnju u skladištu košnice.
Usporedba između Hadoopa i Hivea (Infographics)
Ispod je top 8 razlike između Hadoopa i Hivea
Ključne razlike između Hadoop i Hive:
Ispod su popisi točaka, opišite ključne razlike između Hadoopa i košnice:
1) Hadoop je okvir za obradu / upit velikih podataka dok je Hive alat zasnovan na SQL-u koji preko Hadoopa gradi na obradi podataka.
2) Hive obrađuje / ispituje sve podatke koristeći HQL (jezik upita košnice) to je jezik sličan SQL-u, dok Hadoop može razumjeti samo smanjenje karte.
3) Smanjivanje karte sastavni je dio Hadoopa, Hiveov upit najprije se pretvara u Smanjivanje mape nego što ga je Hadoop obradio za pretraživanje podataka.
4) Hive radi na SQL Like upitu dok ga Hadoop razumije samo pomoću Java Reduced Map Reduce.
5) U košnici, ranije korištene tradicionalne naredbe "Relacijske baze podataka" mogu se koristiti i za ispitivanje velikih podataka dok ste u Hadoopu, morate pisati složene programe za smanjenje karte pomoću Java koji nije sličan tradiciji Java.
6) košnica može obraditi / upitati samo strukturirane podatke, dok je Hadoop namijenjen svim vrstama podataka bilo da su strukturirani, nestrukturirani ili polustrukturirani.
7) Pomoću usluge Hive osoba može obraditi / upitati podatke bez složenog programiranja dok je u ekosustavu Simple Hadoop potrebno ispisati složeni Java program za iste podatke.
8) Jedan bočni Hadoop okviri trebaju 100-redak za pripremu MR-zasnovanog programa na Java-u, a drugi Hadoop s Hiveom može tražiti iste podatke koristeći 8 do 10 redaka HQL-a.
9) U košnici je vrlo teško umetnuti izlaz jednog upita kao ulaza drugog, dok se isti upit može lako obaviti koristeći Hadoop s MR.
10) Metastore u Hadoop grupi nije obvezno dok Hadoop pohranjuje sve svoje metapodatke unutar HDFS-a (Hadoop Distributed File System).
Tabela usporedbe tablice Hadoop i košnice
| Usporedne točke | Košnica | Hadoop |
|
Dizajn i razvoj | ||
| Mjesto za pohranu podataka |
Podaci se mogu pohraniti u External Tablica, HBase ili HDFS. | Strogo samo HDFS. |
| Jezična podrška | HQL (jezik upita košnice) |
Može koristiti više programskih jezika kao što su Java, Python, Scala i mnogi drugi. |
| Vrste podataka | Može raditi samo na strukturiranim podacima. |
Može obrađivati strukturirane, nestrukturirane i polustrukturne podatke. |
| Okvir za obradu podataka |
HQL (jezik upita košnice) | Koristite samo program Java Reduced Map Reduce. |
|
Računalni okvir | SQL-jezik. | SQL i No-SQL. |
| Baza podataka |
Derbi (zadano) također podržavaju MYSQL, Oracle… | HBase, Cassandra itd…. |
| Programiranje programa |
Programirani okvir temeljen na SQL-u. | Programski okvir temeljen na Javi. |
Zaključak - Hadoop vs Hive
Hadoop i Hive koriste se za obradu velikih podataka. Hadoop je okvir koji pruža platformu za druge aplikacije za ispitivanje / obradu velikih podataka dok je Hive samo aplikacija zasnovana na SQL-u koja obrađuje podatke pomoću HQL-a (jezika upita košnice)
Hadoop se može koristiti bez košnice za obradu velikih podataka dok nije lako koristiti košnicu bez Hadoopa.
Zaključno, ne možemo usporediti Hadoop i Hive ni na koji način ni u kojem aspektu. I Hadoop i Hive su potpuno različiti. Ako obje tehnologije zajedno rade zajedno, postupak Big Data upita može biti mnogo lakši i ugodniji za velike korisnike podataka.
Preporučeni članci:
Ovo je vodič za Hadoop vs košnicu, njihovo značenje, usporedbu glave do glave, ključne razlike, tablicu usporedbe i zaključak. Možete pogledati i sljedeće članke da biste saznali više -
- Hadoop vs Apache Spark - Zanimljive stvari koje trebate znati
- HADOOP vs RDBMS | Znajte 12 korisnih razlika
- Koliko veliki podaci mijenjaju lice u zdravstvu
- Top 12 usporedba Apache košnice i Apache HBase (Infographics)
- Iznenađujući vodič na Hadoop vs Spark