Razlika između košnice i Impale
Hive je softverski projekt za skladištenje podataka izgrađen na vrhu APACHE HADOOP-a koji je razvio Jeffov tim na Facebooku s izdanom trenutnom stabilnom verzijom 2.3.0. Koristi se za objedinjavanje velikih podataka i olakšava postavljanje upita i analiza. Apache Hive je učinkovit standard za SQL u Hadoopu. Impala je mehanizam za paralelnu obradu SQL upita koji se pokreće na Apache Hadoop i koristi za obradu podataka koji se pohranjuju u HBase (Hadoop Database) i distribuciranom datotečnom sustavu Hadoop. Impala je proizvod otvorenog koda za paralelnu obradu (MPP) SQL pokretača podataka za podatke pohranjene u lokalnom klasteru sustava koji rade na Apache Hadoop. Apache košnica i Impala su ključni dijelovi sustava Hadoop.
Dakle, proučimo i Hive i Impala detaljno:
KOŠNICA
- Apache Hive pomaže u analizi ogromnog skupa podataka pohranjenih u datotečnom sustavu Hadoop (HDFS) i drugim kompatibilnim datotečnim sustavima.
- Košnica QL - za ispitivanje podataka pohranjenih u klasteru Hadoop .
- Koristi skalabilnost Hadoopa prijevodom .
- Košnica NIJE potpuna baza podataka .
- Ne pruža ažuriranja na razini zapisa .
- Hadoop je sistemski orijentiran sustav .
- Upiti za košnice imaju velike kašnjenje zbog MapReduce .
- Osip ne daje značajke Blizu je OLAP-u .
- Najprikladnije za aplikacije skladišta podataka .
- Izvođenje upita putem MapReduce .
- jezik upita može se koristiti s prilagođenim skalarnim funkcijama (UDF-ove), agregacijama (UDAF-ovima) i funkcijama tablice (UDTF-ovi) .
- Hive također omogućuje indeksiranje kako bi se ubrzao, tip indeksa, uključujući zbijanje i bitmap indeks od 0, 10, planira se više vrsta indeksa.
- Vrste spremanja koje podržava košnica su RCfile, HBase, ORC i običan tekst .
- SQL-upita (Hive QL), koji se podrazumijevaju pretvaraju u zadatke MapReduce ili Tez ili Spark .
- Hive pohranjuje metapodatke u ugrađenu bazu podataka Apache Derby .
Impala
- Impala je motor s upitima koji radi na Hadoopu . Javna distribucija beta testiranja najavljena je u listopadu 2012., a postala je općenito dostupna u svibnju 2013. godine.
- Podržava HDFS Apache HBase storage i Amazon S3 .
- Čita formate datoteka Hadoop, uključujući tekst, parket, Avro, RCFile, LZO i sekvencijalnu datoteku .
- Podržava Hadoop Sigurnost (Kerberos provjera autentičnosti) .
- Koristi metapodatke, ODBC pogonitelj i SQL sintaksu iz Apache Hive .
- Podržava više kompresijskih kodeka:
(a) Snappy (preporučuje se zbog njegove učinkovite ravnoteže između omjera kompresije i brzine dekompresije),
(b) Gzip (preporučuje se kod postizanja najviše razine kompresije),
(c) ispuhavanje (nije podržano za tekstualne datoteke), Bzip2, LZO (samo za tekstualne datoteke);
- Omogućuje vam upit na ugniježđenim strukturama, uključujući karte, strukture i nizove.
- Omogućava istodobne upite višestrukog korisnika i također omogućuje kontrolu prijema na temelju prioriteta i reda upita.
Usporedba između Hive i Impala (Infographics)
Ispod je 20 najboljih usporedbi Hive-a i Impala
Ključna razlika između Hive i Impala
Razlike između Hive i Impala objasnjene su u točkama predstavljenim u nastavku:
- Košnicu je razvio Jeffov tim na Facebooku, ali Impala je razvila Apache Software Foundation .
- Hive podržava format datoteke optimiziranog stupca stupaca (ORC) s kompresijom Zliba, ali Impala podržava format parketa sa brzim komprimiranjem .
- Panj je napisan na Javi, ali Impala je napisan na C ++.
- Brzina obrade upita u košnici je mala, ali Impala je 6-69 puta brža od košnice .
- Latencija u košnici je visoka, ali kod Impala Latencija je mala .
- Hive podržava pohranu RC datoteka i ORC, ali Impala za pohranu podržava Hadoop i Apache HBase .
- Hive generira izraz izraza u vrijeme sastavljanja, ali u Impala generiranju koda za '' velike petlje '' se događa tijekom izvođenja .
- Košnica ne podržava paralelnu obradu, ali Impala podržava paralelnu obradu.
- Hive podržava MapReduce, ali Impala ne podržava MapReduce .
- U košnici nema sigurnosnih značajki, ali Impala podržava Kerberos Autentifikaciju .
- U nadogradnji bilo kojeg projekta u kojem su kompatibilnost i brzina važni Hive je idealan izbor, ali za novi projekt Impala je idealan izbor .
- Košnica je tolerantna na greške, ali Impala ne podržava toleranciju greške .
- Košnica podržava složen tip, ali Impala ne podržava složene vrste .
- Hive je serijski Hadoop MapReduce, ali Impala je MPP baza podataka .
- Hive ne podržava interaktivno računanje, ali Impala podržava interaktivno računanje .
- Upit u košnici ima problem "hladnog starta", ali u Impala-ovom se demonskom procesu pokreće u samom startu vremena .
- Upravitelj resursa košnice je YARN (još jedan pregovarač o resursima), ali u upravitelju resursa Impala izvorni je * YARN .
- Distribucije košnica su sve Hadoop distribucije, Hortonworks (Tez, LLAP), ali u Impala distribuciji su Cloudera MapR (* Amazon EMR) .
- Kukova publika su Inženjeri podataka, ali u Impala publici su Podaci Analizatori / Znanstvenici podataka.
- Propusnost košnica je visoka, ali kod Impala propusnost je mala .
Usporedba Tabela protiv košnice i Impala
| Serijski broj. | Osnove za usporedbu | Košnica | Impala |
| 1. | Razvijen od | Apache Software Temelj |
|
| 2. | Format datoteke |
|
|
| 3. | Jezik | Napisano u JAVA | Napisano na C ++ |
| 4. | Brzina obrade | Košnica je spora | Impala je brza |
| 5. | Latentnost | visok | nizak |
| 6. | Podrška za pohranu | RC datoteka, ORC | Hadoop, Apache HBase |
| 7. | Pretvorba koda | Generira izraz upita u vrijeme sastavljanja | Stvaranje koda događa se tijekom izvođenja. |
| 8. | Podržava paralelnu obradu | Ne | Da |
| 9. | Podrška za MapReduce | Da | Ne |
| 10. | Hadoop Sigurnost | Ne | Podržava Kerberos provjeru autentičnosti. |
| 11. | upotreba | Idealno za nadogradnju projekata | Idealno za pokretanje Novog projekta. |
| 12. | Fault-tolerant | Panj je tolerantan na košnicu. | Ne podržava toleranciju greške. |
| 13. | Složene vrste | Košnica podržava složene vrste. | Impala ne podržava složene tipove. |
| 14. | Vrsta baze podataka | Hive je serijska Hadoop MapReduce. | To je MPP baza podataka |
| 15. | Interaktivno računanje | Ne podržava interaktivno računanje. | Podržava interaktivno računarstvo. |
| 16. | Izvršenje | Upit u košnici ima problem s "Hladnim startom" | Proces Impala uvijek počinje u doba dizanja demona. |
| 17. | Upravljanje resursima | PREĐA | Native * PRIJE |
| 18. | distribucije | HIVE - sve Hadoop distribucije, Hortonworks (Tez, LLAP) | Cloudera MapR, (* EMR Amazona) |
| 19. | Publika | Inženjeri podataka | Analizator podataka / Znanstvenici podataka |
| 20. | propusnost | Visoka propusnost | Niska propusnost |
Zaključak - Hive vs Impala
U ovom smo članku pokušali pokazati kako su dvije tehnologije, a to su Hive i Impala, te ujedno i osnovna razlika između tih tehnologija. U praktičnom smislu možemo reći da Hive i Impala nisu konkurenti jer obje pripadaju istoj zakladi koja je poznata kao MapReduce za izvršavanje upita, upotreba oba može stvoriti razliku. Prema našim potrebama, možemo ih koristiti zajedno ili najbolje prema kompatibilnosti, potrebi i performansama. Jezik upita košnice je Hive QL koji je vrlo svestran i univerzalan jezik, dok je Impala intenzivan u memoriji i ne radi dobro za obradu teških podataka, primjerice, upiti pridruživanja. Ako je vaš projektni rad povezan sa skupnom obradom velike količine podataka, košnica će u tom slučaju biti bolja i ako je vaš rad povezan s procesom ad-hoc upita u stvarnom vremenu, podaci će biti bolji u Impala taj slučaj.
Preporučeni članak
Ovo je vodič za košnicu Vs Impala, njihovo značenje, usporedbu glave do glave, ključne razlike, tablicu usporedbe i zaključak. Možete pogledati i sljedeće članke da biste saznali više -
- Apache Hive vs Apache Spark SQL - 13 nevjerojatnih razlika
- Košnica VS HUE - prvih 6 korisnih usporedbi koje treba naučiti
- Apache Pig vs Apache košnica - 12 najboljih korisnih razlika
- Hadoop vs košnica - saznajte najbolje razlike
- Korištenje ORDER BY funkcije u košnici