Što je Hadoop?
Prije nego što shvatite prednosti Hadoopa, prvo razumite Hadoop. Hadoop je velika paradigma obrade podataka koja pruža pouzdano, skalabilno mjesto za pohranu i obradu podataka. Hadoop je stvorio Doug Cutting i smatra se "ocem Hadoopa". Hadoop je bilo ime igračkog slona njegovog sina. Hadoop je svoje korijene imao u projektu Nutch Search Engine. Hadoop je okvir za obradu koji je donio ogromne promjene u načinu na koji obrađujemo podatke, načinu na koji pohranjujemo podatke. U usporedbi s tradicionalnim alatima za obradu poput RDBMS-a, Hadoop je dokazao da se možemo učinkovito boriti sa izazovima velikih podataka poput,
Raznolikost podataka: Hadoop može pohranjivati i obrađivati strukturirane, kao i polustrukturirane i nestrukturirane formate podataka.
Količina podataka : Hadoop je posebno dizajniran za obradu ogromne količine podataka u rasponu petabajta.
Brzina podataka : Hadoop može obraditi petabajte podataka velikom brzinom u usporedbi s drugim alatima za obradu poput RDBMS, tj. Vrijeme obrade u Hadoopu vrlo je manje.
Istaknute osobine Hadoopa
- Hadoop je u prirodi otvorenog koda.
- Radi na grupi strojeva. Veličina grozda ovisi o potrebama.
- Može se izvoditi na uobičajenom robnom hardveru.
Prednosti Hadoopa
U ovom su dijelu razmatrane prednosti Hadoopa. Pogledajmo ih jedan po jedan:
1. Open Source
Hadoop je u prirodi otvoreni izvorni kod, tj. Njegov izvorni kod je slobodno dostupan. Možemo izmijeniti izvorni kod prema našim poslovnim zahtjevima. Dostupne su i vlasničke verzije Hadoopa, poput Cloudera i Hortona.
2. Skalabilan
Hadoop radi na grupi strojeva. Hadoop je visoko skalabilan. Mi možemo povećati veličinu našeg klastera dodavanjem novih čvorova prema zahtjevu bez ikakvog prekida rada. Ovaj način dodavanja novih strojeva klasteru poznat je pod nazivom horizontalno skaliranje, dok povećanje komponenti poput udvostručenja tvrdog diska i RAM-a naziva se i vertikalnim skaliranjem.
3. Tolerantno kod grešaka
Tolerancija grešaka je najvažnija karakteristika Hadoopa. Prema zadanim postavkama, svaki blok u HDFS ima faktor replikacije 3. Za svaki blok podataka, HDFS stvara još dvije kopije i sprema ih na drugo mjesto u klasteru. Ako bilo koji blok nestane zbog kvara na stroju, još uvijek imamo dvije kopije istog bloka i one se koriste. Na ovaj način se postiže tolerancija greške u Hadoopu.
4. Shema neovisna
Hadoop može raditi na različitim vrstama podataka. Dovoljno je fleksibilan za pohranu različitih formata podataka i može raditi i na podacima sa shemom (strukturiran) i bez podataka o shemi (nestrukturiran).
5. Visoka propusnost i niska kašnjenja
Propusnost znači količina posla obavljenog po jedinici vremena, a mala latencija znači obraditi podatke bez ikakvog odlaganja. Budući da je Hadoop vođen principom distribuirane pohrane i paralelne obrade, obrada se vrši istovremeno na svakom bloku podataka i neovisni su jedni od drugih. Također, umjesto pomicanja podataka, kod se premješta u podatke u klasteru. Ovo dvoje doprinosi visokoj propusnosti i niskoj kašnjenju.
6. Lokalnost podataka
Hadoop djeluje na principu "Premjesti kod, a ne podatke". U Hadoopu podaci ostaju nepokretni i za obradu podataka kod se premješta u podatke u obliku zadataka, to je poznato pod nazivom Lokalnost podataka. Kako se bavimo podacima u rasponu petabajta, premještanje podataka kroz mrežu postaje teško i skupo, lokalitet podataka osigurava kretanje podataka u klasteru minimalno.
7. Performanse
U naslijeđenim sustavima poput RDBMS-a podaci se obrađuju uzastopno, ali u Hadoop-u obrada započinje na svim blokovima odjednom čime se omogućuje paralelna obrada. Zahvaljujući paralelnim tehnikama obrade, performanse Hadoopa mnogo su veće od ostavljenih sustava poput RDBMS-a. Hadoop je čak 2008. pobijedio trenutno najbrže superračunalo.
8. Dijelite ništa arhitekture
Svaki čvor u Hadoop grupi je neovisan jedan o drugom. Ne dijele resurse ili pohranu, ova je arhitektura poznata i kao Share Nothing Architecture (SN). Ako čvor u klasteru zakaže, neće srušiti čitav klaster jer svaki čvor djeluje neovisno, eliminirajući jedinstvenu točku neuspjeha.
9. Podrška za više jezika
Iako je Hadoop uglavnom razvijen u Javi, on pruža podršku i za druge jezike poput Python, Ruby, Perl i Groovy.
10. Isplativa
Hadoop je po svojoj prirodi vrlo ekonomičan. Hadoop klaster možemo izraditi korištenjem uobičajenog robnog hardvera, smanjujući tako troškove hardvera. Prema Cloud vremenu, troškovi upravljanja podacima Hadoopa, tj. I hardvera i softvera, te ostali troškovi vrlo su minimalni u usporedbi s tradicionalnim ETL sustavima.
11. Apstrakcija
Hadoop pruža apstrakciju na različitim razinama. Programerima olakšava posao. Velika datoteka je razbijena u blokove iste veličine i pohranjena na različitim mjestima klastera. Prilikom izrade zadatka za smanjenje karte moramo brinuti o lokaciji blokova. Dajemo kompletnu datoteku kao ulaz, a Hadoop okvir brine za obradu različitih blokova podataka koji se nalaze na različitim lokacijama. Košnica je dio ekosustava Hadoop i predstavlja apstrakciju na vrhu Hadoopa. Kako su zadaci smanjenja karata napisani na Javi, SQL programeri širom svijeta nisu mogli iskoristiti značajku smanjenja mapa. Dakle, Hive je uveden da riješi to pitanje. Na Hive možemo pisati SQL poput upita, što zauzvrat aktivira Map smanjenje poslova. Dakle, zahvaljujući košnici, SQL zajednica također može raditi na zadacima smanjenja karata.
12. Kompatibilnost
U Hadoopu je HDFS sloj za pohranu, a Map Reduce je motor za obradu. Ali, ne postoji kruto pravilo da bi smanjivanje mapa trebalo biti zadani Processing Engine. Novi okviri za obradu poput Apache Spark i Apache Flink koriste HDFS kao sustav za pohranu. Čak i u košnici također možemo promijeniti naš Execution Engine u Apache Tez ili Apache Spark prema našim zahtjevima. Apache HBase, koja je NoSQL Columnar Database, koristi HDFS za sloj Storage.
13. Podrška za različite datotečne sustave
Hadoop je po prirodi vrlo fleksibilan. Može gutati različite formate podataka poput slika, video zapisa, datoteka itd. Može obraditi i Strukturirane i nestrukturirane podatke. Hadoop podržava razne datotečne sustave poput JSON, XML, Avro, Parquet itd.
Rad Hadoopa
Ispod su točke koje pokazuju kako Hadoop djeluje:
1. Distribuirano skladištenje i paralelna obrada
Ovo je načelo pokretanja svih okvira Hadoop ekosustava, uključujući Apache Spark. Da bismo razumjeli rad sustava Hadoop i Spark, prvo bismo trebali razumjeti što je "Distribuirano skladištenje i paralelna obrada."
2. Distribuirano skladištenje
Hadoop ne pohranjuje podatke u jedan stroj, umjesto toga, te ogromne podatke razbija u blokove jednake veličine koji su 256 MB prema zadanim postavkama i sprema te blokove u različite čvorove klastera (radnički čvorovi). Pohranjuje metapodatke tih blokova u glavni čvor. Ovaj način spremanja datoteke na distribuiranim mjestima u klasteru poznat je pod nazivom Hadoop distribuirani datotečni sustav - HDFS.
3. Paralelna obrada
To je paradigma obrade, gdje se obrada vrši istovremeno na blokovima podataka pohranjenih u HDFS. Paralelna obrada funkcionira na pojmu "Pomicanje koda, a ne podataka". Podaci ostaju nepomični u HDFS-u, ali se kod premješta u podatke za obradu. Jednostavno rečeno, ako je naša datoteka razbijena u 100 blokova, tada se stvara 100 primjeraka posla i oni putuju preko klastera na mjesto gdje blok prebiva i obrađuje se na 100 blokova istovremeno (Faza karte). Izlazni podaci iz svih blokova prikupljaju se i svode na konačni izlaz (Smanji fazu). Smanjivanje karte smatra se "srcem Hadoopa".
Zaključak-Prednosti Hadoopa
U ovom Data data-u, Hadoop je otvorio put za drugačiji pristup izazovima koje postavljaju Big data. Kad kažemo, Hadoop ne mislimo samo na Hadoop, uključuje alate Hadoop Ekosustav poput Apache Hive koji pruža SQL slične operacije na vrhu Hadoop, Apache Pig, Apache HBase za Columnar bazu podataka, Apache Spark za obradu u memoriji i mnoge više. Iako Hadoop ima svojih nedostataka, vrlo je prilagodljiv i stalno se razvija sa svakim izdanjem.
Preporučeni članci
Ovo je vodič o prednostima Hadoopa. Ovdje smo raspravljali o tome što je Hadoop i koje su glavne prednosti Hadoopa. Možete i proći kroz naše druge povezane članke da biste saznali više -
- HADOOP okvir
- Što je Hadoop klaster?
- Što je MapReduce u Hadoopu?
- Baza podataka Hadoop
- Što je Hadoop? | Aplikacije i značajke