Saznajte 10 najboljih razlika između MapReduce i pređe

Razlika između redukcije karte i pređe

Pređa predstavlja još jedan pregovarač o resursima, to je novi okvir za upravljanje resursima (memorija i CPU). Pomaže nam u razvoju distribuirane aplikacije bilo koje vrste, pruža nam potrebne demone i API-je. Druga važna značajka YARN-a je da obrađuje i zakazuje zahtjev za resursima iz aplikacije i pomaže procesu da izvrši zahtjev. YARN je generička platforma za pokretanje bilo koje distribuirane aplikacije, verzija redukcije karte 2 je distribuirana aplikacija koja se pokreće na vrhu YARN, dok je map smanjenje procesna jedinica Hadoop komponente, ona obrađuje podatke paralelno u distribuiranom okruženju. Tako u osnovi smanjuje rad na ogromnim komponentama podataka, obrađuje podatke i pohranjuje u HDFS na takav način da je preuzimanje jednostavnije od tradicionalne pohrane.

Usporedba između glave MapReduce i pređe (Infographics)

Ispod je 10 najboljih usporedbi između MapReduce i pređe

Ključna razlika između MapReduce i pređe

U Hadoopu 1 ima dvije komponente, prva je HDFS (Hadoop Distributed File System), a druga je Map Reduce. Dok u Hadoopu 2, on također ima dvokomponentni HDFS i YARN / MRv2 (obično nazivamo YARN kao Map smanjuje verziju 2).
U Smanjenju mape, kada smanjivanje mape prestane s radom, automatski će prestati s radom sav njegov podređeni čvor, ovo je jedini scenarij u kojem se izvršavanje posla može prekinuti i to se naziva jedna točka neuspjeha. YARN prevladava ovaj problem zbog svoje arhitekture, YARN ima koncept čvora Active name kao i čvora standby name. Kada neko vrijeme aktivni čvor prestane raditi, pasivni čvor počinje raditi kao aktivni čvor i nastavlja izvršenje.
Smanjivanje karte ima arhitekturu jednog glavnog i više podređenog. Ako padne master-slave, tada cijeli robovi prestaju raditi, to je jedina točka neuspjeha u HADOOP1, dok HADOOP2 koji se temelji na YARN arhitekturi ima koncept više master i slave, ako jedan majstor odstupi, onda će drugi master nastaviti svoj postupak i nastaviti izvršenje.
Kao što vidimo na donjem dijagramu, razlika u oba ekosustava HADOOP1 i HADOOP2. Komponentno YARN upravljanje resursima interaktivno djeluje na smanjivanju karata i HDFS.

Dakle, u osnovi je YARN odgovoran za upravljanje resursima, znači koji će se posao izvršiti po kojem sustavu odlučuje YARN, dok je smanjenje karte programski okvir koji je odgovoran za izvršavanje određenog posla, tako da u osnovi smanjenje karte ima dvokomponentni kartograf i reduktor za izvršenje programa.

U mapi Smanjite svaki podatkovni čvor pokrenut pojedinačno, dok u predivi svaki podatkovni čvor upravlja upravitelj čvora.
Smanjivanje karte koristi Job tracker za kreiranje i dodjeljivanje zadatka tragaču zadataka zbog podataka upravljanje resursom nije impresivno što rezultira jer će neki čvorovi podataka ostati u stanju mirovanja i od koristi, dok u YARN-u postoji upravitelj resursa za svaki cluster, a svaki podatkovni čvor pokreće upravitelj čvorova. Za svaki posao će jedan podređeni čvor djelovati kao voditelj aplikacije, nadgledajući resurse / zadatke.

Usporedna tablica MapReduce vs pređe

Osnove za usporedbu	PREĐA	Smanjivanje karte
Značenje	PRIJAVA je još jedan pregovarač o resursima.	Smanjivanje karte definira se sam.
Verzija	Uvod u Hadoop 2.0	Uvod u Hadoop 1.0
Odgovornost	Sada je YARN odgovoran za dio upravljanja resursima.	Ranije smanjenje karte bilo je odgovorno za upravljanje resursima kao i za obradu podataka
Model izvršenja	Model izvršenja pređe općenitiji je u odnosu na smanjenje karte	Manje općenito u usporedbi s PRIJETOM.
Izvođenje aplikacije	YARN može izvoditi i one programe koji ne slijede model redukcije karte	Map Reduct može izvršiti vlastiti program temeljen na modelu.
Arhitektura	YARN je uveden u MR2 na vrhu tragača posla i alata za praćenje zadataka. Na mjestu tražilice posla i alata za praćenje zadataka Učitelj ulazi u sliku.	U starijoj verziji MR1, PRIJAVE nema, Na mjestu YARN-ovog praćenja posla i praćenja zadataka bio je prisutan alat koji pomaže u izvršavanju aplikacije ili poslova
savitljivost	PREŽA je izoliranija i skalabilnija	Manje skalabilan u usporedbi s PREDOM.
demone	YARN ima naziv čvor, čvor podataka, sekundarni čvor Imena, upravitelja resursa i upravitelja čvorova.	Smanjivanje karte ima naziv čvor, čvor podataka, sekundarni čvor naziva, alat za praćenje poslova i alat za praćenje zadataka.
Ograničenje	U YARN-u nema koncepta pojedinačne točke neuspjeha, jer ima više Mastersa, pa ako jedan od njih uspije, drugi majstor će ga pokupiti i nastaviti s izvršenjem.	Pojedinačna točka neuspjeha, mala iskorištenost resursa (Max od 4200 klastera po YAHOO-u) i manja skalabilnost u usporedbi s YARN
Veličina	Po defaultu je veličina podatkovnog čvora u YARN-u 128MB	Prema zadanim postavkama veličina podatkovnog čvora u Map Map smanjuje se na 64MB.

Zaključak - MapReduce protiv pređe

U Hadoopu 1, koji se temelji na Smanjenju karata, postoji nekoliko problema koji su u Hadoopu 2 prevladali s Pređom. Kao i u Hadoopu 1, tracker za posao odgovoran je za upravljanje resursima, ali YARN ima koncept upravitelja resursa kao i upravitelja čvorova koji će preuzeti upravljanje resursima. Smanjivanje karte ima jednu točku neuspjeha, tj. Praćenje poslova, ako tracker posla prestane s radom, tada moramo ponovno pokrenuti cijeli klaster i ponovno pokrenuti svoj posao iz početnog. U stvarnom scenariju, nijedna organizacija ne želi preuzimati takav rizik, posebno u bankarskom obrambenom sektoru. Takva organizacija koja radi na pojednostavljivanju podataka neće biti spremna na takav rizik. Za nekoliko minuta izgubit će svoje podatke i možda će to imati kritični poslovni utjecaj. Dakle, YARN ima bolji rezultat u odnosu na smanjenje karte.

Preporučeni članak

Ovo je vodič za MapReduce protiv pređe, njihovo značenje, uporedba, uvod u glave, ključne razlike, tablica usporedbe i zaključak. Možete pogledati i sljedeće članke da biste saznali više -