Uvod u Hadoop pređu arhitekture
MapReduce se koristio za izvršavanje upravljanja resursima i obrade u starijoj verziji 1.0 Hadoop. Ovdje je Job Tracker izvršio raspodjelu resursa, zakazivanje i nadgledanje poslova dodjeljivanjem karte i smanjivanjem zadataka u Tracker Task. To je rezultiralo pitanjima poput skalabilnosti, neučinkovite uporabe resursa. Kako je Hadoop okvir tijekom godina pretrpio nekoliko promjena; možemo vidjeti da se on može koristiti za obavljanje mnogo više od samo pokretanja poslova MapReduce. YARN predstavlja još jedan pregovarač o resursima koji se naziva Hadoop sustav upravljanja klasterima, koji je uveden s Hadoopom 2.0 kako bi podržao distribuirano računalstvo, a što također poboljšava implementaciju MapReducea. U YARN-u su upravitelj resursa i planeri izvan okvira. Iako u YARN-u, iako imamo čvorove podataka, više nema Tragača zadataka ili Tragovaca poslova. Također s YARN-om, možemo imati upravljanje resursima, kao i generičko zakazivanje. U ovoj ćemo temi upoznati različitu arhitekturu pređe
Objasnite Hadoop YARN arhitekturu dijagramom
(Arhitektura Hadoop PRIJE)
YARN uvodi koncept upravitelja resursa i master aplikacija u Hadoop 2.0. Upravitelj resursa vidi upotrebu resursa na cijelom klasteru Hadoop, dok životni ciklus aplikacija koje se pokreću na određenom klasteru nadgleda nadglednik aplikacija. U osnovi, možemo reći da za resurse klastera, voditelj aplikacija pregovara s Upraviteljem resursa. Taj zadatak obavljaju spremnici koji imaju određena ograničenja u memoriji. Tada se ovi spremnici koriste za pokretanje procesa specifičnih za aplikaciju, a također nad njima upravljaju čvorovi koji rade na čvorovima u klasteru. To će potvrditi da aplikacija ne koristi više od dodijeljenih resursa.
Razne komponente PRIJE
Ispod su različite komponente pređe.
1) Upravitelj resursa
YARN djeluje putem upravitelja resursa koji je jedan po čvoru i upravitelja čvorova koji se izvodi na svim čvorovima. Upravitelj resursa upravlja resursima koji se koriste u klasteru, a Node Manager ruča i nadgleda spremnike. Planer i upravitelj aplikacija dvije su komponente Upravitelja resursa.
- Planer : Planiranje se provodi na temelju zahtjeva resursa od strane aplikacija. YARN nudi nekoliko planera za odabir, a oni su pravični i program za planiranje kapaciteta. U slučaju kvara hardvera ili aplikacije, Planer ne osigurava ponovno pokretanje neuspjelih zadataka. Također, Scheduler raspoređuje resurse u pokrenute aplikacije na temelju kapaciteta i reda čekanja.
- Application Manager : Upravlja s pokretanjem Application Master-a u klasteru, a nakon neuspjeha Application Master Container, pomaže u njegovom ponovnom pokretanju. Također snosi odgovornost za prihvaćanje predaje radnih mjesta.
2) Upravitelj čvorova
Node Manager je odgovoran za izvršavanje zadatka u svakom čvoru podataka. Node Manager u YARN-u prema zadanom šalje otkucaje srca upravitelju resursa koji nosi informacije o pokrenutim spremnicima i dostupnosti resursa za nove spremnike. Odgovorna je za posmatranje čvorova na klasteru pojedinačno i upravlja tijekovima rada i poslovima korisnika na određenom čvoru. Uglavnom upravlja spremnicima aplikacija koje dodjeljuje Upravitelj resursa. Node Manager pokreće spremnike stvarajući procese spremnika koji se traže i također ubija spremnike na način koji traži Resource Manager.
3) Kontejneri
Kontejneri su skup resursa poput RAM-a, CPU-a i memorije itd. Na jednom čvoru, a njih planira Upravitelj resursa, a nadzire Node Manager. Životni ciklus spremnika upravlja YARN spremnicima korištenjem konteksta pokretanja spremnika i pruža pristup aplikaciji za specifično korištenje resursa u određenom hostu.
4) Master aplikacije
Nadgleda izvršenje zadataka i upravlja životnim ciklusom aplikacija koje se izvode na klasteru. Pojedini voditelj aplikacije povezuje se s poslom kad je prijavljen u okvir. Njegova glavna odgovornost je pregovaranje o sredstvima s Upraviteljem resursa. Radi s Upraviteljem čvorova za nadziranje i izvršavanje zadataka.
Kako biste pokrenuli aplikaciju putem YARN, provode se sljedeći koraci.
- Klijent kontaktira upravitelja resursa koji zahtijeva pokretanje postupka prijave, tj. Podnosi aplikaciju YARN.
- Sljedeći korak je da upravitelj resursa traži upravitelja čvorova koji će, zauzvrat, pokrenuti aplikacijski master u spremniku.
- Voditelj aplikacije može pokrenuti izvršenje u spremniku u kojem se trenutno nalazi i klijentu pružiti rezultat ili može zatražiti više spremnika od upravitelja resursa koji se mogu nazvati distribuiranim računanjem.
- Klijent zatim kontaktira Upravitelja resursa radi praćenja statusa aplikacije.
S MapReduceom u Hadoop verziji 1.0 (MRV1) definiran je broj karata i smanjenje utora za čvor. Također u klasteru Hadoop, jer su mogućnosti hardvera varirale i broj zadataka na određenom čvoru morao je ručno ograničiti. Ali s YARN-om, taj se nedostatak prevladava jer ovdje Resource Manager zna za kapacitet svakog čvora dok komunicira s upraviteljem čvorova koji se izvodi na svakom čvoru.
Zaključak - Hadoop pređa arhitektura
YARN pomaže u prevladavanju problema s skalabilnošću MapReduce-a u Hadoopu 1.0 jer dijeli rad Tragača posla, i na rasporedu poslova, i na praćenju napretka zadataka. Također, problem raspoloživosti je također prevladao kao i ranije u Hadoopu 1.0, neuspjeh Job Tracker doveo je do ponovnog pokretanja zadataka. YARN je stigao s mnogim dodatnim bonusima kao što je bolja upotreba resursa jer ne postoji fiksno mjesto za zadatke jer omogućuje središnje upravljanje resursima. Dakle, s YARN-om su prevladani brojni problemi s kojima se suočila ranija verzija Hadoopa jer pomaže u odvajanju obrade podataka od zakazivanja i upravljanja resursima. Pomoću YARN-a moguće je samostalno pokretati interaktivne upite, kao i pružiti bolju analizu u stvarnom vremenu.
Preporučeni članci
Ovo je vodič za Hadoop YARN arhitekturu. Ovdje smo razgovarali o različitim komponentama YARN koje uključuju Resource Manager, Node Manager i Containers zajedno s Arhitekturom. Možete i proći naše druge predložene članke da biste saznali više -
- Ekosistem Apache Hadoop
- Komponente ekosustava Hadoop
- Hadoop komponente
- Ekosistem Hadoop