Hadoop klaster intervjui pitanja i odgovori
Svrha ovog članka je pomoći svim kandidatima za velike podatke da odgovore na sva pitanja Hadoop Cluster Interview koja se odnose na postavljanje okruženja velikih podataka u organizaciji. Ovaj upitnik će vam pomoći u postavljanju čvorova podataka, imena čvora i definiranju kapaciteta poslužitelja poslužitelja demo podataka Big Data.
Dakle, ako ste napokon našli posao iz snova u Hadoop Clusteru, ali se pitate kako razbiti Hadoop Cluster intervju i što bi moglo biti vjerojatno Hadoop Cluster Intervju Pitanja. Svaki je intervju različit, a i opseg posla je različit. Imajući to u vidu, osmislili smo najčešća pitanja i odgovore Hadoop klastera za intervjue koji će vam pomoći da postignete uspjeh u svom intervjuu.
Neka od najvažnijih pitanja o intervjuu Hadoop klastera koja se često postavljaju u intervjuu su sljedeća:
1. Koje su glavne komponente Hadoopa u Hadoop grupi?
Odgovor:
Hadoop je okvir u kojem obrađujemo velike podatke ili je Hadoop platforma na kojoj se može obraditi ogromna količina podataka na robnim poslužiteljima. Hadoop je kombinacija mnogih komponenti. Slijede glavne komponente u okruženju Hadoopa.
Ime čvora : Glavni čvor brine za sve informacije o čvorištima podataka i za pohranu podataka u formatu metapodataka.
Sekundarni imenski čvor : djeluje kao primarni čvor Imena ako se primarni čvor naziva spusti.
HDFS (Hadoop distribuirani datotečni sustav) : Brine se o svim pohranjivanjima Hadoop klastera.
Data čvorovi : Data čvorovi su podređeni čvorovi. Stvarni podaci spremaju se u Slave čvorove na obradu.
PRIJETLO (još jedan pregovarač o resursima) : Softverski okvir za pisanje aplikacija i obradu ogromne količine podataka. Pruža iste značajke kao MapReduce, što dopušta da se svaki skupni posao paralelno izvodi u Hadoop grupi.
2.Kako planirati pohranu podataka u klasteru Hadoop?
Odgovor:
Pohrana se temelji na formuli (Storage = Dnevno unošenje podataka * Replikacija).
Ako Hadoop klaster svakodnevno dobiva podatke od 120 TB i imamo zadani faktor replikacije, tako da bi svakodnevni zahtjev za pohranu podataka bio
Zahtjev za pohranu = 120 TB (dnevno unošenje podataka) * 3 (zadano umnožavanje) => 360 TB
Kao rezultat toga, moramo postaviti najmanje 360 TB klastera podataka za potrebe svakodnevnog unosa podataka.
Pohrana također ovisi o zahtjevu za zadržavanjem podataka. U slučaju da želimo pohraniti podatke dvije godine u isti klaster, moramo organizirati čvorove podataka prema zahtjevu zadržavanja.
3. Izračunajte brojeve čvorova podataka.
Odgovor:
Moramo izračunati broj podataka čvorova potrebnih za Hadoop klaster. Pretpostavimo da imamo poslužitelje s JBOD od 10 diskova, a svaki disk ima 4 TB za pohranu, tako da svaki poslužitelj ima 40 TB za pohranu. Hadoop klaster dobiva podatke 120 TB dnevno i 360 TB nakon primjene zadanog faktora replikacije.
Broj podatkovnih čvorova = Dnevni unos podataka / kapacitet čvora podataka
Broj podatkovnih čvorova = 360/40 => 9 podataka čvorova
Dakle, za klaster Hadoop koji dobiva 120 TB podataka s gornjom konfiguracijom, potrebno je postaviti samo 9 podatkovnih čvorova.
4.Kako promijeniti faktor replikacije u Hadoop grupi?
Odgovor:
Uredite hdfs-site.xml datoteku. Zadani put nalazi se pod conf / folder u instalacijskom direktoriju Hadoop. promijeni / dodaj sljedeće svojstvo u hdfs-site.xml:
dfs.replication
3
Blokiranje replike
Nije obavezno imati faktor replikacije 3. Može se postaviti i kao 1. Faktor replikacije 5 također djeluje u Hadoop grupi. Postavljanje zadane vrijednosti čini klaster efikasnijim i potreban je minimalni hardver.
Povećavajući faktor replikacije povećao bi potrebe za hardverom zbog kojih se pohrana podataka množi s faktorom replikacije.
5. Koja je zadana veličina bloka podataka u Hadoopu i kako je izmijeniti?
Odgovor:
Veličina bloka smanjiti / podijeliti podatke u blokove i spremiti ih na različite čvorove podataka.
Prema zadanim postavkama, veličina bloka je 128 MB (u Apache Hadoopu) i možemo izmijeniti zadanu veličinu bloka.
Uredite hdfs-site.xml datoteku. Zadani put nalazi se pod conf / folder u instalacijskom direktoriju Hadoop. promijeni / dodaj sljedeće svojstvo u hdfs-site.xml:
dfs.block.size
134217728
Veličina bloka
Veličina bloka u bajtovima je 134, 217, 728 ili 128MB. Također, odredite veličinu sufiksom (neosjetljiv na velika slova), poput k (kilo-), m (mega-), g (giga-) ili t (tera-) za postavljanje veličine bloka u KB, MB, TB itd. …
6.Koliko dugo Hadoop klaster trebao bi zadržati izbrisanu HDFS datoteku u direktoriju za brisanje / smeće?
Odgovor:
"Fs.trash.interval" je parametar koji određuje koliko dugo HDFS može zadržati bilo koju izbrisanu datoteku u Hadoop okruženju za preuzimanje izbrisane datoteke.
Intervalno razdoblje može se definirati samo u nekoliko minuta. Za 2 dana intervala pretraživanja trebamo specificirati entitet u protočnom formatu.
Uredite datoteku core-site.xml i dodajte je / modificirajte pomoću sljedećeg svojstva
fs.trash.interval
2880
Interval preuzimanja je 0, ali Hadoop Administrator može dodati / izmijeniti gore navedeni entitet po zahtjevu.
7.Koje su osnovne naredbe za pokretanje i zaustavljanje demona Hadoop?
Odgovor:
Sve naredbe za pokretanje i zaustavljanje demona spremljenih u sbin / folder.
./sbin/stop-all.sh - Za zaustavljanje svih demona odjednom.
čvor imena start hadoop-daemon.sh
Hadoop-daemon.sh start čvor podataka
yarn-daemon.sh, pokrenite upravitelj resursa
yarn-daemon.sh, pokrenite upravitelja čvorova
mr-jobhistory-daemon.sh pokrenuti povijest poslužitelja
8.Koje je svojstvo definiranja raspodjele memorije za zadatke kojima upravlja YARN?
Odgovor:
Svojstvo "yarn.nodemanager.resource.memory-mb" treba izmijeniti / dodati kako bi se promijenila dodjela memorije za sve zadatke kojima upravlja YARN.
Određuje količinu RAM-a u MB. Podatkovni čvorovi koriste 70% stvarne RAM-a da bi se koristila za YARN. Podatkovni čvor s 96 GB potrošit će 68 GB za YARN, ostatak RAM-a demon demon čvora koristi za "Non-YARN-Work"
Uredite datoteku "yarn.xml file" i dodajte / izmijenite sljedeće svojstvo.
yarn.nodemanager.resource.memory-mb
68.608
yarn.nodemanager.resource.memory-mb zadana vrijednost je 8, 192MB (8GB). Ako Data čvorovi imaju veliki kapacitet RAM-a, moramo promijeniti na vrijednosti do 70%, trošit ćemo memoriju.
9.Koje su preporuke za veličinu nazivnog čvora?
Odgovor:
Sljedeći detalji preporučuju se za postavljanje glavnog čvora u vrlo početnoj fazi.
Procesori: Za procese je dovoljan jedan procesor s 6-8 jezgara.
RAM memorija: za obradu podataka i posao poslužitelj treba imati najmanje 24-96 GB RAM-a.
Pohrana: Budući da se u Master čvoru ne pohranjuju podaci HDFS. Možete pohraniti 1-2TB kao lokalnu pohranu
Budući da je teško odlučiti o budućem opterećenju, tako dizajnirajte klaster odabirom hardvera poput CPU-a, RAM-a i memorije koji se s vremenom lako nadograđuje.
10.Koji su zadani portovi u Hadoop grupi?
Odgovor:
| Ime Daemona | Zadani port br |
| Naziv čvora | 50.070 |
| Čvorovi podataka. | 50.075 |
| Sekundarni naziv čvor. | 50.090 |
| Čvor sigurnosne i sigurnosne točke. | 50.105 |
| Tragač za poslom. | 50.030 |
| Tražitelji zadataka. | 50060 |
Preporučeni članci
Ovo je vodič za Popis pitanja i odgovora za Hadoop Cluster Intervju kako bi kandidat mogao lako razbiti ova Hadoop Intervju Pitanja. Možete pogledati i sljedeće članke da biste saznali više -
- Elasticsearch pitanja o intervjuima i odgovorima na vrh i najkorisnija
- 9 Nevjerojatna pitanja sa pitanjima i odgovorima o intervjuu MapReduce
- 8 Najkorisnijih vodiča za pitanja o velikim podacima o intervjuu
- ETL pitanja za intervju i odgovor koji biste trebali znati
