Uvod u pitanja i odgovore Hadoop Admin Intervjua
Dakle, konačno ste našli posao iz snova u Hadoop Adminu, ali se pitate kako probiti Hadoop Admin Intervju i što bi moglo biti vjerojatno Hadoop Admin Intervju Pitanja. Svaki je intervju različit, a i opseg posla je različit. Imajući to u vidu, osmislili smo najčešća pitanja i odgovore za Hadoop Admin intervju koji će vam pomoći da postignete uspjeh u svom intervjuu.
Slijedi Hudoop Admin Intervju Pitanja koja će vam pomoći u kreiranju intervjua s Hadoop.
1. Što je stalak svijest? I zašto je to potrebno?
Odgovor:
Svijest o stalak se odnosi na distribuciju čvorova podataka na više regali. HDFS slijedi algoritam svjesnosti o stalak za postavljanje blokova podataka. Stalak drži više poslužitelja. A za grozd, može postojati više regala. Recimo da postoji Hadoop skup s 12 čvorova. Mogle su biti 3 stalke s po 4 poslužitelja na svakom. Sva 3 regala su povezana tako da su povezana svih 12 čvorova i tvore grozd. Prilikom odlučivanja o broju regala, važno je uzeti u obzir faktor replikacije. Ako postoji 100 GB podataka koji će svakodnevno dolaziti s faktorom replikacije 3. Tada će se na klasteru morati nalaziti 300 GB podataka. Bolja je opcija kopiranje podataka na stalke. Čak i ako dođe do pada bilo kojeg čvora, replika će se nalaziti u drugom stalku.
2. Koja je zadana veličina bloka i kako je definirana?
Odgovor:
128MB i definirano je u hdfs-site.xml, a također je to prilagodljivo ovisno o količini podataka i razini pristupa. Recimo, 100 GB podataka koji teče dnevno, podaci se izdvajaju i pohranjuju u klaster. Koliki će biti broj datoteka? 800 datoteka. (1024 * 100/128) (1024 à pretvorio GB u MB.) Postoje dva načina za podešavanje veličine bloka podataka.
- hadoop fs -D fs.local.block.size = 134217728 (u bitovima)
- U hdfs-site.xml dodajte ovo svojstvo à block.size s veličinom bita.
Ako promijenite zadanu veličinu na 512MB jer je veličina podataka ogromna, tada će generirane datoteke no.of biti 200. (1024 * 100/512)
3. Kako dobivate izvješće o datotečnom sustavu hdfs? O dostupnosti diska i brojim aktivnim čvorovima?
Odgovor:
Naredba: sudo -u hdfs dfsadmin –report
Ovo je popis informacija koje prikazuje,
- Konfigurirani kapacitet - Ukupni kapacitet dostupan u hdfs
- Sadašnji kapacitet - ovo je ukupna količina prostora dodijeljena resursima uz metastore i fsimage korištenje prostora.
- Preostali DFS - To je količina prostora za pohranu koja je i dalje dostupna HDFS-u za pohranjivanje više datoteka
- DFS koristi - To je prostor za pohranu koji je HDFS iskoristio.
- DFS koristi% - u postocima
- Pod repliciranim blokovima - broj blokova
- Blokovi s oštećenim replikama - ako postoje oštećeni blokovi
- Nedostaju blokovi
- Nedostaju blokovi (s faktorom replikacije 1)
4. Što je Hadoop balans i zašto je to potrebno?
Odgovor:
Podaci raspoređeni po čvorovima nisu distribuirani u pravom omjeru, što znači da upotreba svakog čvora možda nije uravnotežena. Jedan se čvor može prekomjerno koristiti, a drugi se može nedovoljno koristiti. To dovodi do visokog troška učinka tijekom izvođenja bilo kojeg procesa i na kraju bi se prikazivala velika uporaba tih čvorova. Da bi se to riješilo, koristi se Hadoop balansator koji će uravnotežiti korištenje podataka u čvorovima. Dakle, kad god se izvrši balans, podaci se premještaju tamo gdje se čvorovi koji se nedovoljno koriste i popuštaju čvorovi koji se previše koriste.
5. Razlika između Cloudere i Ambarija?
Odgovor:
| Cloudera Manager | Ambari |
| Alat za primjenu Cloudere | Alat za administraciju Hortona djeluje |
| Nadgleda i upravlja cijelim klasterom i izvještava o korištenju i bilo kakvim problemima | Nadgleda i upravlja cijelim klasterom i izvještava o korištenju i bilo kakvim problemima |
| Dolazi s Cloudera uslugom koja se plaća | Otvoreni izvor |
6. Koje su glavne radnje koje provodi Hadoop administrator?
Odgovor:
Nadgledajte zdravlje klastera - Postoji mnogo stranica aplikacija koje se moraju pratiti ako se pokreću neki procesi. (Poslužitelj povijesti poslova, upravitelj resursa YARN, upravitelj / ambasada Cloudera, ovisno o distribuciji)
uključite sigurnost - SSL ili Kerberos
Izvođenje melodije - Hadoop balans
Po potrebi dodajte nove čvorove podataka - Promjene i konfiguracije infrastrukture
Neobavezno za uključivanje MapReduce poslužitelja za praćenje povijesti posla à Ponekad bi ponovno pokretanje usluga pomoglo da se oslobodi keš memorija. To je kada je klaster s praznim procesom.
7. Što je Kerberos?
Odgovor:
Za provjeru postupka potrebna je provjera autentičnosti za svaku uslugu. Preporuča se omogućiti Kerberos. Budući da se bavimo distribuiranim računanjem, uvijek je dobra praksa šifriranje dok pristupamo podacima i obrađujemo ih. Kako su svaki čvor povezani, a svaki prolaz informacija prolazi kroz mrežu. Budući da Hadoop koristi Kerberos, lozinke se ne šalju preko mreža. Umjesto toga, lozinke se koriste za izračunavanje ključeva za šifriranje. Poruke se razmjenjuju između klijenta i poslužitelja. Jednostavno rečeno, Kerberos međusobno osigurava identitet (čvorovi) na siguran način.
Konfiguracija u core-site.xml
Hadoop.security.authentication: Kerberos
8. Koji je važan popis hdfs naredbi?
Odgovor:
| naredbe | Svrha |
| hdfs dfs –ls | Za popis datoteka iz hdfs datotečnog sustava. |
| Hdfs dfs - ulaz | Kopirajte datoteku s lokalnog sustava u datotečni sustav hdfs |
| Hdfs dfs –chmod 777 | Dajte datoteci čitanje, pisanje, izvršavanje |
| Hdfs dfs –get | Kopirajte datoteku iz hdfs datotečnog sustava u lokalni datotečni sustav |
| Hdfs dfs - mačka | Pogledajte sadržaj datoteke iz datotečnog sustava hdfs |
| Hdfs dfs –rm | Uklonite datoteku iz hdfs datotečnog sustava. Ali bit će premješten na otpad datoteku smeća (to je kao koš za smeće u Windowsima) |
| Hdfs dfs –rm –skipTrash | Trajno uklanja datoteku iz klastera. |
| Hdfs dfs –touchz | Stvorite datoteku u datotečnom sustavu hdfs |
9. Kako provjeriti zapise Hadoop posla poslanih u klasteru i kako zaustaviti već pokrenuti proces?
Odgovor:
dnevnici pređe –aplikacijaId - master aplikacija generira zapisnike na svom spremniku i bit će mu dodan s idom koji generira. Ovo će biti korisno za nadgledanje stanja pokretanja procesa i podataka zapisnika.
aplikacija pređe –kill - Ako se postojeći proces koji je pokrenut u klasteru mora prekinuti, koristi se naredba kill gdje se ID aplikacije koristi za prekid posla u klasteru.
Preporučeni članak
Ovo je vodič za Popis pitanja i odgovore s Hadoop Admin intervjuima kako bi kandidat mogao lako razbiti ova Hadoop-ova pitanja za intervjue. Možete pogledati i sljedeće članke da biste saznali više
- Hadoop klaster intervju i pitanja - top 10 najkorisnijih
- Intervjuska pitanja za modeliranje podataka - 10 važnih pitanja
- Pitanja o intervjuu za sustav SAS - Top 10 korisnih pitanja