Uvod u Pitanja i odgovore na Intervju MapReduce
MapReduce je jednostavan paralelni program programiranja podataka dizajniran za skalabilnost i toleranciju grešaka. Možemo reći da je MapReduce okvir koji koristi koncept čvorova za paralelizaciju problema koji se javljaju u velikim skupovima podataka, ako je to lokalna mreža, koristi isti hardver, a ako je MapReduce geografski raspodijeljen, koristi različit hardver. MapReduce se u osnovi sastoji od funkcije Map () i Reduce (). Popularno ga je izradio Hadoop projekt otvorenog koda.
Slijedi 9 važnih pitanja u vezi s MapReduce intervjuom za 2019. godinu:
Ako tražite posao povezan s MapReduceom, trebate se pripremiti za pitanja o intervjuu za MapReduce za 2019. godinu. Iako je svaki MapReduce intervju različit i opseg posla je također različit, možemo vam pomoći u odgovoru na vrhu MapReduce pitanja za razgovore s odgovorima koji će vam pomoći da skočite i postignete uspjeh u svom intervjuu.
Ova su pitanja podijeljena u dva dijela:
Dio 1 - Pitanja o intervjuu MapReduce (osnovna)
Ovaj prvi dio pokriva osnovna pitanja i odgovore na MapReduce za intervju.
1. Što je MapReduce?
Odgovor:
MapReduce je jednostavan paralelni program programiranja podataka dizajniran za skalabilnost i toleranciju grešaka. Drugim riječima, to je okvir koji obrađuje paralelizacijske probleme u velikim skupovima podataka koristeći koncept čvorova (broj računala) koji su zauzvrat klasificirani kao klasteri ako je riječ o lokalnoj mreži i koristi isti hardver ili mreže ako su zemljopisno raspoređeni i koriste različit hardver. MapReduce u osnovi sadrži funkciju Map () i funkciju Reduce (). Podržao ga je Google i svaki dan obrađuje mnoge petabajte podataka. Popularno ga je izradio Hadoop projekt otvorenog koda i koristi se na Yahoo-u, Facebooku i Amazonu za navođenje samo nekih.
2. Za što se tvrtka MapReduce koristi za tvrtke?
Odgovor:
Google
• Izrada indeksa za Google pretraživanje
Postupak konstrukcije pozicijskog ili nepozicioniranog indeksa naziva se izgradnja indeksa ili indeksiranje. Uloga MapReduce-a je Index Construction i dizajnirana je za velike računalne klastere. Namjena klastera je riješiti računske probleme za čvorove ili računala koja su izgrađena sa standardnim dijelovima, a ne superračunalo.
• Grupiranje članaka za Google News
Za grupiranje članaka stranice se najprije klasificiraju prema potrebi jesu li potrebne za grupiranje. Stranice sadrže puno informacija koje nisu potrebne za grupiranje. Zatim se članak dovodi u njegov vektorski oblik na temelju ključnih riječi i težine koja mu je dana. Zatim su grupirani pomoću algoritama.
• Statistički strojni prijevod
Prijevod dvojezičnih korpusa teksta analizom generira statističke modele koji prevode jedan jezik u drugi koristeći utege i svodi se na najvjerojatniji prijevod.
prostak
• "Web mapa" napaja Yahoo! traži
Slično kao grupiranje članaka za Google News, MapReduce koristi se za grupiranje rezultata pretraživanja na Yahoo! Platforma.
• Otkrivanje neželjene pošte za Yahoo! pošta
Facebook
• Data Mining
Nedavni trend eksplozije podataka rezultirao je potrebom sofisticiranih metoda za podjelu podataka u dijelove koji se mogu lako koristiti za sljedeći korak analize.
• d Optimiziranje
• Otkrivanje neželjene pošte
Prijeđite na sljedeća pitanja o intervjuu sa MapReduce.
3. Koji su ciljevi dizajna MapReduce
Odgovor:
• Prilagodljivost velikim količinama podataka
Budući da je MapReduce okvir koji ima za cilj raditi s paralelizacijskim podacima koristeći koncept čvorova koji su broj računala ili klastera ili rešetki, skalabilan je na n broj računalnih strojeva. Dakle, jedan od istaknutih dizajnerskih ciljeva MapReduce-a je da je skalabilan na 1000 strojeva i 10.000 diskova.
• Isplativost
Kako MapReduce radi s paralelizacijom podataka na čvorovima ili na broju računala, sljedeći su razlozi što ih isplati:
-Premajte robne strojeve umjesto superračunala. Iako jeftino, oni su nepouzdani.
- Mreža komiteta
-Za automatsku toleranciju grešaka, tj. Potrebno je manje administratora.
-Jednostavno je za upotrebu, odnosno zahtijeva manje programera.
4. Koji su izazovi MapReduce?
Odgovor:
Ovo su uobičajena pitanja MapReduce Intervju postavljena u intervjuu. Glavni izazovi MapReduce-a su sljedeći:
-Cheod čvorovi ne uspijevaju, pogotovo ako ih ima mnogo
Srednje vrijeme između kvarova za 1 čvor jednako je 3 godine. Srednje vrijeme između kvarova za 1000 čvorova jednako je 1 danu. Rješenje je izgraditi otpornost na greške u samom sustavu.
-Commodity mreža jednaka je ili podrazumijeva malu propusnost
Rješenje za malu propusnost je gurnuti račune u podatke.
-Programiranje distribuiranih sustava je teško
Rješenje za to je da prema modelu paralelnog programiranja podataka korisnici pišu funkcije "mapa" i "smanji". Sustav raspodjeljuje rad i rukuje kvarovima.
5. Kakav je programski model MapReduce?
Odgovor:
Programski model MapReduce zasnovan je na konceptu koji se naziva ključni zapisi. Također nudi paradigme za paralelnu obradu podataka. Za obradu podataka u MapReduceu i ulazni i izlazni podaci trebaju se preslikati u format više parova ključ-vrijednost. Pojedinični par ključ-vrijednost također se naziva i zapis. Programski model MapReduce sastoji se od funkcije Map () i funkcije Reduce. Model za njih je sljedeći.
Map () funkcija: (K in, V in) list (K inter, V inter)
Funkcija redukcije (): (K inter, popis (V inter)) lista (K izlaz, V izlaz)
Dio 2 - Pitanja o intervjuu MapReduce (napredno)
Pogledajmo sada napredna pitanja o intervjuu MapReduce.
6. Koji su detalji izvršenja MapReduce?
Odgovor:
U slučaju izvršenja MapReduce, jedan master kontrolira izvršenje posla na više robova. Preferira se postavljanje kartera na isti čvor ili isti stalak kao i njihov ulazni blok, kako bi se smanjilo korištenje mreže. Također, preslikači spremaju izlaze na lokalni disk prije nego što ih poslužuju reduktorima. To omogućava oporavak ako se reduktor redukuje i dopušta više reduktora nego čvorova.
7. Što je kombajn?
Odgovor:
Kombinator koji je također poznat kao polureduktor djeluje tako što prihvaća ulaze iz klase Map i prosljeđuje parove izlaznih ključeva i vrijednosti u razred reduktora. Glavna funkcija kombiniranog računala je sažeti izlazne zapise karte istim tipkom. Drugim riječima, kombinator je lokalna funkcija združivanja ponavljanih ključeva proizvedenih na istoj mapi. Djeluje za asocijativne funkcije poput SUM, COUNT i MAX. Umanjuje veličinu intermedijarnih podataka jer je to sažetak zbrajanja vrijednosti za sve ponavljajuće tipke.
Prijeđite na sljedeća pitanja o intervjuu sa MapReduce.
8.Zašto svinja? Zašto ne MapReduce?
Odgovor:
• MapReduce omogućava programeru da izvrši funkciju karte nakon čega slijedi funkcija redukcije, ali rad na tome kako ugraditi obradu podataka u ovaj obrazac, koji često zahtijeva više faza MapReduce, može biti izazov.
• Kod Svinje su strukture podataka mnogo bogatije, jer su višestruke i ugniježđene, a skup transformacija koje možete primijeniti na podatke mnogo je moćniji. Na primjer, uključuju pridruživanja koja nisu moguća u MapReduce.
• Također, Pig je jedan program koji transformaciju pretvara u niz MapReduce poslova.
9.MarReduce Kritika
Odgovor:
Jedna istaknuta kritika MapReducea je da je razvojni ciklus vrlo dug. Pisanje preslikača i reduktora, sastavljanje i pakiranje koda, podnošenje posla i preuzimanje rezultata zahtijeva mnogo vremena. Čak i uz streaming, koji uklanja korak sastavljanja i paketa, iskustvo ipak traje dugo.
Preporučeni članak
Ovo je vodič za Popis pitanja i odgovora za Intervju MapReduce kako bi kandidat mogao lako razbiti ova pitanja MapReduce za intervju. Možete pogledati i sljedeće članke da biste saznali više -
- Važna pitanja o intervjuu za analizu podataka
- 10 pitanja o najboljem dizajnerskom modelu za intervju
- Elasticsearch pitanja za intervju
- Najkorisnija Ruby Intervju pitanja
- Kako radi MapReduce