Uvod u pitanja i odgovore u Apache PIG intervjuu
Dakle, konačno ste našli posao iz snova u Apache PIG-u, ali pitamo se kako provaliti intervju s Apache PIG za 2019. godinu i koja bi mogla biti vjerojatna pitanja o intervjuu za Apache PIG. Svaki razgovor s Apache PIG je različit, a i opseg posla je različit. Imajući to na umu, osmislili smo najčešća pitanja i odgovore za razgovor s Apache PIG-om kako bismo vam pomogli da postignete uspjeh u svom intervjuu s Apache PIG-om.
Slijedi popis pitanja o Apache PIG-u za 2019. koja se postavljaju uglavnom postavljena pitanja
1. Koje su ključne razlike između MapReduce i Apache Pig-a?
Odgovor:
Ovo su ključne razlike između Apache Pig-a i MapReduce-a zbog kojih je Apache Pig ušao u sliku:
• MapReduce je model za obradu podataka na niskoj razini dok je Apache Pig platforma protoka podataka na visokoj razini
• Bez pisanja složenih Java implementacija u MapReduce, programeri mogu lako postići iste implementacije koristeći Pig Latin.
• Apache Pig pruža ugniježđene vrste podataka kao što su vrećice, ručke i karte jer nedostaju iz MapReducea.
• Svinja podržava podatkovne operacije poput filtera, spajanja, naručivanja, sortiranja itd. S mnogim ugrađenim operaterima. Dok je izvršavanje iste funkcije u MapReduce neizmjeran zadatak.
2. Objasnite uporabu MapReduce u Svinji.
Odgovor:
Programi Apache Pig su napisani na jeziku upita poznatom kao Pig Latin koji je sličan jeziku SQL upita. Za izvršavanje upita potreban je motor izvršenja. A Pig motor pretvara upite u zadatke MapReduce i tako MapReduce djeluje kao pokretač i potreban je za pokretanje programa.
3. Objasnite uporabu Svinje.
Odgovor:
Svinju možemo koristiti u tri kategorije, to su:
• ETL cjevovod podataka: Pomaže u namirenju našeg skladišta podataka. Svinja može slati podatke u vanjsku aplikaciju, čekat će dok se ne završi tako da primi obrađene podatke i nastaviti odatle. Najčešći je slučaj svinje.
• Istraživanje neobrađenih podataka.
• Iterativna obrada.
4. Usporedite Apache Pig i SQL.
Odgovor:
• Apache Pig razlikuje se od SQL-a po svojoj upotrebi za ETL, lijenom procjenom, pohranjivanju podataka u bilo kojem trenutku u cjevovodu, podršci za cijepanje cjevovoda i eksplicitnoj deklaraciji planova izvršenja. SQL (strukturalni jezik upita) orijentiran je oko upita koji daju jedan rezultat. SQL nema ugrađeni mehanizam za dijeljenje toka za obradu podataka i primjenu različitih operatora na svaki podtok.
• Apache Pig omogućava uvrštavanje korisničkog koda u bilo kojem trenutku u cjevovod, dok ako SQL, gdje se koriste podaci, prvo treba uvesti u bazu podataka, a zatim započinje proces čišćenja i transformacije.
5. Objasnite različite složene vrste podataka u Svinji.
Odgovor:
Apache Pig podržava tri složene vrste podataka,
• Karte - To su ključne, prodavaonice vrijednosti spojene pomoću #.
Primjer: ('city' # 'pune', 'pin' # 411045) • Tuples - Baš sličan retku u tablici, gdje su različite stavke odvojene zarezom. Tupolovi mogu imati više atributa.
• Torbe - neuređena zbirka tupola. Torba dopušta više duplikata.
Primjer: (('Mumbai', 022), ('New Delhi', 011), ('Kolkata', 44))
6. Objasnite različite modele izvršenja dostupne u Svinjama.
Odgovor:
Tri različita načina izvođenja dostupna su u Svinji,
• Interaktivni ili Grunt način rada.
Interaktivni način rada ili način grunt: Interaktivna ljuska svinje poznata je i kao grut školjka. Ako u Pig-u nije navedena nijedna datoteka, pokrenut će se.
• Batch način rada ili Script.
Svinja izvršava određene naredbe u datoteci skripte.
• Ugrađeni način rada
Pig programe možemo ugraditi u Javu, a programe možemo izvoditi i iz Jave.
7. Objasnite planove izvršenja (Logički i fizički plan) Svinjskog pisma
Odgovor:
Logički i fizički planovi stvaraju se tijekom izvršavanja skripte svinja. Skripte za svinje temelje se na provjeri tumača. Logički plan izrađen je semantičkim provjerom i osnovnim raščlanjivanjem i tijekom stvaranja logičkog plana ne vrši se obrada podataka. Za svaki redak u Pig skripti provodi se provjera sintakse za operatere i stvara se logički plan. Kad god se unutar skripte nađe pogreška, baca se iznimka i izvršavanje programa se završava, a inače za svaku izjavu skripte ima svoj logični plan.
Logični plan sadrži zbirku operatora u skripti, ali ne sadrži rubove između operatora.
Nakon što je generiran logički plan, izvršavanje skripte prelazi na fizički plan gdje postoji opis fizičkih operatera, Apache Pig će koristiti za izvršavanje skripte Pig. Fizički plan je više ili manje sličan nizu poslova MapReduce, ali tada plan nema nikakvu referencu o tome kako će se izvršiti u MapReduce. Tijekom stvaranja fizičkog plana, logički operator kogrupe pretvara se u 3 fizička operatera, naime - lokalno preuređivanje, globalno preuređivanje i paket. Funkcije učitavanja i spremanja obično se rješavaju u fizičkom planu.
8. Koji se alati za uklanjanje pogrešaka koriste za skripte Apache Pig?
Odgovor:
Opišite i objasnite važne alate za uklanjanje pogrešaka u Apache Pig-u.
• Program za objašnjenje koristan je za Hadoop programere pri pokušaju uklanjanja pogrešaka ili optimizacije PigLatin skripti. objašnjenje može se primijeniti na određeni alias u skripti ili se može primijeniti na čitavu skriptu u grunt interaktivnoj ljusci. uslužni program objasniti proizvodi nekoliko grafova u tekstualnom obliku koji se mogu ispisati u datoteku.
• Opišite uslužni program za uklanjanje pogrešaka koristan je programerima prilikom pisanja Pig skripti jer prikazuje shemu odnosa u skripti. Za početnike koji pokušavaju naučiti Apache Svinje se može služiti opisom kako bi razumjeli na koji način svaki operator mijenja izmjene podataka. Skripta svinja može imati više opisa.
9. Koje biste neke od slučajeva upotrebe svinje Apache Pig smatrali?
Odgovor:
• Apache Pig alat za velike podatke koristi se posebno za iterativnu obradu, istraživanje sirovih podataka i za tradicionalne ETL cjevovode podataka. Budući da Svinja može raditi u okolnostima kad shema nije poznata, nedosljedna ili nepotpuna - široko je koristi istraživačima koji žele iskoristiti podatke prije čišćenja i učitavanja u skladište podataka.
• Na primjer, za izgradnju modela predviđanja ponašanja, web stranica se može koristiti za praćenje reakcija posjetitelja na razne vrste oglasa, slika, članaka itd.
10. Označite razliku između grupa i operatora Cogroup-a u Svinji.
Odgovor:
Oba operatora mogu raditi s jednim ili više odnosa. Operatori grupe i Cogroup identični su. Operator grupe prikuplja sve zapise istim ključem. Cogroup je kombinacija grupe i pridruživanja, to je generalizacija grupe, umjesto prikupljanja zapisa jednog ulaza ovisi o ključu, on prikuplja zapise n ulaza na temelju ključa. U jednom trenutku možemo grupirati do 127 odnosa.
Preporučeni članci
Ovo je vodič za Popis pitanja i odgovora za AIG PIG Intervju kako bi kandidat mogao lako razbiti ova pitanja u vezi s Apache PIG intervjuom. Ovaj se članak sastoji od svih korisnih pitanja i odgovora Apache PIG Interview koji će vam pomoći u intervjuu. Možete pogledati i sljedeće članke da biste saznali više -
- Apache Pig vs Apache košnica
- Top 10 teških pitanja o intervjuu
- 8 učinkovitih koraka za pripremu internog intervjua
- Važni savjeti za preživljavanje intervjua na ploči (korisno)