Karijera u Hadoopu - uvod
Hadoop nije puki okvir u svijetu velikih podataka. Ima širok ekosustav s kišobranom srodnih tehnologija. Iz istog razloga karijera u Hadoopu je obećavajuća. Ako dobro razumijete Hadoop osnove, to će biti temelj za veliku karijeru u Hadoopu.
Obrazovanje do karijere u Hadoopu
Kao i mnoge nove podatkovne tehnologije, Hadoop ne zahtijeva nikakvu specifičnu obrazovnu podlogu. Otprilike polovina programera Hadoopa potječe iz ne-informatičkih nauka poput statistike ili fizike. Dakle, jasno je da pozadina ne ometa ulazak u svijet Hadoopa, pod uvjetom da ste spremni naučiti osnove. Postoje dobri internetski tečajevi za Hadoop - onaj od eduCBA je najbolji primjer - master-apache-Hadoop
Nadalje, ako želite krenuti dublje u određeno područje Hadoop upravljanja klasterima ili modeliranja podataka u materijalima Hive o svakoj određenoj temi dostupnim kao internetski tečajevi i udžbenici. Većinu vremena Hadoop klasteri bit će postavljeni u dobavljaču oblaka poput AWS ili Azure. Upoznavanje s bilo kojim dobavljačem oblaka po vašem izboru puno će vam pomoći. Hadoop usluga iz AWS-a naziva se EMR.
Popularna specijalizacija uključuje:
- Spark - skalabilni mehanizam za obradu podataka u memoriji
- HBase - Nema SQL baze podataka na vrhu HDFS
- Zraka - strujanje podataka prvog pristupa
- Svinja - skripti za transformaciju podataka (ETL)
- Košnica - Skladištenje podataka
- Mahout, Spark MLlib - Skalabilno strojno učenje na Hadoopu
- Apache bušilica - SQL motor na Hadoopu
- Flume, Sqoop - Usluge gutanja podataka
- Solr & Lucene - Pretraživanje i indeksiranje
Karijera u Hadoopu
Prema rezultatima Ankete o prelijevanju stokova 2017., Hadoop je vodeći u najpopularnijem i najomiljenijem okviru u prostoru s velikim podacima (Survey Link). To je moguće samo zato što su ljudi iz različitih IT perspektiva našli Hadoop potencijalni put u karijeri i žele se prebaciti.
Bez obzira na vašu trenutnu ulogu IT uloga, u karijeri u svijetu Hadoop lako će se prilagoditi karijeri. Neki popularni primjeri -
- Softverski programer (programer) -> Hadoop Data Developer koji se bavi različitim SDK-ovima Hadoop apstrakcije i dobiva vrijednost iz podataka.
- Analitičar podataka -> Znači, vi ste stručnjaci u SQL.Odlične mogućnosti u Hadoopu za rad na SQL motorima poput Hive ili Impala
- Business Analyst -> Organizacije koje pokušavaju postati profitabilnije koristeći masovno prikupljene podatke, a uloga je poslovnog analitičara u tome presudna.
- ETL Developer -> Ako radite kao tradicionalni programer ETL-a, lako se prebacite na Hadoop ETL koristeći alate poput Spark.
- Testeri -> U svijetu Hadoop postoji velika potražnja za testerima. Razumijevanjem osnova Hadoopa i profiliranja podataka bilo koji ispitivač može se prebaciti na tu ulogu.
- BI / DW profesije -> Lako se prebacuje na Hadoop Arhitektura podataka na Modeliranje podataka.
- Stariji IT stručnjaci -> Uz duboko razumijevanje domene i postojećih izazova u svijetu podataka, stariji profesionalac može postati konzultant stječući znanje o tome kako Hadoop pokušava riješiti te izazove.
- Postoje generičke uloge poput Data Engineers ili Big Data Engineering koji su odgovorni za implementaciju rješenja većinom od dobavljača Clouda. Stjecanjem znanja o komponentama podataka oblaka koje će pružati ovo će biti obećavajuća uloga.
Poslovi
Hadoop ekosustav nudi različite mogućnosti karijere
- MapReduce Developer - Ovo je uloga Java programera koja ujedno razumije kako Hadoop sustavi interno djeluju. Dostupne su apstrakcije poput košnica ili Svinja, a za sve sustave visokih performansi potrebni su zadaci MapReduce. MapReduce programeri su oni koji razumiju sustav ulazaka i izlaza i plaćaju ga vrlo visoko.
- Hadoop administratori - ovo su ljudi koji su odgovorni za održavanje i održavanje Hadoop klastera zdravim i uspješnim. To može uključivati tipične administracijske zadatke poput redovitih zdravstvenih provjera sustava, ali većinu zadataka potrebnih za razumijevanje Hadoop arhitekture sustava.
- Devops - implementirati nove komponente sustava i ostale promjene povezane s razvojem u Hadoop clusteru. Odgovornost ove uloge se uvelike razlikuje i ovisi o kulturi organizacije.
- Data Developer - Obrada podataka na vrhu Hadoopa. Ova jedna od najpopularnijih uloga u Hadoop ekosustavu. Za ove uloge najbolje se uklapaju ljudi iz SQL ili analitičke pozadine. Uglavnom rade na apstrakciji Hadoopa na visokoj razini poput košnice ili svinje.
- Administrator sigurnosti podataka - Podaci su najvrjednija imovina i njihovo osiguranje je najvažnije. Sigurnosni administratori osiguravaju standardne industrijske politike i najbolju praksu za zaštitu podataka, uz razumijevanje ograničenja sustava
- Vizualizator podataka - rukujte alatima za vizualizaciju sljedeće generacije koji omogućuju dinamično rezanje i združivanje podataka pomoću predmemoriranja podataka u memoriji
- ETL Developer - Pretvorite podatke za poboljšanje kvalitete podataka ili prema poslovnoj logici koristeći Hadoop alate ekosustava. ETL postupak može biti strujan ili skupan.
- System Architect - Dizajnirajte visoko učinkovite sustave koji uzimaju u obzir dostupnost i trajnost podataka na ekonomičan način. U velikoj mjeri ovisi o davatelju hardvera.
- Data Architect - Osim tradicionalnog logičkog / fizičkog dizajna podataka, za arhitekturu podataka odgovorne su i mnoge stvari kao što su kodiranje stupaca, denormalizacija, dizajn particija itd.
Preporučeni tečajevi
- Online XML i Java obuka
- Node.JS Tečajevi
- Silverlight tečaj za obuku
- Ember.JS program
Plaća
Prosječna plaća softverskog programera u SAD-u iznosi 90 956 dolara godišnje, dok je prosječna plaća programera Hadoop znatno viša - 118, 234 dolara godišnje (Kao što je to, doista, stranica.com)
Plaće programera Hadoopa u vodećim američkim tvrtkama (Ref: zaista.com)
| Jabuka | 147, 573 dolara godišnje |
| Wipro | 110.553 dolara godišnje |
| HERO.jobs | 158, 715 USD godišnje |
| MBCAA | 133.422 dolara godišnje |
| Ventures Unlimited Inc | 130.000 dolara godišnje |
| Nityo Infotech Services Pvt. Ltd. | 128, 633 USD godišnje |
| SJEVERNA ZVIJEZDA | 126.370 USD godišnje |
| PRI tehnologija | 121, 396 dolara godišnje |
| NITYO INFOTECH | 116 909 USD godišnje |
| HortonWorks, Inc | 110.710 USD godišnje |
Karijera izgled
Hadoop ekosustav mnogo se razilazi kako bi zadovoljio promjene u poslovnim potrebama. Kako se generirani podaci eksponencijalno povećavaju i sve više organizacija postaje vođeno podacima, relevantnost sustava Hadoop tek će se povećavati.
Neki od zapaženih trendova:
- Prijelaz s serijske obrade na tok prvog pristupa obradi podataka pomoću Spark and Beam
- Više modela strojnog učenja u stvarnom vremenu primijenjeno na podatke u stvarnom vremenu pomoću Spark ML
- Sklopljeni SQL motori od pohrane podataka poput Prestoa na vrhu S3 radi ad-hoc analize na vrhu jezera podataka.
- Stupni MPP baze podataka poput AWS Redshift za brzi pristup podacima
Budući da je Hadoop dobro implementiran od strane Hadoopa, Hadoop će kao vodeći ekosustav za obradu podataka i dalje biti vodeći ekosustav za obradu podataka.
Preporučeni članak
Ovo je vodič za karijeru u Hadoopu. Ovdje smo razgovarali o uvodu, obrazovanju, karijernom putu u Hadoopu, platama i izgledima karijere u Hadoopu. Možete pogledati i sljedeći članak da biste saznali više -
- Azure Paas vs Iaas i njihove korisne koristi
- Otkrijte razlike između Java i čvora JS
- Najbolji stručni savjeti o karijeri u mainframeu
- Karijere u SQL-u
- Korisne karijere kao softverski inženjer
- Hadoop administrator | Put vještina i karijere