Što je funkcija košnice?
Kao što znamo danas, Hadoop je jedna od svestranih tehnologija u velikim podacima. Hadoop se može nositi s velikim podacima, ali kako je rast podataka proporcionalan, pisanje programa za smanjenje karte postaje teško. Za obavljanje SQL upita, prisutnih u HDFS-u, jednu takvu tehnologiju uveo je Hadoop pod nazivom apache Hive koju je započeo Facebook. Kućište visoko koristi analitičar podataka. Raspoređeni su za tri funkcionalnosti, a to su: Sažetak podataka, analiza podataka o distribuiranoj datoteci i upit podataka. Hive pruža SQL poput upita zvanih HQL - visoki jezik upita podržava DML, korisnički definirane funkcije. Kompajler Hive interno pretvara ovaj upit u zadatke za smanjenje karte što pojednostavljuje rad Hadoopa u pisanju složenih programa. Mogli bismo pronaći košnicu u primjeni poput skladištenja podataka, vizualizacije podataka i ad-hoc analize, google analytics. Ključna prednost je što koriste SQL znanje, što je osnovna vještina koja se provodi kod znanstvenika i softverskih stručnjaka.
Različite funkcije košnica u detaljima
Hive podržava različite vrste podataka koje ne nalazimo u drugim sustavima baza podataka. to uključuje mapu, niz i strukturu. Košnica ima ugrađene funkcije za obavljanje nekoliko matematičkih i aritmetičkih funkcija posebne namjene. Funkcije u košnici mogu se razvrstati u sljedeće vrste. Ugrađene su funkcije i korisnički definirane funkcije.
A) Ugrađene funkcije
Ove funkcije izvlače podatke iz tablica košnica i obrađuju proračune. Neke od ugrađenih funkcija su:
1. Matematičke / numeričke funkcije
Ove se funkcije uglavnom koriste za matematičke proračune. Ove se funkcije koriste u SQL upitima.
| Naziv funkcije | Primjer | Opis |
| ABS (dvostruko x) | Košnica> odaberite ABS (-200) od tmp; | Vratit će apsolutnu vrijednost broja. |
| CEIL (dvostruko x) | Košnica> odaberite CEIL (8.5) od tmp; | Donijet će najmanji cijeli broj veći ili jednak vrijednosti x. |
| Rand (), rand (int sjeme) | Košnica> odaberite Rand () od tmp;
Rand (0-9) | Vraća nasumični broj, ovisi o vrijednosti sjemena i slučajni bi generirani brojevi bili deterministički. |
| Pow (dvostruko x, dvostruko y) | Osip> odaberite Pow (5, 2) od tmp; | Vraća x vrijednost podignutu na y vrijednost. |
| KAT (dvostruko y) | Košnica> odaberite POD (11.8) od tmp; | Vraća maksimalni cijeli broj manji ili jednak da bi dao vrijednost y. |
| EXP (dvostruko a) | Košnica> odaberite Exp (30) od tmp; | Vratit će vrijednost eksponenta 30. prirodne vrijednosti algoritma. |
| PMOD (int a, int b) | Košnica> odaberite PMOD (2, 4) od tmp; | Daje pozitivan modul broja. |
2. Funkcije kolekcije
Izbacivanje svih elemenata zajedno i vraćanje pojedinih elemenata ovisi o uključenoj vrsti podataka.
| Naziv funkcije | Primjer | Opis |
| Map_values (karta) | Košnica> odaberite vrijednosti karte ('hi', 45) | Dohvaća neuređene elemente niza. |
| Veličina (karta) | Košnica> odaberite veličinu (karta) | Vraća broj elemenata na karti vrste podataka. |
| Array_contains ( Niz b) | Košnica> odaberite array_contains (a (10)) | Vraća TRUE ako niz sadrži vrijednost. |
| Sort_array ( Niz a) | Košnica> odaberite sort_array ((10, 3, 6, 1, 7)) | Poredani ulazni niz sortira uzlaznim redoslijedom prema prirodnom redoslijedu elemenata polja i vraća vrijednost. |
3. Gudačke funkcije
Korištenjem string funkcija se analiza podataka izvodi izvrsno.
| Podijeli (niz s, presvlačenje niza) | Košnica> odaberite split ('educba ~ košnica ~ Hadoop, ' ~ ') izlaz: ("educba", "košnica", "Hadoop") | Ona dijeli niz oko pat izraza i vraća niz. |
| opterećenje (string s, int Len, jastučić za nizove) | Osip> odaberite opterećenje ('EDUCBA', 6, 'H') | Vraća žice s desnim paddingom s duljinom niza. (znak znaka). |
| Duljina (string str) | Košnica> odaberite duljinu ('educba') | Ova funkcija vraća dužinu niza. |
| Rtrim (niz a) | Košnica> odaberite rtrim ('TOPIC');
Izlaz: 'Tema' | Rezultat vraća obrezivanjem razmaka s desnih krajeva. |
| Concat (niz m, niz n) | Osip> odaberite concat ('podaci', 'ware') Rezultat: Dataware | Rezultat je u nizu spajanjem dva niza, ovo može potrajati bilo koji broj ulaza. |
| Obrnuti (nizovi) | Košnica> odaberite preokret ('mobilni') | Vraća rezultat obrnutog niza. |
4. Funkcija datuma
Potrebno je imati oblik podataka u košnici kako bi se spriječila Null error u izlazu. Potrebno je imati kompatibilnost datuma da biste pristupili košnicama uvedenim funkcijama datuma.
| Unix_timestamp (datum niza, niz niza) | Košnica> odaberite vremensku oznaku Unix_ ('2019-06-08', 'gggg-mm-dd'); Rezultat: 124576 400 trajanje vremena: 0, 146 sekundi | Ova funkcija vraća datum u određeni format i vraća sekunde između datuma i Unix vremena. |
| Unix_timestamp (datum niza) | Košnica> odaberite vremensku oznaku Unix_ ('2019-06-08 09:20:10', 'gggg-mm-dd'); | Vraća datum u 'gggg-MM-dd HH: mm: ss' formatu u vremensku oznaku Unix. |
| Sat (datum niza) | Košnica> odaberite sat ('2019-06-08 09:20:10'); rezultat: 09 sati | Vraća sat vremena |
5. Uvjetne funkcije
| Ako je (Boolov test, vrijednost T točno, t netočno) | Osip> odaberite IF (1 = 1, 'TRUE', 'FALSE') kao IF_CONDITION_TEST; | Provjerava sa uvjetom da li je vrijednost true vraća 1, a false false 0. |
| Nije nula (b) | Košnica> Odabir nije nula (null); | To dohvaća nevaljane izjave. ako null vraća false. |
| Coalesce (vrijednost1, vrijednost2) | Primjer: košnica> odaberite koalesce (Null, null, 4, null, 6). vraća se 4. | Donosi najprije nulte vrijednosti s popisa vrijednosti. |
B) Korisnički definirana funkcija (UDF)
Košnica koristi korisničke funkcije u skladu sa zahtjevima klijenta, a to je zapisano u java programiranju. Provodi ga dva sučelja, naime jednostavan API i složen API. Oni se pozivaju na upit košnice. Tri vrste UDF-a:
1. Redoviti UDF
Radi na stolu s jednim redom. Stvara se stvaranjem klase java, zatim ih pakira u .jar datoteku, sljedeći korak je provjera s košnicom. a zatim ih na kraju izvrši u pitanju košnice.
2. Funkcija agregata koju definira korisnik
Oni koriste agregatne funkcije poput avg / mean primjenom pet metoda init (), iterate (), djelomični (), merge (), terminate ().
3. Tablica koju definira korisnik
Djeluje s jednim redom u tablici i rezultira u više redaka.
Zaključak
Zaključno smo naučili kako u ovom članku detaljno raditi na platformi košnica s ugrađenim funkcijama i korisnički definiranim funkcijama. Većina organizacija ima programera i SQL programera za rad na strani poslužitelja, ali apache košnica je moćan alat koji im pomaže da koriste Hadoop okvir bez prethodnog znanja o programima i smanjivanje karata. Hive pomaže novim korisnicima da započnu i istražuju analizu podataka bez ikakvih prepreka.
Preporučeni članci
Ovo je vodič o funkciji košnice. Ovdje smo raspravljali o konceptu, dvije različite vrste funkcija i podfunkcijama u košnici. Možete i proći naše druge predložene članke da biste saznali više -
- Funkcije gornjih nizova u košnici
- Pitanja za intervju košnice
- Što je RMAN Oracle?
- Što je model vodopada?
- Uvod u arhitekturu košnica
- Naruči košnicu
