Uvod u košnice

Naredba Hive je alat za infrastrukturu skladišta podataka koji sjedi na vrhu Hadoop-a kako bi sažeo velike podatke. Obrađuje strukturirane podatke. Olakšava ispitivanje i analizu podataka. Naredba košnice se također naziva "shema za čitanje". Košnica ne provjerava podatke kada je učitana, verifikacija se događa samo kad je poslan upit. Ovo svojstvo košnice ubrzava početno punjenje. To je poput kopiranja ili jednostavno premještanja datoteke bez stavljanja ograničenja ili provjere. Košnicu je prvi razvio Facebook. Apache Software Foundation preuzela ga je kasnije i dalje razvijala.

Ovdje su komponente naredbe Hive:

Slika 1. Komponente košnice

https://www.developer.com/

Evo sljedećih značajki naredbe košnice:

  1. Trgovine košnica su sirovi i obrađeni skup podataka u Hadoopu.
  2. Dizajniran je za onLine obradu transakcija (OLTP). OLTP su sustavi koji omogućuju velike količine podataka u vrlo kraćem vremenu bez oslanjanja na pojedinačni poslužitelj.
  3. To je brz, skalabilan i pouzdan.
  4. Ovdje postavljeni jezik upita za SQL zove se HiveQL ili HQL. To olakšava zadaće ETL-a i druge analize.

Slika 2. Svojstva košnice

Slike izvora: - Google

Postoji i nekoliko ograničenja naredbe Hive koja su navedena u nastavku:

  1. Košnica ne podržava podupite.
  2. Košnica zasigurno podržava prepisivanje, ali nažalost, ne podržava brisanje i ažuriranja.
  3. Košnica nije dizajnirana za OLTP, ali koristi se za to.

Za ulazak u interaktivni oklop košnice:

$ HIVE_HOME / bin / košnica

Osnovne naredbe košnica

  1. Stvoriti

Tako će se stvoriti nova baza podataka u Hiveu.

  1. Pad

Kapi će ukloniti stol iz košnice

  1. Alter

Naredba Alter pomoći će vam u preimenovanju tablice ili stupaca tablice.

Na primjer:

košnica> ALTER TABELA RENAME DO zaposlenika1;

  1. Pokazati

Naredba Show pokazat će sve baze podataka koje borave u košnici.

  1. Opisati

Naredba Opisi pomoći će vam u vezi s podacima o shemi tablice.

Posredničke naredbe košnica

Košnica dijeli tablicu na različito povezane particije na temelju stupaca. Korištenjem ovih particija postaje lakše upiti podatke. Ove se particije dalje dijele u kante radi učinkovitog vođenja upita na podacima.

Drugim riječima, kante distribuiraju podatke u skup klastera izračunavanjem hash koda ključa navedenog u upitu.

  1. Dodavanje particije

Dodavanje particije može se postići izmjenom tablice. Recite da imate tablicu "EMP" s poljima kao što su Id, Ime, Plaća, Odjel, Oznaka i yoj.

košnica> ALTER TABELA zaposlenik

> DODAJ DIO (godina = '2012')

lokacija '/ 2012 / dio2012';

  1. Preimenovanje particije

košnica> ALTER TABELNI DIO RAZREDA (godina = '1203')

OBNAVLJAJTE NA DIJELE (Yoj = '1203');

  1. Ispusti particiju

košnica> ALTER TABELA DROP (AKO POSTOJI)

> DIO (godina = '1203');

  1. Relacijski operatori

Relativni operatori sastoje se od određenog skupa operatora koji pomaže u pronalaženju relevantnih informacija.

Na primjer: Recite kako tablica "EMP" izgleda ovako:

Izvršimo upit Hive koji će nam donijeti zaposlenika čija je plaća veća od 30000.

košnica> ODABIR * IZ EMP GDJE Plata> = 40000;

  1. Aritmetički operatori

To su operateri koji pomažu u izvođenju aritmetičkih operacija na operandima, a zauzvrat, uvijek vraćaju brojeve.

Na primjer: Da biste dodali dva broja kao što su 22 i 33

košnica> ODABIR 22 + 33 DODAJ IZ temp;

  1. Logički operator

Ovi operateri moraju izvršiti logičke operacije, koje zauzvrat uvijek vraćaju True / False.

košnica> ODABIR * IZ EMP GDJE Plaća> 40000 && Dept = TP;

Napredne naredbe košnica

  1. Pogled

Koncept pogleda u Hiveu je sličan kao u SQL-u. Prikaz se može stvoriti u vrijeme izvršenja stavka SELECT.

Primjer:

košnica> STVARI POGLED EMP_30000 AS

ODABIR * IZ EMP

GDJE plaća> 30000;

  1. Učitavanje podataka u tablicu

Košnica> Učitajte podatke lokalnog puta '/home/hduser/Desktop/AllStates.csv' u države tablice;

Ovdje je "Država" već stvorena tablica u košnici.

https://www.tutorialspoint.com/hive/

Osip ima ugrađene funkcije koje vam pomažu u boljem pronalaženju rezultata.

Kao okrugli, podni, BIGINT itd.

  1. Pridružiti

Klauzula pridruživanja može vam pomoći u spajanju dvije tablice na temelju istog naziva stupca.

Primjer:

košnica> ODABIR c.ID, c.NAME, c.AGE, o.AMOUNT

OD KUPCA c PRIDRUŽITE SE NARUDŽBAMA o

ON (c.ID = o.CUSTOMER_ID);

Košnica podržava sve vrste spajanja: lijevo vanjsko spajanje, desno vanjsko spajanje, potpuno vanjsko spajanje.

Savjeti i trikovi za korištenje naredbi košnica

Hive čini obradu podataka jednostavnom, jednostavnom i proširivom, tako da korisnik manje pažnje posvećuje optimizaciji upita Hive. No, obratiti pozornost na nekoliko stvari tijekom pisanja upita Hive, zasigurno će donijeti veliki uspjeh u upravljanju radnim opterećenjem i uštedom novca. Ispod je nekoliko savjeta o tome:

  1. Particije i kante: košnica je alat s velikim podacima koji može postavljati podatke na velikim skupovima podataka. Međutim, pisanje upita bez razumijevanja domene može donijeti velike particije u Hiveu.

Ako je korisnik svjestan skupa podataka, tada se relevantni i visoko korišteni stupci mogu grupirati u istu particiju. To će vam pomoći u bržem i neučinkovitom izvođenju upita.

U konačnici ne. rad kartera i I / O operacije također će se smanjiti.

Slika 3. Podjela

Slike izvora: Google slika

Slika 4 Kaširanje

Slike izvora: - Google slika

  1. Paralelno izvršavanje: košnica izvršava upit u više faza. U nekim slučajevima ove faze mogu ovisiti o drugim fazama, stoga se ne može započeti, nakon što je završena prethodna faza. Međutim, neovisni zadaci mogu se izvoditi paralelno radi uštede ukupnog vremena trčanja. Da biste omogućili paralelno trčanje u košnici:

postavi hive.exec.parallel = true;

Dakle, ovo će poboljšati upotrebu klastera.

  1. Blokiranje uzorkovanja: Uzorkovanje podataka iz tablice omogućit će istraživanje upita na podacima.

Uprkos skupljanju podataka, radije želimo uzorkovati skup podataka nasumično. Blokovsko uzorkovanje dolazi s različitim moćnim sintaksama, koje pomažu u uzorkovanju podataka na različite načine.

Uzorkovanje se može koristiti za pronalaženje ca. informacije iz skupa podataka poput prosječne udaljenosti između podrijetla i odredišta.

Upit 1% velikih podataka pružit će savršen odgovor. Istraživanje postaje lakše i učinkovitije.

Zaključak - Naredbe košnice

Hive je apstrakcija više razine na vrhu HDFS, koja omogućuje fleksibilan jezik upita. Pomaže u upitu i obradi podataka na lakši način.

Osip se može spojiti s drugim elementima velikih podataka kako bi se u potpunosti iskoristila njegova funkcionalnost.

Preporučeni članci

Ovo je bio vodič za naredbe košnica. Ovdje smo razgovarali o osnovnim, kao i naprednim zapovjedima košnica i nekim neposrednim naredbama košnica. Možete pogledati i sljedeći članak da biste saznali više -

  1. Pitanja za intervju košnice
  2. Panjev VS Hue - Top 6 korisnih usporedbi
  3. Tableau naredbe
  4. Naredbe Adobe Photoshop
  5. Korištenje ORDER BY funkcije u košnici
  6. Preuzmite i instalirajte košnicu korak po korak

Kategorija:

Veliki podaci