Uvod u Sqoop naredbe

U naredbama Sqoop svaki se redak tretira kao zapisa, a zadaci se pomoću zadatka karte interno dijele na podvrste. Baze podataka koje podržava sqoop su MYSQL, Oracle, IBM, PostgreSQL. Sqoop pruža jednostavnu naredbenu liniju, možemo preuzeti podatke iz različitih baza podataka putem sqoop naredbi. Napisani su na Javi i koristi JDBC za povezivanje s drugim bazama podataka.

Zalaže se za 'SQL to Hadoop' i Hadoop to SQL te alat s otvorenim kodom. To je aplikacijski alat za povezivanje koji prenosi skupne podatke između sustava relacijske baze podataka i Hadoopa (košnica, smanjenje mapa, Mahout, svinja, HBase). Omogućuju korisnicima da odrede ciljano mjesto unutar Hadoopa i naprave sqoop za premještanje podataka iz RDMS-a u ciljano. Omogućuju optimizirane MySQL konektore koji koriste API specifičan za bazu podataka kako bi u potpunosti obavili skupni prijenos. Korisnik uvozi podatke iz vanjskih izvora poput Hive ili Hbase. Skype ima dva formata datoteka: ograničeni format tekstualne datoteke i format datoteke s redoslijedom.

Evo osnovnih naredbi Sqoop naredbi:

  1. Popisna tablica:

Ova naredba navodi određenu tablicu baze podataka na MYSQL poslužitelju.

Primjer:

  1. Ciljni imenik:

Ova naredba uvozi tablicu u određenom direktoriju u HDFS-u. -m označava argument mapiranja. Imaju cjelobrojnu vrijednost.

Primjer:

  1. Zaštita lozinkom:

Primjer:

  1. sqoop-eval:

Ova naredba brzo pokreće SQL upite odgovarajuće baze podataka.

Primjer:

  1. sqoop - verzija:

Ova naredba prikazuje verziju sqoop-a.

Primjer:

  1. sqoop-posao

Ova naredba omogućava nam stvaranje posla, parametri koji se stvaraju mogu se pozvati u bilo kojem trenutku. Oni uzimaju opcije poput (– stvoriti, –ponoviti, –pokazati, –izložiti).

Primjer:

  1. Učitavanje CSV datoteke u SQL:

Primjer:

  1. Priključak:

Primjer:

  1. kodni gen:

Ova naredba Sqoop stvara datoteke klase java koje kapsuliraju uvezene zapise. Sve java datoteke ponovo su stvorene i generirane su nove verzije klase. Oni generiraju kôd za interakciju s zapisima baze podataka. Dohvaća popis svih stupaca i njihovih vrsta podataka.

Primjer:

10.List-baze:

Ovaj popis naredbi Sqoop ima svu dostupnu bazu podataka na RDBMS poslužitelju.

primjer:

Menadžment naredbi Sqoop naredbi:

1.sqoop -meta trgovina:

Ova naredba sadrži zajedničko spremište metapodataka. Višestruki / udaljeni korisnici mogu pokrenuti nekoliko poslova.

naredba:

$ sqoop .metastore.client.autoconnect.url

primjer: jdbc: hsqldb: hsql: // metastore .example.com / sqoop

2. skor-pomoć:

Ova naredba navodi alate dostupne u sqoopu i njihovu svrhu.

naredba:

$ sqoop pomoć

$ bin / sqoop pomažu uvoz

3. Izvoz:

Ova naredba izvozi podatke s HDFS-a u RDMS bazu podataka. Podaci u HDFS-u pohranjuju se kao zapisi.

naredba:

$ sqoop izvoz \ –povezati jdbc: mysql: // localhost / inventar - korisničko ime jony –table lib –export -dir / user / jony / inventar.

4. Umetnite:

Ova naredba umeće novi zapis iz HDFS u RDBMS tablicu.

naredba

$ sqoop izvoz –povezite JDBC: MySQL: // localhost / sqoop_export - tablica emp_exported –export -dir / sqoop / newemp -m -000

5. Ažurirajte:

Ova naredba Sqoop ažurira zapise u RDBMS-u iz HDFS podataka.

naredba

$ sqoop izvoz –povezite JDBC: MySQL: // localhost / sqoop_export - tablica emp_exported –export -dir / sqoop / newemp -m -000 –update -key id

6. Opcija serije:

Ovom naredbom umetnite više redova zajedno, oni optimiziraju brzinu umetanja pomoću Sqoop JDBC pokretača.

naredba

$ sqoop eksport \ -povezite JDBC: MySQL: // ime domaćina / –korištenje -password -izvoz -dir

7. Split:

Kada se koristi ova naredba, rečenica se primjenjuje na cijeli SQL.

naredba

$ sqoop import -D mysql: // jdbc: // where.clause.location = SPLIT – tablica JUNK - tamo gdje je „rownum <= 12“

8. AVRO datoteka u HDFS:

Oni pohranjuju RDBMS podatke kao Avro datoteku.

naredba

$ sqoop import - povežite JDBC: MySQL: // localhost / Acadgild –korijenje imena korisnika -password pp.34 - tablica plaćanja -m1 –carget -dir / sqoop_data / Payment / avro / == as -avrodatfile.

Napredne naredbe Sqoop naredbi:

Uvozne naredbe:

Naredbe za uvoz imaju argumente kontrole uvoza. različiti su argumenti sljedeći:

  • granica: koristi se za stvaranje slojeva.
  • kao - tekstualna datoteka: uvozi podatke običnog teksta
  • -stupci (: stupci uvoza za tablicu)
  • -m, - num: uvesti paralelne zadatke mapiranja
  • podijeljeno: Dijeli stupac tablice
  • -z, - komprimiranje: omogućena je kompresija podataka.

Argumenti povećanja uvoza:

  • potvrdni stupac: Ukazuje na stupce koji određuju koje retke treba uvesti.
  • inkrementalno (način rada): označava nove retke (uključuju dodavanje i posljednje izmjene redaka)

Argumenti izlazne linije:

  • linije -termined -by: Postavljaju eol karakter
  • MySQL - razgraničari: oni postavljaju \ n polja: linije:

Uvoz u košnicu

-košnica - uvoz: uvoze tablice u košnicu

-Hive - ključ particije: Ime particije je zajedničko.

-hive - prebrisati: prepisuju podatke u postojeću tablicu.

Uvoz u argumente Hbase:

-accumulo-table: Ovo specificira ciljnu tablicu u HBase.

-accumulo-Column: Za uvoz postavlja ciljni stupac.

-accumulo -: Za uvoz imena akumulacije

–Accumulo -: za uvoz lozinke akumulatora

Pohranjivanje u datoteke slijeda:

$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -tableta inventara \ - ime klase com.foo.com.Inventory -as - redoslijed datoteke

Uvoz upita:

Ova naredba specificira izraz Sql argumentom -query.

$ sqoop import \ - upit 'SELECT a. *, b. * iz JOIN b na (a.id = b.id) gdje $ uvjeti' \ -split - by / target-dir / user

Povećani izvoz:

$ sqoop izvoz –povezati –odredbu –ime korisnika –polovica –inkrementarno –izvrši red –rednja vrijednost

Uvoz svih tablica u HDFS:

$ sqoop import -all - table –povezuje jdbc: mysql: // localhost / sale_db - korijen korisničkog imena.

Uvoz podataka u košnicu:

$ sqoop uvoz –povezati –podijeliti –ime korisnika –polovica – košnica –uvoziti - košnica-tablica

Uvoz podataka u HBase:

naredba:

$ sqoop uvoz –povezati –podijeliti –korištenje –polovica – košnica –uvoziti - HBase-tablica

Kodiranje nulte vrijednosti:

naredba:

$ mysql import \ –povezati JDBC: MySQL: //mysql.ex.com/sqoop \ –korisnik sqoop \ -password sqoop \ –tablica lib \ –null -string '

Savjeti i trikovi za korištenje naredbi Sqoop:

Ako želimo izvršavati podatkovne operacije učinkovito, tada moramo koristiti sqoop, samo kroz jednu naredbenu liniju možemo izvršiti mnogo zadataka i potknjiga u njemu. Sqoop se putem konektora povezuje na različite relacijske baze podataka, a oni koriste interaktivni upravljački program JDBC. Budući da sqoop radi na vlastitom izvoru, možemo izvršiti sqoop bez postupka instalacije. Izvođenje sqoopa je jednostavno, jer se izvršavaju podaci paralelno. Korištenjem značajke Map Map možemo uvesti i izvoziti podatke, što zauzvrat omogućuje paralelno izvršavanje.

Zaključak - Sqoop naredbe:

Za zaključak, Sqoop Commands regulira postupak uvoza i izvoza podataka. Sqoop pruža mogućnost ažuriranja dijelova tablice inkrementalnim opterećenjem. Uvoz podataka u sqoop nije temeljen na događajima. A tu je i sqoop2 s omogućenim GUI-om za lak pristup, zajedno s naredbenom linijom. Prijenos podataka je brz dok se paralelno prenose. Oni igraju vitalnu ulogu u okruženju Hadoop. Oni svoj posao rade sami, nije potrebno dok uvoze male skupove podataka.

Preporučeni članci

Ovo je vodič za naredbe Sqoop. Ovdje smo razgovarali o osnovnim, kao i naprednim Sqoop naredbama i nekim neposrednim Sqoop naredbama. Možete pogledati i sljedeći članak da biste saznali više -

  1. Sqoop intervjui i pitanja
  2. SQL šifre (naredbe, besplatni savjeti i trikovi)
  3. Važne VBA naredbe
  4. Tableau naredbe

Kategorija:

Veliki podaci