Uvod u integraciju podataka Talend

Talend integracija podataka znači kombiniranje podataka iz različitih izvora i njihovo kombiniranje u jedan pogled kako bi se dobili neki značajni podaci iz onih koji mogu pomoći kompaniji ili organizaciji da poboljšaju svoje poslovanje analizom tih podataka. Integriranje pomaže pri dobivanju podataka, čišćenju podataka, pri čemu je potrebna tražena transformacija itd., A zatim je učitava u skladište podataka.

Što je integracija podataka Talend?

  • Talend je ETL alat koji se koristi za integraciju podataka. Talend nudi rješenje za pripremu podataka, kvalitetu podataka, integraciju podataka i velikih podataka.
  • Talend nudi Open Studio koji je open-source za integraciju podataka i velikih podataka.
  • Talend open studio pomaže u upravljanju ogromnim podacima s velikim komponentama podataka. Sadrži više od 800+ komponenti za različite svrhe integracije. Ovdje ćemo razgovarati o nekim komponentama. Da biste ga lakše vidjeli u nastavku
  • Sim operater ima ogromne podatke o planovima, kupcima, sim detaljima itd. Ti su podaci ogromni, tako da se veliki podaci koriste i u integraciji.

Kupac Kupnja sim-a pomoću vladinog id-a.
Dajući mu ime: AB C
Adresa kao: Chennai, Chennai
Broj telefona: 1234567890

Nakon integracije podataka

Ime: AB
Prezime: C
Adresa: Chennai, Indija
Broj telefona: +911234567890

Ovdje se podaci brišu i pretvaraju u nešto smislenije.

Prednosti integracije podataka

Ovdje ćemo razgovarati o prednostima integracije podataka.

  1. Analiza trendova poslovanja pomoću integracije podataka
  2. Kombiniranje podataka u jedinstveni sustav
  3. Ušteda vremena, učinkovitija i manje prerada
  4. Jednostavno generiranje izvještaja - koriste ih BI alati
  5. Održavanje i umetanje podataka u skladište podataka i podatkovne baze

Primjena integracije podataka Talenda

Ovdje ćemo raspravljati o primjeni integracije podataka Talenda.

1. Rad s Talendom

  • Provjerite imate li instaliran java i varijable okoline.
  • Preuzmite open-source s web stranice Talend i instalirajte softver.
  • Napravite novi projekt i završite postavljanje
  • Talend će se otvoriti karticom dizajnera.
  • Talend je alat temeljen na pomračenju i komponente se mogu povući iz palete ili možete kliknuti i upisati naziv komponenata.

2. Prvi posao čitanje datoteke

  • Potražite komponentu tFileinputdelimited. Ova komponenta koristi se za čitanje bilo koje datoteke s ograničenom odgovornošću.
  • Stavite komponentu tFileinputdelimited. Potražite tLogRow i stavite ga u posao dizajnera.
  • Kliknite desnom tipkom tFileinputdelimited i odaberite red-> main i nacrtajte liniju do tLogRow.
  • U komponenti kartica odabire putanju datoteke koju želite pročitati i razdvaja retke kao \ n. Ako datoteka ima razgraničavanje, možete spomenuti razgraničnik.
  • Kliknite shemu i navedite pojedinosti o vrsti stupca ili čitav red možete pročitati kao niz s jednim stupcem, a vrijednost razlučivača treba biti prazna.
  • Možete preskočiti i zaglavlje i podnožje.
  • U komponenti tLogRow odaberite način na koji želite vidjeti podatke. Format tablice ili format u jednoj liniji.
  • tLogRow prikazuje izlaz u pokretačkoj konzoli.
  • Nakon povezivanja i tFileinputdelimited i tLogRow pokrenite zadatak s kartice Run.
  • Sadržaj datoteke možete vidjeti ispisan na konzoli.

3. Drugi posao pomoću Tmap-a

  • Pročitajte datoteku i filtrirajte je u različite izlazne datoteke.
  • Pročitajte datoteku u tFileinputdelimited komponenti sa shemom jednog stupca kao zapis.
  • Tmap komponenta - Ova komponenta pomaže u transformiranju podataka pomoću nekih ugrađenih funkcija poput pretraživanja, pridruživanja itd.
  • U tmap stvorite dva izlaza out1 i out2.
  • U filtar out1 dodajte record.contains („talent“) i izvucite zapis u out1.
  • Nacrtajte liniju zapisa na drugi izlaz2.
  • Iz tmapa uzmite glavne redove i povežite se s dva tFileoutputdelimited.
  • out1 veza na jedan tfileoutputdelimited1 kao file1.txt, a drugi2 tfileoutputdelimited2 kao file2.txt.
  • txt će imati zapise koji sadrže talent.
  • txt će imati zapise koji imaju druga imena.

4. Ugrađeni i spremište

  • Ugrađeni znači da biste trebali svaki put postaviti shemu ili detalje za povezivanje s bazom podataka.
  • Spremište je zgodno za spremanje detalja u metapodacima tako da ih možete ponovo koristiti iste detalje bez da svaki put ručno unesete detalje. U metapodacima možete spremiti datotečnu shemu, veze baze podataka, Hadoop vezu, vezu košnice, s3 vezu i mnoge druge.

Komponente integracije podataka Talenda

Ovdje ćemo raspravljati o komponentama Talend integracije podataka.

1. tFileList: Ova komponenta navodi datoteke u imeniku ili mapi s zadanim uzorkom maske datoteka.

2. tMysqlConnection: Ova komponenta koristi se za povezivanje s MySQL bazom podataka. Komponente Mysql mogu koristiti ovu vezu za jednostavno postavljanje povezivanja s bazom podataka.

3. tMysqlInput: Ova komponenta pomaže u pokretanju upita baze podataka mysql i dobivanju tablice ili stupaca. Ova komponenta koristi se za odabir upita i dobivanje pojedinosti.

4. tMysqlOutput: Ova komponenta koristi se za umetanje ili ažuriranje podataka u Mysql bazu podataka.

5. tPrejob: Ova se komponenta prva izvršava u poslu i može se povezati s drugim komponentama s na Subjob ok.

6. tPostjob: Ova komponenta je zadnja izvršena u poslu. To možete povezati s komponentama za zatvaranje veze.

7. tLogcatcher: Ova komponenta hvata upozorenje i pogreške u poslu. Ovo je najvažnija komponenta koja se koristi u tehnici rukovanja pogreškama. Dnevnici pogrešaka mogu se pisati pomoću ove komponente zajedno s tfileoutputdelimited. Postoji više od 800+ komponenti.

8. Kontekstna varijabla: Kontekstne varijable su varijable koje se u poslu mogu koristiti bilo gdje. Sadrži vrijednosti i može se prenijeti na drugi posao također koristeći tRun komponente. Korištenje varijabli konteksta je da vrijednost možemo mijenjati u različite svrhe. Na primjer, možemo imati skup vrijednosti za razvojnu kontekstnu skupinu i različit skup vrijednosti konteksta za proizvodnju. Na ovaj način ne moramo mijenjati posao, dovoljna je samo promjena kontekstnih parametara.

9. Izgradnja posla: za izgradnju posla desnom tipkom miša kliknite zadatak i odaberite posao građevine. Možete uvesti posao izrade u TAC-u. U upravnoj konzoli Talend zakazujete posao kako biste također aktivirali ovisnost o zadatku. Također možete uvesti zadatak iz Nexus-ovog spremišta koristeći zadatak artefakta.

10. Stvorite zadatak u TAC-u: Otvorite dirigent poslova u TAC-u. Kliknite nove zadatke i odaberite uobičajene zadatke ili artefakte. Uvozite posao izrade ili odaberite iz nexusa. Odaberite poslužitelj poslova na kojem će se pokrenuti talent. Spremite zadatak. Sada možete razmjestiti i pokrenuti posao.

Zaključak

  • "Pojednostavite ETL i ELT s vodećim besplatnim otvorenim kodom ETL alata za velike podatke." Oznaka je otvorenog studija.
  • Talend Bigdata ima mnogo komponenti za rukovanje ogromnim podacima.
  • Standardni posao, Bigdata posao, Bigdata streaming poslovi različite su vrste poslova dostupne u Talendu.
  • Poslovi Bigdata mogu se stvoriti u obliku iskre ili MapReduce.

Preporučeni članak

Ovo je vodič za integraciju podataka Talend. Ovdje smo raspravljali o uvodu u Talend Integration Data Integration i prednostima uz aplikacije i komponente. Također možete proći kroz naše druge predložene članke da biste saznali više

  1. Alat za integraciju podataka | Najbolji 12 alata
  2. Talend pitanja i odgovore za intervju
  3. Najbolji alati za vizualizaciju podataka s njihovim vrstama
  4. Talend vs Mulesoft - razlike
  5. Što je podatkovni mart?

Kategorija:

Veliki podaci