Uvod u Talend Open Studio

Talend nudi Open Studio koji je open-source za integraciju podataka. Sadrži više od 800+ komponenti za različite svrhe integracije. Preuzmite Talend Open Studio s https://www.talend.com/download/

Integriranje podataka znači kombiniranje podataka iz različitih izvora i njihovo kombiniranje u jedan pogled kako bi se dobili neki značajni podaci iz onih koji mogu pomoći kompaniji ili organizaciji da poboljšaju svoje poslovanje analizom tih podataka. Integriranje pomaže pri dobivanju podataka, čišćenju podataka, pri čemu je potrebna tražena transformacija itd., A zatim je učitava u skladište podataka.

Što je Talend?

Talend je ETL alat koji se koristi za integraciju podataka. Talend nudi rješenje za pripremu podataka, kvalitetu podataka, integraciju podataka i velikih podataka. Ovdje ćemo razgovarati o nekim komponentama. Da bi vam bilo lakše vidjeti donji primjer, sim operater ima ogromne podatke o planovima, kupcima, pojedinostima o simu itd. Ti su podaci ogromni pa se veliki podaci koriste i u integraciji.

Kupac Kupnja sim-a pomoću vladinog id-a

Dajući mu ime AB C

adresa kao Chennai, Chennai

broj telefona kao 1234567890

Nakon integracije podataka

Ime: AB

Prezime: C

Adresa: Chennai, Indija

Broj telefona: +911234567890

Ovdje se podaci brišu i pretvaraju u nešto smislenije.

Prednosti

  • Analiza trendova poslovanja pomoću integracije podataka
  • Kombiniranje podataka u jedinstveni sustav
  • Ušteda vremena, učinkovitija i manje prerada
  • Jednostavno generiranje izvještaja - koriste ih BI alati
  • Održavanje i umetanje podataka u skladište podataka i podatkovne baze

primjena

Ovdje su navedene sljedeće aplikacije

1. Rad s Talendom

  • Provjerite imate li instaliran java i varijable okoline.
  • Preuzmite open-source s web stranice Talend i instalirajte softver.
  • Napravite novi projekt i završite postavljanje
  • Talend će se otvoriti karticom dizajnera.
  • Talend je alat temeljen na pomračenju i komponente se mogu povući iz palete ili možete kliknuti i upisati naziv komponenata.

2. Prvi posao Čitanje datoteke

  • Potražite komponentu tFileinputdelimited. Ova komponenta koristi se za čitanje bilo koje datoteke s ograničenom odgovornošću.
  • Stavite komponentu tfileinputdelited. Potražite tlogrow i stavite ga u posao dizajnera.
  • Desnom tipkom miša kliknite tfileinputdelimited i odaberite red-> main i nacrtajte liniju da se prevrne.
  • U komponenti kartica odabire putanju datoteke koju želite pročitati i razdvaja retke kao \ n. Ako datoteka ima razgraničavanje, možete spomenuti razgraničnik.
  • Kliknite shemu i navedite pojedinosti o vrsti stupca ili čitav red možete pročitati kao niz s jednim stupcem, a vrijednost razlučivača treba biti prazna.
  • Možete preskočiti i zaglavlje i podnožje.
  • U komponenti obrada odaberite način na koji želite vidjeti podatke. Format tablice ili format u jednoj liniji.
  • tlogrow prikazuje izlaz u pokretačkoj konzoli.
  • Nakon povezivanja oba tfileinputdelimited i tlogrow, pokrenite posao s kartice Run.
  • Sadržaj datoteke možete vidjeti ispisan na konzoli.

3. Drugi posao pomoću Tmapa

  • Pročitajte datoteku i filtrirajte je u različite izlazne datoteke.
  • Pročitajte datoteku u tfileinputdelimited komponenti sa shemom jednog stupca kao zapis.
  • Tmap komponenta - Ova komponenta pomaže u transformiranju podataka pomoću nekih ugrađenih funkcija poput pretraživanja, pridruživanja itd.
  • U tmap stvorite dva izlaza out1 i out2.
  • U filtar out1 dodajte row3.record.contains ("talent") i izvucite zapis u out1.
  • Nacrtajte liniju zapisa na drugi izlaz2.

  • Iz tmap-a uzmite glavne retke i povežite se s dva tfileoutputdelimited.
  • out1 veza na jedan tfileoutputdelimited1 kao file1.txt, a drugi2 tfileoutputdelimited2 kao file2.txt.
  • txt će imati zapise koji sadrže talent.
  • txt će imati zapise koji imaju druga imena.

4. Ugrađeni i spremište

  • Ugrađeni znači da biste trebali svaki put postaviti shemu ili detalje za povezivanje s bazom podataka.
  • Spremište je zgodno za spremanje detalja u metapodacima tako da ih možete ponovo koristiti iste detalje bez da svaki put ručno unesete detalje. U metapodacima možete spremiti datotečnu shemu, veze baze podataka, Hadoop vezu, vezu košnice, s3 vezu i mnoge druge.

Dijelovi Talend Open Studio

Evo sljedećih komponenti koje spominje Talend Open Studio

1. tFileList

  • Ova komponenta navodi datoteke u imeniku ili mapi s zadanim uzorkom maske datoteka.

2. tMysqlConnection

  • Ova se komponenta koristi za povezivanje s mysql bazom podataka.
  • Komponente Mysql mogu koristiti ovu vezu za jednostavno postavljanje povezivanja s bazom podataka.

3. tMysqlinput

  • Ova komponenta pomaže pri pokretanju upita mysql baze podataka i dobivanju tablice ili stupaca. Ova komponenta koristi se za odabir upita i dobivanje pojedinosti.

4. tMysqlOutput

  • Ova komponenta koristi se za umetanje ili ažuriranje podataka u Mysql bazu podataka.

5. tprejob

  • Ova je komponenta prva izvršena u zadatku i može se povezati s ostalim komponentama s pod potporom.

6. tpostjob

  • Ova komponenta je zadnja izvršena u poslu. To možete povezati s komponentama za zatvaranje veze.

7. tlogcatcher

  • Ova komponenta hvata upozorenje i pogreške u poslu.
  • Najvažnija komponenta koja se koristi u tehnici rukovanja pogreškama.
  • Dnevnici pogrešaka mogu se pisati pomoću ove komponente zajedno s tfileoutputdelimited.
  • Postoji više od 800+ komponenti.

Kontekstna varijabla

  • Kontekstne varijable su varijable koje se u poslu mogu koristiti bilo gdje.
  • Sadrži vrijednosti i može se prenijeti na drugi posao također koristeći komponentu trun.
  • Korištenje kontekstnih varijabli je što možemo promijeniti vrijednost u različite svrhe.
  • Na primjer, možemo imati skup vrijednosti za razvojnu kontekstnu skupinu i različit skup kontekstnih vrijednosti za proizvodnju.
  • Na ovaj način posao ne moramo mijenjati dovoljno je samo promjena kontekstnih parametara.

Izgradnja posla

  • Da biste izradili posao desnim klikom miša kliknite i odaberite posao.
  • Možete uvesti posao izrade u TAC-u.
  • U upravnoj konzoli Talend zakazujete posao kako biste također aktivirali ovisnost o zadatku.
  • Također možete uvesti zadatak iz Nexus-ovog spremišta koristeći zadatak artefakta.

Kreirajte zadatak u TAC-u

  • Otvoreni dirigent poslova u TAC-u
  • Kliknite nove zadatke i odaberite uobičajene zadatke ili artefakte.
  • Uvezite izgrađeni posao ili odaberite iz nexusa.
  • Odaberite poslužitelj poslova na kojem će se pokrenuti talent.
  • Spremite zadatak.
  • Sada možete razmjestiti i pokrenuti posao.

Zaključak - Talend Open Studio

"Pojednostavite ETL i ELT s vodećim besplatnim otvorenim kodom ETL alata za velike podatke." Oznaka je otvorenog studija. Talend Bigdata ima mnogo komponenti za rukovanje ogromnim podacima. Standardni posao, Bigdata posao, Bigdata streaming poslovi različite su vrste poslova dostupne u Talendu. Poslovi Bigdata mogu se stvoriti u obliku iskre ili preslikati.

Preporučeni članci

Ovo je vodič za Talend Open Studio. Ovdje smo raspravljali o prednostima, aplikacijama i komponentama Talend Open Studio-a. Možete također pogledati sljedeće članke da biste saznali više -

  1. Vodič za integraciju podataka Talend
  2. Važna Talend pitanja za intervju
  3. Talend vs Mulesoft: razlike
  4. Talend vs Pentaho: 8 korisnih usporedbi koje treba naučiti

Kategorija:

Veliki podaci