Talend Alati - Različiti alati ili komponente Talenda za integraciju podataka

Uvod u alate Talend

Talend open studio ima više od 700 komponenti na područjima poput velikih podataka, baza podataka, oblaka itd. Talend open studio može se podijeliti na mnoge poput Talend open studio za integraciju podataka i Talend open studio za velike podatke, itd. U ovom članku smo detaljno ćemo vidjeti različite alate talentova.

Talend Open Studio komponente / alati

Talend Open Studio za integraciju podataka pokriva sljedeća područja / tehnologije s nekim ugrađenim komponentama što pomaže u lakoći obrade.

Velike komponente podataka
Komponente poslovanja
Komponente poslovne inteligencije
Komponente oblaka
Komponente prilagođenog koda
Komponente kvalitete podataka
Baze podataka - tradicionalne komponente
Baze podataka - komponente uređaja / skladišta podataka
Baze podataka - ostale komponente
DotNET komponente
ELT komponente
Komponente ESB-a
Dijelovi datoteka
Internetske komponente
Dnevnici i komponente pogrešaka
Komponente raznih grupa
Komponente za orkestraciju
Obrada komponenata
Komponente sustava
Talend MDM komponente
Tehničke komponente
XML komponente

Ovdje ćemo raspravljati o nekoliko komponenti iz Talend Open Studio za integraciju podataka.

1. tS3Povezivanje: Ova komponenta koristi se za povezivanje s amazonom s3. Komponente mogu koristiti ovu vezu za jednostavno postavljanje spajanja na amazon s3.

2. tS3Input: koristi se za čitanje datoteke iz datotečnog sustava S3. Ima neke funkcije slične tfileinputdelimited, ali koristi se uslugom Amazon Simple Storage.

3. tS3Output: koristi se za upis podataka u datotečni sustav S3. Ima neke funkcije slične tfileoutputdelimited, ali koristi se uslugom Amazon Simple Storage.

4. ts3Put: Koristi se za stavljanje datoteke u S3 datotečni sustav iz lokalnog sustava.

5. ts3Get: Ova komponenta koristi se za dohvaćanje datoteke iz S3 u lokalni sustav.

6. tS3BucketCreate: Ova komponenta koristi se za stvaranje posude na S3.

7. tS3BucketDelete: Ova komponenta koristi se za brisanje kante na S3.

8. tS3BucketExist: Ova komponenta koristi se za provjeru postoji li navedeni skup na S3. Vraća rezultat u istinsku ili lažnu logičku vrijednost koja se može koristiti kao globalna karta.

9. tS3BucketList: Ova komponenta koristi se za popis svih grupa na S3.

10. tS3Copy: Ova komponenta koristi se za kopiranje S3 objekta iz jedne kante u drugu. Slično je s tFileCopy.

11. tS3Delete: Ova komponenta koristi se za brisanje S3 objekta iz žlice. Slično je s tFileDelete.

12. tS3Close: Ova komponenta koristi se za zatvaranje S3 veze koja je stvorena pomoću tS3Connection.

13. tCreateTemporaryFile: Ova komponenta stvara privremenu datoteku poput tFileOutputDelimited, ali ova privremena datoteka može se automatski izbrisati nakon završetka zadatka ili se može zadržati.

14. tFileArchive: Ova komponenta koristi se za stvaranje komprimirane datoteke iz jedne ili više datoteka. Šifriranje se također može primijeniti u kompresiji.

15. tFileCompare: Ova komponenta koristi se za usporedbu dviju datoteka i vraća podatke usporedbe.

16. tFileUnarchive: Ova komponenta koristi se za komprimiranje komprimirane datoteke.

17. tFileCopy: Ova komponenta koristi se za kopiranje datoteke ili mape u ciljni direktorij.

18. tFileDelete: Ova komponenta koristi se za brisanje datoteke ili mape.

19. tFileExist: Ova komponenta koristi se za provjeru postoji li datoteka ili ne. Vraća rezultat u istinsku ili lažnu logičku vrijednost koja se može koristiti kao globalMap.

20. tFileInputExcel: Ova komponenta koristi se za čitanje Excelove datoteke na temelju definirane sheme.

21. tMsgBox: Ova komponenta koristi se za prikaz dijaloškog okvira s gumbom OK.

22. tRowGenerator: Ova komponenta koristi se za stvaranje bilo kojeg broja redaka s stupcima koji imaju određene vrijednosti ili slučajne vrijednosti. Koristi se uglavnom za potrebe ispitivanja i stvaranja oglednih testnih datoteka.

23. tIterateToFlow: Koristi se za transformiranje popisa tokova u glavni tok što znači iterate-> row-> main.

24. tFlowToIterate: Koristi se za transformiranje glavnog toka u popis tokova što znači main-> row-> iterate.

25. tLoop: koristi se za petljavanje određenog zadatka.

26. t Ponovno: Koristi se za repliciranje dolazne sheme u dva izlazna toka.

27. tRunJob: Koristi se za pokretanje drugog posla s talentom unutar trenutnog posla nakon podugovora.

28. t Sleep: Koristi se za izvršavanje zadatka ili određeno pauziranje podugovora za određeno vrijeme u sekundi.

29. tWaitForFile: Pregledaće određeni direktorij i pokreće sljedeću komponentu na temelju uvjeta.

30.tMysqlBulkExec: Ova komponenta koristi se za dobivanje performansi tijekom izvršavanja operacija Umetanje u bazi podataka Mysql.

31. tMysqlClose: Ova komponenta koristi se za zatvaranje mysql veze koja je stvorena tMysqlConnection.

32. tMysqlRow: Ova komponenta koristi se za izravno pokretanje SQL upita na MySQL bazi podataka.

33. tMysqlTableList: Ova komponenta koristi se za popis imena tablica.

34. tMysqlColumnList: Ova komponenta koristi se za ponavljanje svih stupaca tablice.

35. tMysqlCommit: Ova komponenta koristi se za izvršavanje promjena izvršenih u bazi podataka Mysql.

36. tMysqlLastInsertId: Ova komponenta koristi se za dobivanje posljednje umetnute vrijednosti ključa

37. tMysqlOutputBulk: Ova komponenta koristi se za pisanje datoteke s stupcima na temelju razdjelnika

38. tMysqlOutputBulkExec: Ova komponenta koristi se za pisanje datoteke s stupcima na temelju razdjelnika, a zatim izvršava datoteku u Mysql bazi podataka.

39. tContextLoad: Ova komponenta koristi se za učitavanje vrijednosti u kontekst iz ulaznog toka. Promjene konteksta trebaju biti kreirane prije učitavanja vrijednosti u kontekstne varijable. Ako varijable konteksta nisu stvorene, pokazat će upozorenje.

40. tHiveClose: Ova komponenta koristi se za zatvaranje veze stvorene pomoću tHiveConnection.

41. tHiveConnection: Ova komponenta koristi se za stvaranje košnice i može je ponovo upotrijebiti ostale komponente košnice.

42. tHiveRow: Ova komponenta koristi se za izravno pokretanje upita Hive.

Zaključak

HDFS komponente mogu se vidjeti u Talend otvorenom studiju za velike podatke.
thdfsinput, thdfsoutput su neke od komponenti i slične su komponenti datoteka.
tHDFSInput - čita datoteku koja se nalazi na zadanom Hadoop distribuiranom datotečnom sustavu (HDFS). Ima neke funkcije slične tfileinputdelimited, ali koristi sustav datoteka datoteka Hadoop.
tHDFSOutput - upisuje datoteku u Hadoop distribuirani datotečni sustav (HDFS).
Ima neke funkcije slične tfileoutputdelimited, ali koristi sustav datoteka datoteka Hadoop.
tHDFSPut - koristi se za stavljanje datoteke u HDFS datotečni sustav iz lokalnog sustava.
tHDFSGet - Ova komponenta koristi se za dohvaćanje datoteke s HDFS-a u lokalni sustav.

Preporučeni članci

Ovo je vodič za Talend Tools. Ovdje smo raspravljali o uvođenju i talentu otvorenih studijskih komponenti ili alata za integraciju podataka koji uključuju, tS3Connection, tS3Input, tS3Output i ts3Put itd. Također možete pogledati sljedeće članke da biste saznali više -