Uvod u AWS cjevovod podataka
Podaci iz dana u dan eksponencijalno rastu i postaje im teško upravljati u usporedbi s prošlošću. Potrebni su nam alati i usluge za učinkovito upravljanje našim podacima i jeftinijim troškovima, tu je AWS Data Pipeline na umu. Ne radi se samo o pohrani podataka, nego morate analizirati, obraditi, transformirati podatke u željeni oblik na istom mjestu, to se sve može postići AWS Data Pipeline.
Potreba za cjevovodom podataka
Pokušajmo razumjeti potrebu za cjevovodom podataka na primjeru:
Primjer 1
Imamo web mjesto koje prikazuje slike i gifs na temelju korisničkih pretraživanja ili filtera. Naš je primarni fokus na posluživanju sadržaja. Postoje određeni ciljevi koji su sljedeći:
- Poboljšanje isporuke sadržaja: posluživanje onoga što korisnici žele učinkovito i dovoljno brzo.
- Učinkovito upravljanje aplikacijom: Spremanje korisničkih podataka kao i zapisnika web stranica za kasnije analitičke svrhe.
- Poboljšajte posao: Korištenjem pohranjenih podataka i analitike donosi odluku o poboljšanju poslovanja uz jeftinije troškove.
Primjer 2
Za postizanje ciljeva treba voditi računa o određenim punionicama:
- Ogromna količina podataka u različitim formatima i na različitim mjestima zbog čega je obrada, pohrana i migracija podataka složen zadatak.
Različite komponente za pohranu podataka za različite vrste podataka:
- Mogući podaci u stvarnom vremenu za registrirane korisnike: Dynamo DB .
- Dnevnici web-poslužitelja za potencijalne korisnike: Amazon S3 .
- Demografski podaci i vjerodajnice za prijavu: Amazon RDS.
- Podaci o senzorima i skup podataka treće strane: Amazon S3.
rješenja
- Izvodljivo rješenje: Vidimo da se moramo suočiti s različitim vrstama alata za pretvorbu podataka iz nestrukturiranih u strukturirane za analizu. Ovdje moramo koristiti različite alate za pohranu podataka i opet za pretvorbu, analizu i pohranu obrađenih podataka. Nije isplativo rješenje.
- Optimalno rješenje: Koristite podatkovni cjevovod koji obrađuje obradu, vizualizaciju i migraciju. Cevovod podataka može biti koristan u migraciji podataka s različitih mjesta, također u analiziranju podataka i obradi na istoj lokaciji u vaše ime.
Što je AWS podatkovni cjevovod?
AWS Data Pipeline u osnovi je internetska usluga koju nudi Amazon koja vam pomaže da transformirate, obradite i analizirate svoje podatke na skalabilan i pouzdan način, kao i pohranu obrađenih podataka u S3, DynamoDb ili u lokalnu bazu podataka.
- Sa AWS Data Pipelineom možete lako pristupiti podacima iz različitih izvora.
- Pretvorite i obradujte te podatke u mjerilu.
- Učinkovito prenesite rezultate na druge usluge kao što su S3, DynamoDb tablica ili lokalno spremište podataka.
Osnovni primjer upotrebe cjevovoda za podatke
- Mogli bismo imati web stranicu raspoređenu preko EC2 koja generira dnevnike svaki dan.
- Jednostavnim dnevnim zadatkom mogu se kopirati datoteke dnevnika s E2 i ostvariti ih u S3 skupu.
- Zadatak tjedna bi mogao biti obrada podataka i pokretanje analize podataka putem Amazon EMR-a za generiranje tjednih izvještaja na temelju svih prikupljenih podataka.
Pokretanje analize podataka putem AWS cjevovoda za podatke
- Prikupljanje podataka iz različitih izvora podataka kao što su - S3, Dynamodb, lokalno, senzorski podaci itd.
- Izvođenje transformacije, obrade i analitike na AWS EMR za generiranje tjednih izvještaja.
- Tjedni izvještaj spremljen u Redshift, S3 ili on-premise bazu podataka.
Prednosti AWS podataka
Ispod bodova objašnjavaju prednosti AWS Data Pipeline-a:
- Povucite i ispustite konzolu koju je lako razumjeti i koristiti.
- Distribuirana i pouzdana infrastruktura: Cjevovodi podataka rade na skalabilnim uslugama i pouzdani su ako bilo koja pogreška ili zadatak ne uspije, pa se može postaviti na ponovni pokušaj.
- Podržava raspoređivanje i praćenje grešaka: možete zakazati svoje zadatke i pratiti ih što je uspjelo i uspjelo.
- Distribuirano: može se pokrenuti paralelno na više strojeva ili linearno.
- Potpuna kontrola nad računalnim resursima poput EC2, EMR klastera.
AWS komponente cjevovoda podataka
Ispod su komponente AWS podataka:
1. Definicija cjevovoda
Pretvorite svoju poslovnu logiku u AWS cjevovod podataka.
- Čvorovi podataka : sadrži ime, lokaciju, format izvora podataka koji bi mogao biti (S3, dynamodb, lokalno)
- Aktivnosti : premještanje, preoblikovanje ili izvršavanje upita prema svojim podacima.
- Raspored : Zakažite dnevne ili tjedne aktivnosti.
- Preduvjet : Uvjeti poput pokretanja plana provjere dostupnosti podataka na izvoru.
- Resursi : Računati resursi EC2, EMR.
- Akcije : Ažuriranje podataka o cjevovodu podataka, slanje obavijesti, alarm.
2. Cjevovodi
Ovdje možete zakazati i pokrenuti zadatke za izvođenje definiranih aktivnosti.
- C komponenti cjevovoda : Komponente cjevovoda jednake su komponentama definicije cjevovoda.
- Primjeri: Tijekom izvođenja zadataka AWS sastavlja sve komponente da bi stvorio određene djelotvorne instance. Takve instance imaju sve informacije o specifičnim zadacima.
- Pokušaji: Već smo raspravljali o pouzdanosti cjevovoda za podatke sa svojim mehanizmima za pokušaj. Ovdje postavljate koliko puta želite pokušati zadatak u slučaju da ne uspije.
3. Voditelj zadataka
Pita ili ankete za zadatke iz AWS Data Pipeline-a, a zatim izvršava te zadatke.
AWS cjevovod podataka
Ispod točke objašnjavaju cijene cjevovoda AWS Data:
1. Besplatno razina
Možete započeti besplatno s AWS Data Pipelineom kao dijelom AWS besplatne razine upotrebe. Novi kupci koji se prijavljuju svakog mjeseca ostvaruju besplatne pogodnosti u trajanju od jedne godine:
- 3 Preduvjeti rada na niskim frekvencijama na AWS-u bez ikakvog naboja.
- 5 Aktivnosti niskofrekventnih trčanja na AWS-u bez ikakvog naboja.
2. Niska frekvencija
Niska frekvencija podrazumijeva se da se izvodi jednom u danu ili kraće. Data Pipeline slijedi istu strategiju naplate kao i ostale AWS web usluge, tj. Naplaćuju se na vašoj upotrebi. Naplaćuje se koliko često se svakodnevno izvršavaju zadaci, aktivnosti i preduvjeti i gdje se izvode (AWS ili lokalno). Visokofrekventne aktivnosti planiraju se izvoditi više od jednom dnevno.
Primjer: Možemo zakazati aktivnost koja će se izvoditi svakih sat vremena i obraditi zapisnike web mjesta ili to može biti svakih 12 sati. Dok su niskofrekventne aktivnosti one koje se izvode jednom dnevno ili rjeđe ako preduvjeti nisu ispunjeni. Neaktivni cjevovodi imaju ili INAKTIVNO, NALAZI i OBAVIJESTI.
3. Cijena AWS cjevovoda za podatke prikazana u regiji
Regija br. 1: Istočni SAD (N.Virginia), Zapadni SAD (Oregon), Azijsko-pacifički (Sydney), EU (Irska)
| Visoka frekvencija | Niska frekvencija | |
| Aktivnosti ili preduvjeti koji pokreću AWS | 1, 00 USD mjesečno | 0, 06 dolara mjesečno |
| Aktivnosti ili preduvjeti koji se izvode na lokalnoj razini | 2, 50 dolara mjesečno | 1, 50 USD mjesečno |
| Neaktivni cjevovodi: 1, 00 USD mjesečno |
Regija br. 2: Azijsko-pacifički (Tokio)
| Visoka frekvencija | Niska frekvencija | |
| Aktivnosti ili preduvjeti koji pokreću AWS | 0, 9524 USD mjesečno | 0, 5715 USD mjesečno |
| Aktivnosti ili preduvjeti koji se izvode na lokalnoj razini | 2.381 USD mjesečno | 1.4286 dolara mjesečno |
| Neaktivni cjevovodi: 0, 9524 USD mjesečno |
Planiranje dnevnog posla, tj. Niskofrekventna aktivnost na AWS-u za prebacivanje podataka iz DynamoDB tablice u Amazon S3, koštat će 0, 60 USD mjesečno. Ako dodamo EC2 za izradu izvještaja na temelju podataka Amazon S3, ukupni trošak cjevovoda bio bi 1, 20 USD mjesečno. Ako ovu aktivnost izvodimo svakih 6 sati koštala bi 2, 00 USD mjesečno, jer tada bi to bila visokofrekventna aktivnost.
Zaključak
AWS Data Pipeline vrlo je praktično rješenje za upravljanje eksponencijalno rastućim podacima uz jeftinije troškove. Vrlo je pouzdan, kao i skalabilan prema vašoj upotrebi. Za svaku poslovnu potrebu u kojoj se bavi velikom količinom podataka, AWS Data Pipeline je vrlo dobar izbor za postizanje svih naših poslovnih ciljeva.
Preporučeni članci
Ovo je vodič za AWS cjevovod podataka. Ovdje razgovaramo o potrebama cjevovoda za podatke, što je AWS cjevovod podataka, njegov sastavni dio i pojedinosti o cijenama. Možete i pregledati naše druge povezane članke da biste saznali više -
- AWS EBS
- AWS baze podataka
- Što je AWS EC2?
- Prednosti vizualizacije podataka
- 7 najboljih natjecatelja AWS-a sa značajkama
- Saznajte popis značajki web usluga Amazon