Uvod u arhitekturu skladišta podataka
- Skladište podataka je mjesto za pohranu koje sadrži zbirke nekoliko različitih vrsta podataka prikupljenih iz više vrsta izvora.
- Cijeli proces u kojem se prikupljaju, obrađuju, pohranjuju i analiziraju korisni podaci vanjski izvori podataka unutar skupa sustava koji su objedinjeni jedinstvenom shemom poznatom kao Arhitektura skladišta podataka.
Arhitektura skladišta podataka
Arhitektura skladišta podataka obično se sastoji od tri razine.
- Vrhunski nivo
- Srednji nivo
- Donji nivo
Vrhunski nivo
- Top Tier se sastoji od prednjeg kraja klijentove arhitekture.
- Informacije transformirane i logično primijenjene, pohranjene u skladištu podataka, koristit će se i stječu u poslovne svrhe u ovom sloju.
- Za generiranje željenih podataka dostupno je nekoliko alata za stvaranje i analizu izvještaja.
- Ovdje se provodi rudarjenje podataka koje je ovih dana postalo veliki trend.
- Sav dokument analize troškova, troškova i sve značajke koje određuju poslovni posao temeljen na dobiti obavlja se na temelju ovih alata koji koriste podatke skladišta podataka.
Srednji nivo
- Srednji sloj čine OLAP poslužitelji
- OLAP je poslužitelj za analitičku obradu na mreži
- OLAP se koristi za pružanje informacija poslovnim analitičarima i menadžerima
- Budući da se nalazi u Srednjem nivou, s pravom stupa u interakciju s informacijama koje su prisutne u Donjem nivou i prenosi uvid na alate Top Tier koji obrađuju raspoložive informacije.
- U arhitekturi skladišta podataka uglavnom se koristi relacijski ili višedimenzionalni OLAP.
Donji nivo
Donji sloj uglavnom se sastoji od izvora podataka, alata ETL i skladišta podataka.
1. Izvori podataka
Izvori podataka sastoje se od Izvornih podataka koji se pribavljaju i pružaju alata Staging i ETL za daljnji postupak.
2. ETL alati
- ETL alati su vrlo važni jer pomažu u kombiniranju logike, neobrađenih podataka i shema u jedno te unose podatke u skladište podataka ili podatkovne marke.
- Ponekad ETL učitava podatke u Data Marts, a zatim se informacije pohranjuju u Data Warehouse. Taj je pristup poznat kao Bottom Up pristup.
- Pristup u kojem ETL izravno prenosi informacije u skladište podataka poznat je i kao pristup odozgo.
Razlika između pristupa odozgo prema dolje i pristupa odozdo prema gore
| Pristup odozdo prema gore | Pristup odozdo prema gore |
| Pruža precizan i dosljedan prikaz informacija jer se podaci iz skladišta podataka koriste za izradu podataka podataka | Izvješća se mogu lako stvoriti jer se podatkovne marke prvo kreiraju i relativno je lako komunicirati s podatkovnim vezama. |
| Snažan model, pa stoga i preferiraju velike tvrtke | Nije tako snažno, ali se skladište podataka može proširiti i stvoriti broj podataka |
| Vrijeme, troškovi i održavanje su visoki | Vrijeme, troškovi i održavanje su niski. |
Podaci podataka
- Data Mart je također i komponenta za pohranu koja se koristi za pohranu podataka određene funkcije ili dijela koji je u vezi s tvrtkom od strane pojedinog tijela.
- Data mart prikuplja informacije iz Data Warehouse-a i stoga možemo reći da data mart pohranjuje podskup podataka u Data Warehouse.
- Podaci oznake su fleksibilne i male veličine.
3. Skladište podataka
- Data Warehouse je središnja komponenta cjelokupne arhitekture podataka.
- Djeluje kao spremište za pohranu podataka.
- Velike količine podataka pohranjuju se u skladište podataka.
- Ove informacije koriste nekoliko tehnologija poput Big Data-a za koje je potrebna analiza velikih podskupova informacija.
- Data Mart je također model Data Warehouse-a.
Različiti slojevi arhitekture skladišta podataka
Postoje četiri različite vrste slojeva koji će uvijek biti prisutni u arhitekturi skladišta podataka.
1. Sloj izvora podataka
- Sloj izvora podataka je sloj na kojem se nailaze podaci iz izvora i koji se zatim šalju ostalim slojevima radi željenih operacija.
- Podaci mogu biti bilo koje vrste.
- Izvorni podaci mogu biti baza podataka, proračunska tablica ili bilo koje druge vrste tekstualnih datoteka.
- Izvorni podaci mogu biti bilo kojeg formata. Ne možemo očekivati da ćemo dobiti podatke u istom formatu s obzirom na to da su izvori vrlo različiti.
- U stvarnom životu mogu biti neki primjeri izvornih podataka
- Datoteke dnevnika za svaku konkretnu prijavu ili posao ili ulazak poslodavaca u tvrtku.
- Podaci ankete, podaci o burzi itd.
- Podaci web preglednika i još mnogo toga.
2. Sloj stadija podataka
Sljedeći koraci odvijaju se u sloju faze podataka.
1. Vađenje podataka
Podaci koje primi izvorni sloj unose se u fazni sloj gdje je prvi postupak koji se odvija s dobivenim podacima ekstrakcija.
2. Baza slijetanja
- Izdvojeni podaci privremeno se pohranjuju u odredišnu bazu podataka.
- Dohvaća podatke nakon izvlačenja podataka.
3. Područje inscenacije
- Uzimaju se podaci u zbirnoj bazi podataka i na području postupanja obavlja se nekoliko provjera kvalitete i postupki postupanja.
- Struktura i shema su također identificirani i vrši se prilagođavanje nekorištenih podataka, čime se pokušava stvoriti zajedničko među dobivenim podacima.
- Imati mjesto ili postaviti podatke neposredno prije transformacije i promjena dodatna je prednost zbog čega je postupak postavljanja vrlo važan.
- Olakšava obradu podataka.
4. ETL
- To je vađenje, pretvaranje i opterećenje.
- ETL Alati koriste se za integraciju i obradu podataka gdje se logika primjenjuje na prilično sirove, ali pomalo uređene podatke.
- Ti se podaci izvlače prema analitičkoj prirodi koji su potrebni i pretvaraju se u podatke za koje se smatra da su prikladni za pohranjivanje u skladište podataka.
- Nakon Transformacije, podaci ili bolje rečeno podaci se konačno učitavaju u skladište podataka.
- Neki primjeri ETL alata su Informatica, SSIS itd.
3. Sloj za pohranu podataka
- Obrađeni podaci pohranjuju se u skladište podataka.
- Ovi se podaci s određenom strukturom čiste, transformiraju i pripremaju i na taj način pružaju mogućnost poslodavcima da koriste podatke kako to zahtijeva Poslovni.
- Ovisno o pristupu Arhitekture, podaci će se pohraniti u Data Warehouse i Data Marts. O podacima podataka bit će razmatrani u kasnijim fazama.
- Neki uključuju i operativnu pohranu podataka.
4. Sloj prezentacije podataka
- Ovaj sloj gdje korisnici stupaju u interakciju s podacima pohranjenim u skladištu podataka.
- Za dobivanje različitih vrsta podataka na temelju podataka koristit će se upiti i nekoliko alata.
- Podaci do korisnika stižu grafičkim prikazom podataka.
- Alati za izvješćivanje koriste se za dobivanje poslovnih podataka, a poslovna se logika također primjenjuje za prikupljanje nekoliko vrsta informacija.
- U ovom sloju se održavaju i promatraju meta podaci i podaci o radu i performanse sustava.
Zaključak
Važna stvar o skladištu podataka je njegova učinkovitost. Da bismo stvorili učinkovit skladište podataka, konstruiramo okvir poznat kao okvir poslovne analize. Postoje četiri vrste gledišta u pogledu dizajna skladišta podataka.
1. Pogled odozgo prema dolje: ovaj prikaz omogućuje samo određene informacije potrebne za skladište podataka.
2. Prikaz izvora podataka: ovaj prikaz prikazuje sve podatke iz izvora podataka o načinu pretvaranja i pohranjivanja.
3. Prikaz skladišta podataka: Ovaj prikaz prikazuje informacije prisutne u skladištu podataka kroz tablice činjenica i tablice dimenzija.
4. Pregled poslovnih upita: ovo je prikaz koji prikazuje podatke s korisničke točke gledišta.
Preporučeni članci
Ovo je vodič za arhitekturu skladišta podataka. Ovdje smo razgovarali o različitim vrstama pogleda, slojeva i slojeva arhitekture skladišta podataka. Možete i proći naše druge predložene članke da biste saznali više -
- Karijera u skladištenju podataka
- Kako funkcionira JavaScript
- Intervjui s skladištem podataka
- Što je Panda