Razlika između Mali podaci i veliki podaci
Mali podaci, nisu ništa drugo do podaci koji su dovoljno mali i razumljivi za ljudsku količinu, a također i za formatiranje, što ga čini dostupnim, informativnim i djelotvornim. Tradicionalna obrada podataka ne može se baviti velikim ili složenim podacima, a ovi se podaci nazivaju velikim podacima. Kad količina podataka preraste određenu granicu, tradicionalni sustavi i metodologije nisu dovoljni za obradu podataka ili pretvaranje podataka u koristan format. Zbog toga se podaci uglavnom kategoriziraju na dva - Mali podaci u odnosu na velike podatke
Usporedba između malih podataka i velikih podataka (Infografikama)
Ispod je 10 najboljih razlika između malih podataka i velikih podataka
Ključne razlike između malih podataka i velikih podataka
- Prikupljanje podataka - obično mali podaci dio su OLTP sustava i sakupljaju se na kontroliraniji način, a zatim se ubacuju u sloj predmemoriranja ili u bazu podataka. Baze podataka imat će čitanje replika radi pružanja neposrednih analitičkih upita ako je potrebno. Cevovod za prikupljanje velikih podataka imat će redove poput AWS Kinesis ili Google Pub / Sub za uravnoteženje podataka velike brzine. Nizvodno će imati strujne cjevovode za analitiku u stvarnom vremenu i serijske poslove za hladnu obradu podataka.
- Obrada podataka - Budući da je većina Malih podataka generirana putem sustava transakcija, analitika koja se nalazi na vrhu bit će uglavnom orijentirana prema paketima. U nekim rijetkim slučajevima analitički upiti vrše se izravno na transakcijskim sustavima. U okruženju velikih podataka nalazit će se cjevovodi za serijsku i strujnu obradu. Struja se koristi za analitiku u stvarnom vremenu poput otkrivanja prijevara na kreditnoj kartici ili predviđanja cijena dionica. Paketna obrada koja se koristi za implementaciju složene poslovne logike s podacima i naprednim algoritmima.
- Skalabilnost - Sustavi malih podataka obično se okomito skaliraju. Okomito skaliranje povećava kapacitet sustava dodavanjem više resursa istom stroju. Vertikalno skaliranje je skupo, ali manje složeno za upravljanje. Sustavi velikih podataka uglavnom ovise o vodoravno skalabilnoj arhitekturi koja daje više okretnosti uz manje troškove. Dostupni virtualni strojevi dostupni u oblaku čine horizontalno skalabilne sustave još pristupačnijima.
- Modeliranje podataka - mali podaci generirani iz sustava transakcija bit će u normaliziranom obliku.ETL (Extract Transform Load) cjevovodi podataka pretvaraju ga u shemu zvijezda ili snježne pahulje u skladištu podataka. Ovdje se shema uvijek primjenjuje pri pisanju podataka što je relativno jednostavno, jer su podaci strukturiraniji. Kao što je gore spomenuto, tablični podaci samo su djelić velikih podataka. Ovdje se podaci reproduciraju puno više iz različitih razloga, kao što je primopredaja neuspjeha ili zbog nekog ograničenja mehanizma baze podataka (Na primjer, neke baze podataka podržavaju samo jedan sekundarni indeks po skupu podataka). Shema se ne primjenjuje prilikom pisanja. Umjesto toga, shema je potvrđena dok čitate podatke.
- Spajanje pohrane i računanja - u tradicionalnim bazama podataka koje uglavnom rukuje s malim podacima, pohrana i računanje usko su povezani. Unošenje i preuzimanje podataka u i iz baze podataka moguće je samo kroz dano sučelje. Podaci se ne mogu staviti izravno u datotečni sustav baze podataka ili se postojeći podaci ne mogu upitati koristeći druge DB motore. Zapravo ova arhitektura uvelike pomaže osigurati integritet podataka. Sustavi velikih podataka imaju vrlo labav spoj između pohrane i računanja. Podaci se obično pohranjuju u distribuiranom sustavu za pohranu podataka kao što su HDFS, AWS S3 ili Google GCS i izračunavaju mehanizam za pretraživanje podataka ili odabir ETL-a koji je odabran kasnije. Na primjer, interaktivni upiti mogu se izvršavati pomoću Presto (Link) i ETL koristeći Apache Hive na istim podacima.
- Znanost o podacima - algoritmi strojnog učenja zahtijevaju ulazne podatke u dobro strukturiranom i pravilno kodiranom formatu, a većina vremena ulazni podaci bit će iz oba transakcijskog sustava poput skladišta podataka i velike pohrane podataka poput jezera podataka. Algoritmi strojnog učenja koji rade samo na malim podacima bit će jednostavni jer je faza pripreme podataka uska. Priprema i obogaćivanje podataka u okruženju Big Data zahtijeva mnogo više vremena. Veliki podaci pružaju puno mogućnosti eksperimentiranja s podacima o znanosti zbog velike količine i raznolikosti podataka.
- Sigurnost podataka - sigurnosne prakse za male podatke koji se nalaze u poslovnom skladištu podataka ili transakcijskim sustavima koje pružaju odgovarajući davatelji baza podataka koji mogu uključivati korisničke privilegije, šifriranje podataka, hashpiranje itd. Osiguravanje velikih podataka je mnogo složenije i zahtjevnije. Najbolje sigurnosne prakse uključuju šifriranje podataka u mirovanju i tranzitu, izoliranje klaster mreže, stroga pravila kontrole pristupa itd.
Tabela za usporedbu malih podataka i velikih podataka
| Osnove usporedbe | Mali podaci | Veliki podaci |
| definicija | Podaci koji su "mali" dovoljno za ljudsko razumijevanje. U obimu i formatu koji ga čine dostupnim, informativnim i djelotvornim | Skupovi podataka su toliko veliki ili složeni da se tradicionalne aplikacije za obradu podataka ne mogu baviti njima |
| Izvor podataka | ● Podaci iz tradicionalnih poslovnih sustava poput Planning Planiranje resursa u poduzeću ○ Upravljanje odnosima s klijentima (CRM) ● Financijski podaci poput podataka iz glavne knjige ● Podaci o platnoj transakciji s web stranice | ● Podaci o kupnji na prodajnom mjestu ● Clickstream podaci s web mjesta ● Podaci GPS stream - podaci o mobilnosti poslani na poslužitelj ● Društveni mediji - facebook, twitter |
| Svezak | Većina slučajeva u rasponu od nekoliko desetaka ili stotina GB.Neki slučaj malih TB-ova (1 TB = 1000 GB) | Više od nekoliko terabajta (TB) |
| Velocity (brzina prikazivanja podataka) | ● Kontroliran i stabilan protok podataka ● Akumulacija podataka je spora | ● Podaci mogu stići vrlo velikim brzinama. ● Ogromni podaci mogu se akumulirati u vrlo kratkom vremenu |
| Raznolikost | Strukturirani podaci u tabličnom obliku s fiksnom shemom i polustrukturiranim podacima u JSON ili XML formatu | Skupovi podataka velike raznolikosti koji uključuju tablične podatke, tekstualne datoteke, slike, video, audio, XML, JSON, zapise, podatke senzora itd. |
| Istinitost (kvaliteta podataka) | Sadrži manje buke kao podaci prikupljeni na kontrolirani način. | Kvaliteta podataka obično nije zajamčena. Prije obrade potrebna je stroga provjera podataka. |
| Vrijednost | Poslovna inteligencija, analiza i izvještavanje | Složeni rudari podataka za predviđanje, preporuku, pronalazak uzorka itd. |
| Vremenska varijanca | Povijesni podaci podjednako vrijede kao i podaci predstavljaju solidne poslovne interakcije | U nekim slučajevima podaci postaju stariji (Npr. Otkrivanje prijevara). |
| Lokacija podataka | Baze podataka unutar poduzeća, lokalni poslužitelji itd. | Uglavnom u distribuiranim spremištima na Cloudu ili u vanjskim datotečnim sustavima. |
| Infrastruktura | Predvidljiva raspodjela resursa. Najviše vertikalno skalabilni hardver | Fleksibilnija infrastruktura s horizontalno skalabilnom arhitekturom. Opterećenje na sustavu uvelike varira. |
Zaključak - Mali podaci u odnosu na velike podatke
Krajnji je cilj za analizu podataka dobiti pravovremeni uvid u podršku odlučivanju. Kategoriziranje podataka u Mali i Veliki pomaže u rješavanju izazova u analizi podataka zasebno svakog svijeta s odgovarajućim alatima. Linija između dvije kategorije varira od naprednih naprednih sustava za obradu podataka što čak i velike upite podataka čine mnogo bržim i manje složenim.
Preporučeni članci:
Ovo je vodič za male podatke u odnosu na velike podatke, njihovo značenje, usporedbu između glave, ključne razlike, tablicu usporedbe i zaključak. ovaj članak uključuje sve važne razlike između malih podataka i velikih podataka. Možete pogledati i sljedeće članke da biste saznali više -
- Veliki podaci u odnosu na znanost podataka - u čemu se razlikuju?
- Veliki podaci: Važno je povezanost tehnološke i poslovne analitike
- Top 5 trendova velikih podataka koje će tvrtke morati savladati
- 16 zanimljivih savjeta za pretvaranje velikih podataka u veliki uspjeh