Razlike između pretvaranja teksta u odnosu na Text Analytics
Strukturirani podaci postoje od ranih 1900-ih, ali ono što je učinilo rudarstvo teksta i analitiku teksta toliko posebnim je da iskorištavanje podataka iz nestrukturiranih podataka (Obrada prirodnog jezika). Jednom kada budemo u stanju pretvoriti ovaj nestrukturirani tekst u polustrukturirane ili strukturirane podatke, bit će dostupan za primjenu svih algoritama za iskopavanje podataka, npr. Statistički i algoritmi strojnog učenja.
Čak je i Donald Trump mogao iskoristiti podatke i pretvoriti ih u informacije koje su mu pomogle da pobijedi na američkim predsjedničkim izborima, u osnovi to nije učinio kao što su radili njegovi podređeni. Tu je vrlo dobar članak http://fivethirtyeight.com/features/the-real-story-of-2016/ koji možete proći kroz njega.
Mnoge su tvrtke počele koristiti rudarstvo teksta kako bi koristile vrijedne unose iz teksta dostupnog vani, na primjer, tvrtka koja se bazira na proizvodima može koristiti podatke Twittera / Facebooka da bi znala koliko je dobro ili loše njihov proizvod vani u svijetu koristeći Sentimental Analiza. U ranim je danima obrada trajala puno vremena, dana, u stvari da bismo obradili ili čak implementirali algoritme strojnog učenja, ali uvođenjem alata kao što su Hadoop, Azure, KNIME i drugih velikih softvera za obradu podataka rudarstvo teksta steklo je ogromnu popularnost na tržištu. Jedan od najboljih primjera tekstualne analitike pomoću asocijacijskog rudarstva je Amazonov mehanizam preporuka gdje on svojim kupcima automatski daje preporuke što su drugi kupili za kupnju bilo kojeg određenog proizvoda.
Jedan od najvećih izazova primjene alata za ispis teksta na nešto što nije u digitalnom formatu / na računalnom pogonu je postupak izrade. Stare arhive i mnogi važni dokumenti koji su dostupni samo na papirima ponekad se čitaju kroz OCR (optičko prepoznavanje znakova) koji imaju mnogo pogrešaka, a ponekad se podaci unose ručno, što je sklon ljudskim greškama. Razlog zbog kojeg to želimo jest taj što ćemo možda moći izvući druge uvide koji nisu vidljivi iz tradicionalnog čitanja.
Neki od koraka unosa teksta su u nastavku
- Povrat informacija
- Priprema i čišćenje podataka
- Segmentacija
- Tokenization
- Brojevi zaustavnih riječi i uklanjanje interpunkcijskih riječi
- proizlazi
- Pretvori u mala slova
- POS označavanje
- Stvorite tekstualni korpus
- Termin-dokument matrica
A u nastavku su koraci u tekstu Text Analytics koji se primjenjuju nakon pripreme terminske matrice dokumenta
- Modeliranje (ovo može uključivati inferencijalne modele, prediktivne modele ili modele propisa)
- Obuka i evaluacija modela
- Primjena ovih modela
- Vizualizacija modela
Jedino čega se uvijek treba sjećati je da vađenje teksta uvijek prethodi analizi teksta.
Usporedba između pretvaranja teksta i Text Analytics (Infographics)
Ispod je 5 usporedba između predviđanja teksta predviđanja i Text Analytics 
Ključne razlike između Text Mining i Text Analytics
Razlikujmo izvlačenje teksta i analizu teksta na temelju koraka koji su uključeni u nekoliko aplikacija u kojima se primjenjuju oba ispisa teksta i analitika teksta:
• Klasifikacija dokumenata
U ovom su koraku uključeni u rudarstvo teksta tokenizacija, zaustavljanje i lematizacija, uklanjanje zaustavnih riječi i interpunkcija te napokon izračunavanje matrice terminala ili matrica frekvencije dokumenta.
Tokenizacija - Proces dijeljenja cijelih podataka (korpusa) u manje dijelove ili manje riječi obično se pojedinačne riječi nazivaju tokenizacija (N-Gram model ili Model vrećice riječi)
Slaganje i Lematizacija - Na primjer, riječi velike i najveće sve znače isto i formirat će duplicirane podatke, a da bi podaci ostali suvišni radimo lematizaciju povezujući riječi s korijenskom riječi.
Uklanjanje zaustavnih riječi - Zaustavne riječi ne koriste se u analitici koja će uključivati riječi poput, je, itd.
Terminske frekvencije - Ovo je matrica koja zaglavlja redaka sadrži kao nazive dokumenata i stupce kao pojmove (riječi), a podaci su učestalost riječi koje se pojavljuju u tim određenim dokumentima. Ispod je snimka zaslona. 
Na gornjoj slici imamo atribute u redovima (riječi) i broj dokumenta kao stupce, a riječ učestalost kao podatke.
Sada do analitike teksta imamo sljedeće korake koje je potrebno uzeti u obzir
Klasteriranje - Korištenjem K-znači klasteriranje / Neuronske mreže / CART (stabla klasifikacije i regresije) ili bilo koji drugi algoritam klasteriranja sada možemo grupirati dokumente na temelju značajki koje su generirane (ovdje su značajke riječi).
Evaluacija i vizualizacija - Mi crtamo klaster u dvije dimenzije i gledamo kako se ti klasteri međusobno razlikuju. Ako model dobro drži testne podatke, možemo ga uvesti u proizvodnju i bit će to dobar klasifikator dokumenata koji će klasificirati sve nove dokumenata koji se daju kao ulaz i to bi samo imenovalo skup u koji će ući.
• Analiza osjećaja
Jedan od najmoćnijih alata na tržištu koji pomaže u obradi podataka na Twitteru / Facebooku ili bilo kojeg drugog podataka koji se koristi za izvlačenje osjećaja iz toga je li osjećaj dobar, loš ili neutralan prema bilo kojem određenom procesu / proizvodu ili se osoba analizira sentimentalno.
Izvor podataka lako je dostupan upotrebom twitter API / Facebook API-ja za dobivanje tweetova / komentara / lajkova itd. Na tvitu ili postu kompanije. Glavni problem je što je te podatke teško strukturirati. Podaci bi sadržavali i razne reklame, a znanstvenik koji radi za tvrtku mora se pobrinuti da se odabir podataka izvrši na pravilan način, tako da samo odabrani tweetovi / postovi prolaze kroz faze predobrade.
Ostali alati uključuju Web-struganje, ovo je dio pretraživanja teksta u kojem podatke indeksirate s web mjesta pomoću alata za indeksiranje.
Proces iskopavanja teksta ostaje isti kao tokenizacija, zaustavljanje i lemmatizacija, uklanjanje zaustavnih riječi i interpunkcija i konačno računanje, pojava frekvencijske matrice ili matrice učestalosti dokumenata, ali jedina razlika dolazi tijekom primjene analize osjećaja.
Obično dajemo ocjenu bilo kojem postu / tvitu. Obično kada kupite proizvod i pregledate ako vam se također daje mogućnost davati zvjezdice recenziji i objaviti komentar. Google, Amazon i druge web stranice upotrebljavaju zvijezde za ocjenu komentara, a ne samo to, oni također uzimaju tweetove / postove i daju ih ljudskim bićima kako bi ih ocijenili dobrim / lošim / neutralnim i na češljanju ova dva rezultata stvaraju novi rezultat u bilo kojem tvitu / postu.
Vizualizacija analize raspoloženja može se provesti korištenjem riječnog oblaka, šipke grafikona frekvencije terminske matrice.
• Udruženje rudarske analize
Jedna od aplikacija na kojoj su neki momci radili bio je „Vjerojatni model neželjenih događaja droga“ u kojem se može provjeriti koji neželjeni događaji mogu izazvati druge štetne događaje ako se uzme neki određeni lijek.
Isključivanje teksta uključivalo je dolje tijek rada
Iz gornje slike možemo vidjeti da sve do iskopavanja podataka svi koraci pripadaju vađenju teksta koji identificira izvor podataka, izdvaja ih i priprema za analizu.
Zatim primjenjujući udruživanje rudarstva imamo sljedeći model
Kao što vidimo da neke oznake strelice pokazuju prema narančastom krugu, a zatim jedna strelica usmjerava prema bilo kojem određenom ADE-u (štetni događaj droge). Ako uzmemo primjer na lijevoj donjoj strani slike možemo pronaći apatiju, asteniju i osjećaj abnormalnosti dovodi do osjećaja krivice, pa može se reći da je to očito, to je očito jer kao čovjek možeš protumačiti i povezati, ali ovdje stroj tumači to i daje nam sljedeći štetni lijek.
Primjer riječi oblak je kao u nastavku
Tablica za usporedbu između Tekst rudarstvo i Text Analytics
Ispod su popisi točaka, opišite usporedbe između Text Mining i Text Analytics:
| Osnove za usporedbu | Tekst rudarstvo | Tekst Analytics |
|
Značenje | Iskopavanje teksta u osnovi je čišćenje podataka kako bi bili dostupni za analizu teksta | Text Analytics primjenjuje statističke i strojne tehnike učenja kako bi mogao predvidjeti / propisati ili izvući bilo kakve podatke iz tekstualnih podataka. |
|
Koncept | Iskopavanje teksta alat je koji pomaže u čišćenju podataka. | Tekst Analytics je proces primjene algoritama |
|
Okvir | Ako govorimo o okviru, vađenje teksta je slično ETL-u (Extract Transform Load), što znači da se može umetnuti podatak u bazu podataka | Analiza teksta, ovi podaci koriste se za dodavanje vrijednosti tvrtki, na primjer, stvaranje oblaka riječi, bi-grama grafikona frekvencije, N-grama u nekim slučajevima |
|
Jezik | Python i R su najpoznatiji alati za vađenje teksta za vađenje teksta | Za analizu teksta, kad su podaci dostupni na razini baze podataka, tada možemo koristiti bilo koji analitički softver, uključujući python i R. Ostali softver uključuje Power BI, Azure, KNIME itd. |
|
Primjeri |
|
|
Zaključak - Tekst Mining vs Text Analytics
Budućnost vađenja teksta i analitike teksta ne odnosi se samo na engleski jezik, već je i u toku neprekidno napredovanje i upotrebom jezičnih alata ne smatraju se previše engleski jezici previše za analizu.
Opseg i budućnost vađenja teksta će rasti s obzirom da ima ograničenih resursa za analizu drugih jezika.
Text Analytics ima vrlo širok raspon na kojem se može primijeniti, neki od primjera industrija u kojima se to može koristiti su:
- Praćenje društvenih medija
- Pharma / Biotech aplikacije
- Poslovne i marketinške aplikacije
Preporučeni članak
Ovo je vodič za razliku između pretvaranja teksta u odnosu na Text Analytics, njihovog značenja, usporedbe između glave, ključnih razlika, tablice usporedbe i zaključka. Možete pogledati i sljedeće članke da biste saznali više -
- Azure Paas vs Iaas - saznajte razlike
- Najbolje 3 stvari koje treba naučiti o Rudarstvu podataka u odnosu na Rudarstvo teksta
- Znajte najbolje 7 razlike između Data Mining VS analize podataka
- Poslovna inteligencija u odnosu na strojno učenje - koji je bolji
- Prediktivna analitika u odnosu na istraživanje podataka - koji je korisniji