Uvod u ograničeni Boltzmannov stroj

Ograničeni Boltzmannov stroj je metoda koja može automatski pronaći obrasce u podacima rekonstruirajući naš unos. Geoff Hinton je osnivač dubokog učenja. RBM je površna dvoslojna mreža u kojoj je prvi vidljiv, a drugi skriveni sloj. Svakom čvoru u vidljivom sloju pridružuje se svaki čvor u skrivenom sloju. Ograničeni Boltzmannov stroj smatra se ograničenim jer dva čvora istog sloja ne tvore vezu. RBM je brojčani ekvivalent dvosmjernog prevoditelja. Na putu prema naprijed, RBM prima ulaz i pretvara ga u skup brojeva koji kodira ulaz. Na povratnom putu to uzima kao rezultat i obrađuje ovaj skup ulaza i prevodi ih obrnuto kako bi formirao uvučene ulaze. Super uvježbana mreža moći će izvršavati ovaj preokret s velikom vjerodostojnošću. U dva koraka težina i vrijednosti imaju vrlo važnu ulogu. Omogućuju RBM-u da dekodira međusobne odnose između ulaza i također pomažu da RBM odluči koje su ulazne vrijednosti najvažnije za otkrivanje ispravnih izlaza.

Rad strojeva s ograničenom kontrolom Boltzmanna

Svaki pojedini vidljivi čvor prima nisku vrijednost od čvora u skupu podataka. Na prvom čvoru nevidljivog sloja X nastaje kao rezultat mase i dodaje se pristranosti. Ishod ovog procesa dovodi se do aktiviranja koja proizvodi snagu datog ulaznog signala ili izlaza čvora.

U sljedećem procesu na jednom skrivenom čvoru pridružilo bi se nekoliko ulaza. Svaki X je kombiniran s pojedinačnom težinom, dodavanje proizvoda je uklopljeno u vrijednosti i rezultat se ponovo provodi aktivacijom kako bi se dobio izlaz čvora. Na svakom nevidljivom čvoru svaki je ulaz X kombiniran s pojedinačnom težinom W. Ulaz X ovdje ima tri utega, što zajedno čini dvanaest. Težina formirana između sloja postaje niz u kojem su redovi točni za ulazne čvorove, a stupci su zadovoljni za izlazne čvorove.

Svaki nevidljivi čvor dobiva četiri odgovora pomnoženo s njihovom težinom. Dodavanje ovog efekta ponovno se dodaje vrijednosti. To djeluje kao katalizator da se dogodi neki proces aktivacije, a rezultat se ponovno daje algoritmu aktivacije koji stvara svaki izlaz za svaki pojedinačni nevidljivi ulaz.

Prvi ovdje izvedeni model je energetski zasnovan model. Ovaj model povezuje skalarnu energiju sa svakom konfiguracijom varijable. Ovaj model definira distribuciju vjerojatnosti pomoću energetske funkcije kako slijedi,

(1)

Ovdje je Z faktor normalizacije. To je funkcija particije u smislu fizičkih sustava

U ovoj funkciji koja se temelji na energiji slijedi logistička regresija da će prvi korak definirati log. vjerojatnost i sljedeća će funkcija gubitka definirati kao negativnu vjerojatnost.

koristeći stohastički gradijent, gdje jesu parametri,

energetski zasnovan model sa skrivenom jedinicom definiran je kao 'h'

Promatrani dio označavamo s 'x'

Iz jednadžbe (1) je jednadžba slobodne energije F (x) definirana na sljedeći način

(2)

(3)

Negativni gradijent ima sljedeći oblik,

(4)

Gornja jednadžba ima dva oblika, pozitivni i negativni oblik. Pojam pozitivno i negativno nije predstavljeno znakovima jednadžbi. Oni pokazuju učinak gustoće vjerojatnosti. Prvi dio prikazuje vjerojatnost smanjenja odgovarajuće slobodne energije. Drugi dio pokazuje smanjenje vjerojatnosti dobivanja uzoraka. Tada se gradijent utvrđuje na sljedeći način:

(5)

Ovdje je N negativna čestica. U ovom je energetski utemeljenom modelu teško utvrditi gradijent jer uključuje izračun

Dakle, u ovom EBM modelu imamo linearno promatranje koje ne može precizno prikazati podatke. Dakle, u sljedećem modelu Ograničeni Boltzmannov stroj, Hidden sloj više ima visoku točnost i sprečava gubitak podataka. Energetska funkcija RBM definirana je kao,

(6)

Ovdje W predstavlja težinu koja povezuje vidljivi i skriveni sloj. b je offset vidljivog sloja.c je offset skrivenog sloja. pretvaranjem u besplatnu energiju,

U RBM-u su jedinice vidljivog i skrivenog sloja potpuno neovisne što se može napisati na sljedeći način:

Iz jednadžbe 6 i 2, vjerojatna verzija funkcije aktiviranja neurona,

(7)

(8)

To se dalje pojednostavljuje u

(9)

Kombinirajući jednadžbe 5 i 9,

(10)

Uzorkovanje u stroju s ograničenom Boltzmannom

Gibbsovo uzorkovanje zgloba N slučajnih varijabli vrši se kroz niz N-koraka uzorkovanja obrasca gdje

sadrži ostale slučajne varijable u isključujući.

U RBM-u S je skup vidljivih i skrivenih jedinica. Dva su dijela neovisna koji mogu izvoditi ili blokirati Gibbsovo uzorkovanje. Ovdje vidljiva jedinica vrši uzorkovanje i daje fiksnu vrijednost skrivenim jedinicama, istovremeno skrivene jedinice daju fiksne vrijednosti vidljivoj jedinici uzorkovanjem

ovdje, je skup svih skrivenih jedinica. Primjer nasumično je odabrano da je 1 (prema 0) s vjerojatnošću, i slično, nasumično je odabrano da je 1 (prema 0) s vjerojatnošću

Kontrastivna divergencija

Koristi se kao katalizator za ubrzavanje procesa uzorkovanja
Budući da očekujemo da je istina, očekujemo vrijednost raspodjele biti blizu P tako da formira konvergenciju do konačne raspodjele P

Ali, kontrastivna divergencija ne čeka da se lanac konvergira. Uzorak se dobiva tek nakon Gibbovog postupka, pa smo ovdje postavili k = 1, gdje djeluje iznenađujuće dobro.

Trajna kontrastivna divergencija

Ovo je još jedna metoda oblika aproksimacijskog uzorkovanja. To je trajno stanje za svaku metodu uzorkovanja izvađuje nove uzorke jednostavnom promjenom parametara K.

Slojevi stroja s ograničenim Boltzmannovim strojevima

Ograničeni Boltzmannov stroj ima dva sloja, plitke neuronske mreže koje se kombiniraju i tvore blok mreža dubokih uvjerenja. Prvi sloj je vidljivi sloj, a drugi sloj je skriveni sloj. Svaka jedinica odnosi se na neuronski krug koji se naziva čvor. Čvorovi iz skrivenog sloja povezani su s čvorovima iz vidljivog sloja. Ali dva čvora istog sloja nisu povezana. Ovdje se pojam Ograničeno odnosi na nikakvu unutar slojevitu komunikaciju. Svaki čvor obrađuje ulaz i donosi stohastičku odluku hoće li prenijeti ulaz ili ne.

Primjeri

Važna uloga RBM-a je raspodjela vjerojatnosti. Jezici su jedinstveni po svojim slovima i zvukovima. Raspodjela vjerojatnosti slova može biti visoka ili niska. U engleskom jeziku široko se koriste slova T, E i A. Ali na islandskom su uobičajena slova A i N. pa ne možemo pokušati rekonstruirati islandski uteg na temelju engleskog. To će dovesti do divergencije.

Sljedeći primjer su slike. Raspodjela vjerojatnosti njihove vrijednosti piksela razlikuje se za svaku vrstu slike. Možemo uzeti u obzir da postoje dvije slike slona i psa za vučne čvorove, prednji prolaz RBM stvorit će pitanje poput treba li stvoriti snažan piksel čvor za slonov čvor ili pseći čvor ?. Tada će prolazak unatrag stvoriti pitanja poput slona, ​​kako da očekujem raspodjelu piksela? Tada će s zajedničkom vjerojatnošću i aktivacijom čvorova stvoriti mrežu s zajedničkim pojavljivanjem velikih ušiju, siva nelinearna cijev, diskete i bore je slon. Dakle, RBM je proces dubokog učenja i vizualizacije koji stvaraju dvije glavne pristranosti i djeluju na njihovo značenje aktiviranja i obnove.

Prednosti stroja s ograničenom kontrolom Boltzmanna

  • Ograničeni Boltzmannov stroj primjenjuje se algoritam koji se koristi za klasifikaciju, regresiju, modeliranje tema, kolaborativno filtriranje i učenje značajki.
  • Ograničeni Boltzmannov stroj koristi se za neuro-snimanje, rijetku rekonstrukciju slike u planiranju mina, kao i za prepoznavanje radara.
  • RBM je u mogućnosti riješiti problem neuravnoteženih podataka po SMOTE proceduri
  • RBM pronalaze nedostajuće vrijednosti Gibbovim uzorkovanjem koje se primjenjuju za pokrivanje nepoznatih vrijednosti
  • RBM prevladava problem bučnih naljepnica nepotvrđenim podacima etiketa i njihovim pogreškama obnove
  • Problem nestrukturiranih podataka otklanja se pomoću ekstraktora značajki koji pretvara neobrađene podatke u skrivene jedinice.

Zaključak

Duboko učenje je vrlo moćno što je umijeće rješavanja složenih problema, ono je još uvijek prostor za usavršavanje i složeno ga je implementirati. Besplatne varijable moraju se pažljivo konfigurirati. Ideje iza neuronske mreže bile su teške ranije, ali danas je duboko učenje podnožje strojnog učenja i umjetne inteligencije. Otuda RBM daje pogled na ogromne algoritme dubokog učenja. Bavi se osnovnom kompozicijskom jedinicom koja je postupno izrasla u mnoge popularne arhitekture i naširoko se koristi u mnogim industrijama velikih razmjera.

Preporučeni članak

Ovo je vodič za ograničeni Boltzmannov stroj. Ovdje smo raspravljali o njegovom radu, uzorkovanju, prednostima i slojevima stroja s ograničenim Boltzmannovim strojevima. Možete i proći kroz naše druge predložene članke da biste saznali više _

  1. Algoritmi strojnog učenja
  2. Arhitektura strojnog učenja
  3. Vrste strojnog učenja
  4. Alati za strojno učenje
  5. Implementacija neuronskih mreža

Kategorija:

Veliki podaci