Pregled strojnog učenja hiperparametara

Za svaki model potrebni su nam neki parametri koji pomažu u pružanju baze za rješenje problema / analize i evaluacije modela. Neke od tih parametara možemo naučiti iz podataka, a neke moramo izrijekom definirati iz svog kraja. Parametri koji se mogu naučiti iz podataka, a da nisu izričito definirani, nazivaju se parametri modela. Parametar koji je izričito definiran od strane korisnika naziva se Hyperparameters. Hiperparametri su također parametri samo u modelu, ali pojam hiperparametri koriste se u strojnom učenju tako da se mogu lako razlikovati i ne brkati s parametrima modela koji su naučeni iz skupa podataka.

Što je hiperparametarsko strojno učenje?

Za većinu okvira u strojnom učenju, hiperparametri nemaju preciznu definiciju. Ovi hiperparametri upravljaju osnovnim sustavom modela koji vodi primarne (modalne) parametre modela. Pokušajmo razumjeti hiperparamere sljedećim primjerom.

  • Ugađanje violine je vrlo važno kada se ona nalazi u fazi učenja jer u tom trenutku stvara veze između različitih osjetila. Uši, prsti i oči istovremeno uče violinu. Sada na početku Privikavanje na zvuk violine izvan tona stvara loš ukus zvuka, što će pokvariti čitav doživljaj zaljubljivanja u proces učenja violine.
  • Zato ugađanje violine doista može pomoći jednom u procesu učenja violine. Na isti način, hiperparametar je svojevrsna prilagodba modela strojnog učenja kako bi se dao pravi smjer.
  • Hiperparametri se općenito definiraju prije primjene algoritma strojnog učenja na skup podataka.
  • Sljedeći zadatak je što bi trebao biti hiperparametar i kolika bi trebala biti njegova vrijednost. Jer se mora znati koje su žice potrebne za napjev i kako napuniti violinu prije nego što je ugađate. Isto se odnosi na hiperparametre, trebamo definirati hiperparametre i koja bi trebala biti njegova vrijednost, u osnovi to ovisi o svakom zadatku i svakom skupu podataka.
  • Da bismo to razumjeli, uzmimo perspektivu optimizacije modela.
  • U provedbi modela strojnog učenja, optimizacija modela igra vitalnu ulogu. Postoji dobar broj grana strojnog učenja koje su isključivo posvećene optimizaciji modela strojnog učenja. Općenito se smatra da za optimizaciju modela moramo izmijeniti kôd kako bi se pogreška svela na najmanju moguću mjeru.
  • Međutim, postoje skriveni elementi koji utječu na optimizaciju strojnog učenja izvan modela i imaju veliki utjecaj na ponašanje modela. Ti se skriveni elementi nazivaju hiperparametrima, to su kritične komponente za optimizaciju bilo kojeg modela strojnog učenja.
  • Hiperparametri su fini podešavači / postavke koje kontroliraju ponašanje modela. Ti hiperparametri su definirani izvan modela, ali imaju izravan odnos s performansama modela. Hiperparametri se mogu smatrati pravokutnim za modeliranje.
  • Kriteriji za definiranje hiperparametra vrlo su fleksibilni i apstraktni. Sigurno postoje neki hiperparametri poput broja skrivenih slojeva, stopa učenja modela koja su dobro uspostavljena, a postoje i neka podešavanja koja se mogu tretirati kao hiperparametar za određeni model, poput kontrole kapaciteta modela.
  • Postoje šanse algoritma da nadjača model ako algoritmi izravno uče kroz postavke. Kako je jasno, hiperparametri se ne uče / podešavaju kroz set za trening, tako se za odabir hiperparametara koristi set testa ili validacije. Širokopojasno smo postavili različite vrijednosti hiperparametara; ona koja najbolje funkcionira sa setom testa ili validacije smatra se našim najboljim hiperparametrom.

Kategorije hiperparametara

Za različite vrste skupova podataka i prema modelu možemo imati različite hiperparametre da bi se poboljšala učinkovitost modela. Široko se hiperparametri mogu svrstati u dvije kategorije.

  • Hiperparametar za optimizaciju
  • Hiperparametri za određene modele

Razgovarajmo o svakom od ovih stvari.

1. Hiperparametri za optimizaciju

Kao što ime sugerira, ovi hiperparametri se koriste za optimizaciju modela.

  • Stopa učenja

Ovaj hiperparametar određuje koliko će novoprimljeni podaci nadjačati stare dostupne podatke. Ako je vrijednost ovog hiperparametra visoka, viša stopa učenja neće optimizirati model pravilno jer postoje šanse da će preskočiti minimale. S druge strane, ako se stopa učenja uzme vrlo manje, konvergencija će biti vrlo spora.

Stopa učenja igra presudnu ulogu u optimizaciji performansi modela, jer u nekim slučajevima modeli imaju stotine parametara (parametri modela) s krivuljom pogreške, stopa učenja odlučit će učestalost unakrsnog provjeravanja sa svim parametrima. Također, teško je pronaći lokalne minimume krivulja pogreške, jer oni obično imaju nepravilne krivulje.

  • Veličina serije

Kako bi se ubrzao proces učenja, set za trening podijeljen je u različite serije. U slučaju stohastičkog postupka treninga modela, mala se serija trenira, procjenjuje i proširuje na način da se podese vrijednosti svih vaših hiperparametara, isto se ponavlja za cijeli set treninga.

Ako je veličina serije veća, to će povećati vrijeme učenja i trebat će više memorije za obradu za množenje matrice. Ako je veličina serije manja, bit će više buke u proračunu pogrešaka.

  • Broj epoha

Epoha predstavlja cjelovit ciklus podataka koji se trebaju naučiti u strojnom učenju. Epohe igraju vrlo važnu ulogu u iterativnom procesu učenja.

Pogreška provjere valjanosti za određivanje pravog broja epoha. Može se povećati broj epoha sve dok postoji smanjenje pogreške u provjeri valjanosti. Ako se pogreška provjere valjanosti ne poboljša za uzastopne epohe, to je signal za zaustavljanje sve većeg broja epoha. Poznato je i kao rano zaustavljanje.

2. Hiperparametri za određene modele

Neki hiperparametri uključeni su u strukturu samog modela. Neke od njih su sljedeće.

  • Broj skrivenih jedinica

Od vitalnog je značaja definirati brojne skrivene jedinice za neuronske mreže u modelima dubokog učenja. Ovaj hiperparametar koristi se za definiranje sposobnosti učenja modela. za složene funkcije moramo definirati brojne skrivene jedinice, ali imajte na umu da ne bi trebao biti prekomjeran model.

  • Broj slojeva

Očito je da će neuronska mreža s 3 sloja dati bolje performanse od one 2 sloja. Povećanje više od 3 ne pomaže toliko u neuronskim mrežama. U slučaju CNN-a, sve veći broj slojeva model čini boljim.

Zaključak

Hiper parametri su izričito definirani prije primjene algoritma strojnog učenja na skup podataka. Hiperparametri se koriste za definiranje složenosti modela i sposobnosti učenja na višoj razini. Hiperparametri mogu biti i postavke za model. Neki su hiperparametri definirani za optimizaciju modela (veličina šarže, brzina učenja itd.), A neki su specifični za modele (Broj skrivenih slojeva itd.).

Preporučeni članci

Ovo je vodič za hiperparametarno strojno učenje. Ovdje raspravljamo o pregledu i onome što je hiperparametarno strojno učenje s njegovim kategorijama. Možete pogledati i sljedeće članke da biste saznali više -

  1. Uvod u strojno učenje
  2. Nenadzirano strojno učenje
  3. Vrste algoritama strojnog učenja
  4. Primjene strojnog učenja
  5. Implementacija neuronskih mreža
  6. Najboljih 6 usporedbi CNN-a i RNN-a

Kategorija:

Veliki podaci