Upravne informacije
| Naslov | Nastavitev hiperparametrov |
| Trajanje | 60 |
| Modul | B |
| Vrsta lekcije | Tutorial |
| Osredotočenost | Tehnično – poglobljeno učenje |
| Tema | Nastavitev hiperparametrov |
Ključne besede
Hiperparameter tuning, aktivacijske funkcije, izguba, epohe, velikost serije,
Učni cilji
- Raziskati učinke na zmogljivost in globino
- Experient z različnimi epohami in velikostmi serij
- Preizkušanje različnih aktivacijskih funkcij in učnih stopenj
Pričakovana priprava
Učenje Dogodki, ki jih je treba dokončati pred
Obvezno za študente
Nobenega.
Neobvezno za študente
Nobenega.
Reference in ozadje za študente
- John D Kelleher in Brain McNamee. (2018), Osnove strojnega učenja za napovedno podatkovno analitiko, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Odločni tisk, San Francisco CA ZDA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Globoko učenje s Kerasom, Packt, [ISBN: 9781787128422].
Priporočeno za učitelje
Nobenega.
Gradivo za učne ure
Navodila za učitelje
- Ta vadnica bo učencem predstavila osnove hiperparametrskega tunninga za umetno nevronsko mrežo. Ta vadnica bo sestavljena iz sledi več hiperparametrov in nato vrednotenja z uporabo enakih konfiguracij modelov kot predavanje (predavanje 3). Ta vadnica se bo osredotočila na sistematično spreminjanje hiperparametrov in vrednotenje diagnostičnih diagramov (z uporabo izgube – vendar je to mogoče enostavno spremeniti zaradi natančnosti, saj gre za težavo s klasifikacijo) z uporabo nabora podatkov popisa. Na koncu te vaje (primeri korak za korakom) se bo od študentov pričakovalo, da dokončajo Praktiko z dodatno oceno pravičnosti (na podlagi podsklopa ocenjevanja uspešnosti).
- Opombe:
- Na naboru podatkov se izvaja predobdelava (vključena v zvezek), vendar je to minimum, da nabor podatkov deluje z ANN. To ni celovito in ne vključuje nobenega vrednotenja (pristranskosti/poštenosti).
- Uporabili bomo diagnostične ploskve za oceno učinka hiperparametrskega tunninga in še posebej poudarek na izgubi, kjer je treba opozoriti, da je modul, ki ga uporabljamo za risanje izgube, matplotlib.pyplot, zato se os zmanjša. To lahko pomeni, da se pri primerjavi izgube podatkov o usposabljanju ali testu lahko pojavijo pomembne razlike ali obratno.
- Predstavljene so nekatere svoboščine za odre, kot je uporaba Epohs najprej (skoraj kot tehnika regularizacije), hkrati pa ohranja konstanto velikosti košare.
- Za zagotovitev jasnih primerov (tj. prevelikega opremljanja) so bili morda vključeni nekateri dodatni popravki na druge hiperparametre, da bi zagotovili jasne diagnostične diagrame za primere.
- Ko je bila ugotovljena razumna zmogljivost in globina, so ta in drugi hiperparametri zaklenjeni za naslednje primere, kjer je to mogoče.
- Končno, nekatere celice lahko traja nekaj časa za usposabljanje, tudi z dostopom do GPU.
- Dijaki bodo predstavili več korakov za vadnico:
- Korak 1: Nekatere osnovne predobdelave za nabor podatkov popisa odraslih
- Korak 2: Nastavitev zmogljivosti in globine (vključno z naslednjimi primeri):
- Brez konvergence
- Nezadostno opremljanje
- Prekomerno opremljanje
- Konvergenca
- Korak 3: Epohe (prek usposabljanja in usposabljanja – ne uvajajo ga kot formalne tehnike regularizacije)
- Korak 4: Aktivacijske funkcije (glede zmogljivosti – čas usposabljanja in v nekaterih primerih izguba)
- Korak 5: Stopnje učenja (vključno z naslednjimi primeri):
- SGD Vanilla
- SGD z upadanjem stopnje učenja
- SGD z zagonom
- Prilagoditvene stopnje učenja:
- RMSProp
- AdaGrad
- Adam
- Podcilji za teh pet delov so, da študentom zagotovijo primere in izkušnje pri uglaševanju hiperparametrov in ocenjevanju učinkov z uporabo diagnostičnih diagramov.
Obris
| Trajanje (mini) | Opis |
|---|---|
| 5 | Predhodna obdelava podatkov |
| 10 | Nastavitev zmogljivosti in globine (pod in nad vgradnjo) |
| 10 | Epohe (pod in nad usposabljanjem) |
| 10 | Velikosti serij (za preprečevanje hrupa) |
| 10 | Aktivacijske funkcije (in njihovi učinki na učinkovitost – čas in natančnost) |
| 10 | Stopnje učenja (vanilla, LR Decay, Momentum, Adaptive) |
| 5 | Ponovite nekaj osnovnih hiperparametrov (ReLu, Adam) in uglaševanje drugih (zmogljivost in globina). |
Priznanja
Program Masters umetne inteligence, ki je bil vključen v človeka, je bil sofinanciran z instrumentom za povezovanje Evrope Evropske unije v okviru nepovratnih sredstev (CEF-TC-2020–1 Digital Skills 2020-EU-IA-0068).