Haldusteave
| Ametinimetus | Hüperparameetri häälestamine |
| Kestus | 60 |
| Moodul | B |
| Õppetunni liik | Õpetus |
| Keskendumine | Tehniline – sügav õpe |
| Teema | Hüperparameetri häälestamine |
Võtmesõnad
Hüperparameetri häälestamine, aktiveerimisfunktsioonid, kadu, ajastus, partii suurus,
Õpieesmärgid
- Uurida mõju võimsusele ja sügavusele
- Kogemus erinevate ajastute ja partiide suurusega
- Proovi erinevaid aktiveerimisfunktsioone ja õpikiirusi
Eeldatav ettevalmistamine
Õppeüritused, mis tuleb lõpetada enne
Kohustuslik õpilastele
Puudub.
Valikuline õpilastele
Puudub.
Viited ja taust õpilastele
- John D Kelleher ja Brain McNamee. (2018), Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Meelekindluse ajakirjandus, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Süvaõpe Keras, Packt, [ISBN: 9781787128422].
Soovitatav õpetajatele
Puudub.
Õppematerjalid
Juhised õpetajatele
- See õpetus tutvustab õpilastele hüperparameetri tunning põhialuseid kunstliku närvivõrgu jaoks. See õpetus koosneb mitmest hüperparameetrist ja seejärel hindamisest, kasutades samu mudeleid nagu loeng (lektor 3). See õpetus keskendub hüperparameetrite süstemaatilisele muutmisele ja diagnostiliste kruntide hindamisele (kasutades kadu – kuid seda saab täpsuse huvides hõlpsasti muuta, kuna see on klassifitseerimisprobleem), kasutades loendusandmestikku. Selle juhendaja lõpus (sammult näited) eeldatakse, et õpilased täidavad praktilise õigluse täiendava hindamisega (tuginedes alakogumi tulemuslikkuse hindamisele).
- Märkused:
- Andmekogumis toimub eeltöötlemine (lisatud sülearvutisse), kuid see on minimaalne, et andmestik töötaks ANNiga. See ei ole kõikehõlmav ega sisalda ühtegi hindamist (erapooletus/õiglus).
- Me kasutame diagnostilised graafikud, et hinnata mõju hüperparameeter tunning ja eriti keskenduda kaotus, kus tuleb märkida, et moodul, mida me kasutame joonistada kadu on matplotlib.pyplot, seega telg on skaleeritud. See võib tähendada, et koolituse või katseandmete kadumise võrdlemisel ei pruugi olulised erinevused olla märkimisväärsed või vastupidi.
- Esitatakse mõned tellingute vabadused, näiteks Epochsi kasutamine kõigepealt (peaaegu seadustamistehnikana), säilitades samas partii suuruse konstantsena.
- Selgete näidete esitamiseks (st ülepaigaldamine) võib olla lisatud mõned täiendavad tweaks teistele hüperparameetritele, et anda näidete jaoks selged diagnostilised graafikud.
- Kui on kindlaks tehtud mõistlik võimsus ja sügavus, on nii see kui ka muud hüperparameetrid lukustatud, et võimaluse korral näiteid järgida.
- Lõpuks, mõned rakud võivad võtta aega, et treenida, isegi GPU juurdepääsu.
- Õpilased esitatakse mitu sammu juhendaja:
- Etapp: Täiskasvanute loenduse andmekogumi mõned põhilised eeltöötlused
- Etapp: Võimsus ja sügavus tunning (sealhulgas järgmised näited):
- Ühtlustumine puudub
- Alasobivus
- Ülepaigaldamine
- Lähenemine
- Etapp: Epohhid (üle ja koolitusel, kuid ei tutvusta seda kui ametlikku seadustamistehnikat)
- Etapp: Aktiveerimisfunktsioonid (seoses jõudlusega – koolitusaeg ja mõnel juhul kadumine)
- Etapp: Õpitulemused (sealhulgas järgmised näited):
- SGD Vanilla
- SGD õppekiiruse langusega
- SGD hoogsalt
- Kohanemisvõimelised õppemäärad:
- RMSProp
- AdaGrad
- Adam
- Nende viie osa alameesmärgid on anda õpilastele näiteid ja kogemusi tunningi hüperparameetrite kohta ja hinnata mõju diagnostiliste kruntide abil.
Kontuur
| Kestus (Min) | Kirjeldus |
|---|---|
| 5 | Andmete eeltöötlemine |
| 10 | Võimsus ja sügavus tunning (paigaldise all ja kohal) |
| 10 | Epohhid (koolitusel ja koolitusel) |
| 10 | Partii suurused (müra summutamiseks) |
| 10 | Aktiveerimisfunktsioonid (ja nende mõju jõudlusele – aeg ja täpsus) |
| 10 | Õppekiirused (vanilla, LR Decay, Momentum, adaptiivne) |
| 5 | Võtke kokku mõned põhilised hüperparameetrid (ReLu, Aadam) ja teiste tunning (võimsus ja sügavus). |
Tunnustused
Inimkeskse tehisintellekti magistriprogrammi kaasfinantseeris Euroopa Liidu Ühendamise Rahastu toetusega CEF-TC-2020–1 „Digioskused 2020“-EU-IA-0068.