Adminisztratív információk
| Cím | Hiperparaméter tuning |
| Időtartam | 60 |
| Modul | B |
| Lecke típusa | Előadás |
| Fókusz | Technikai – Mély tanulás |
| Téma | Hiperparaméter tuning |
Kulcsszó
Hiperparaméter tuning, aktiválási funkciók, veszteség, korszakok, tételméret,
Tanulási célok
- A kapacitásra és a mélységre gyakorolt hatások vizsgálata
- Tapasztalat változó korszakokkal és tételméretekkel
- Különböző aktiválási funkciók és tanulási arányok kipróbálása
Várható előkészítés
Az előtt befejezendő tanulási események
Kötelező a diákok számára
Egy sem.
Választható diákok számára
Egy sem.
Referenciák és háttér a diákok számára
- John D Kelleher és Brain McNamee. (2018), A gépi tanulás alapjai a prediktív adatelemzéshez, MIT Press.
- Michael Nielsen vagyok. (2015), Neural Networks and Deep Learning, 1. Eltökélt sajtó, San Francisco CA USA.
- Charu C. Aggarwal vagyok. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Mély tanulás Keras, Packt, [ISBN: 9781787128422].
Ajánlott tanároknak
Egy sem.
Leckeanyagok
Utasítások tanároknak
Ez az előadás bemutatja a hallgatókat a hiperparaméter tuning alapjaira. A Census Dataset használjuk a különböző hiperméterek használatának és eredményeinek példájaként. A Felnőtt népszámlálás adatkészlete bináris osztályozási probléma. További információ erről az adatkészletről a megfelelő bemutatóban. Ennek az előadásnak az a célja, hogy számos hiperparamétert mutasson be, amelyek példákkal szolgálnak arra, hogy e hiperparaméterek módosítása hogyan segítheti vagy gátolhatja a tanulást. Emellett példákkal szolgálunk az alul- és túlillesztésre, az orr- és teljesítménynövekedésre (edzési idő és bizonyos esetekben a pontosság/veszteség), amikor az egyes hiperparaméterek be vannak húzva. Diagnosztikai parcellákat használunk a hiperparaméter tunning hatásának értékelésére, különös tekintettel a veszteségre, ahol meg kell jegyezni, hogy a veszteség ábrázolására használt modul a matplotlib.pyplot, így a tengely skálázódik. Ez azt jelentheti, hogy a jelentős különbségek nem tűnnek jelentősnek, vagy fordítva a képzés vagy a tesztadatok elvesztésének összehasonlításakor. Emellett bemutatnak néhány, az állványzatra vonatkozó szabadságot is, például először az Epochs használatát (majdnem rendezési technikaként), miközben a Batch méretét állandónak tartják. Ideális esetben ezeket összefűznék, de erre az előadásra különválasztják őket.
Vázlat
| Időtartam (min) | Leírás |
|---|---|
| 5 | Az adatok áttekintése |
| 10 | Kapacitás és mélység tunning (alul és felül) |
| 10 | Korszakok (képzés alatt és felett) |
| 10 | Tételméretek (zajcsökkentéshez) |
| 10 | Aktiválási funkciók (és hatásuk a teljesítményre – idő és pontosság) |
| 10 | Tanulási arányok (vanilla, LR Decay, Momentum, Adaptív) |
| 5 | Összefoglaló az előrehaladási folyamatról |
Visszaigazolások
A Human-Centered AI Masters programot az Európai Unió Európai Hálózatfinanszírozási Eszköze (CEF-TC-2020–1 Digitális készségek 2020 EU-IA-0068) társfinanszírozta.