Adminisztratív információk
| Cím | Hiperparaméter tuning |
| Időtartam | 60 |
| Modul | B |
| Lecke típusa | Bemutató |
| Fókusz | Technikai – Mély tanulás |
| Téma | Hiperparaméter tuning |
Kulcsszó
Hiperparaméter tuning, aktiváló funkciók, veszteség, korszakok, tételméret,
Tanulási célok
- A kapacitásra és a mélységre gyakorolt hatások vizsgálata
- Tapasztalat változó korszakokkal és tételméretekkel
- Különböző aktiválási funkciók és tanulási arányok kipróbálása
Várható előkészítés
Az előtt befejezendő tanulási események
Kötelező a diákok számára
Egy sem.
Választható diákok számára
Egy sem.
Referenciák és háttér a diákok számára
- John D Kelleher és Brain McNamee. (2018), A gépi tanulás alapjai a prediktív adatelemzéshez, MIT Press.
- Michael Nielsen vagyok. (2015), Neural Networks and Deep Learning, 1. Eltökélt sajtó, San Francisco CA USA.
- Charu C. Aggarwal vagyok. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Mély tanulás Keras, Packt, [ISBN: 9781787128422].
Ajánlott tanároknak
Egy sem.
Leckeanyagok
Utasítások tanároknak
- Ez a bemutató bemutatja a hallgatókat a mesterséges neurális hálózathoz szükséges hiperparaméter tunning alapjaira. Ez a bemutató több hiperparaméter lezárásából áll, majd kiértékeli ugyanazokat a modelleket, mint az Előadás (3. előadás). Ez a bemutató a hiperparaméterek szisztematikus módosítására és a diagnosztikai parcellák értékelésére összpontosít (veszteség – de ez könnyen módosítható a pontosság érdekében, mivel osztályozási probléma) a népszámlálási adatkészlet segítségével. Ennek a bemutatónak a végén (a lépésről lépésre példák) a hallgatóktól elvárják, hogy egy gyakorlati értékelést végezzenek a méltányosság további értékelésével (a részhalmaz teljesítményértékelése alapján).
- Megjegyzések:
- Az adatkészleten (a jegyzetfüzetben található) előzetes feldolgozás történik, azonban ez a minimum ahhoz, hogy az adatkészlet működjön az ANN-val. Ez nem átfogó, és nem tartalmaz semmilyen értékelést (torzulás/méltányosság).
- Diagnosztikai parcellákat használunk a hiperparaméter tunning hatásának értékelésére, különös tekintettel a veszteségre, ahol meg kell jegyezni, hogy a veszteség ábrázolására használt modul a matplotlib.pyplot, így a tengely skálázódik. Ez azt jelentheti, hogy a jelentős különbségek nem tűnnek jelentősnek, vagy fordítva a képzés vagy a tesztadatok elvesztésének összehasonlításakor.
- Az állványzatra vonatkozó egyes szabadságjogok, mint például az Epochs első használata (majdnem rendezési technikaként), a Batch méretének állandó megtartása mellett.
- Annak érdekében, hogy egyértelmű példákkal szolgáljunk (pl. túlillesztés), előfordulhat, hogy más hiperparaméterekhez további csípéseket is beillesztettek, hogy egyértelmű diagnosztikai táblázatokat adjanak a példákhoz.
- Miután ésszerű kapacitást és mélységet azonosítottak, ezt és más hiperparamétereket is bezárnak, hogy ahol lehetséges, kövessék a példákat.
- Végül néhány cella időbe telik a képzéshez, még GPU hozzáféréssel is.
- A hallgatókat több lépéssel mutatják be a bemutatóhoz:
- 1. lépés: Néhány alapvető előfeldolgozás a Felnőtt népszámlálási adatkészlethez
- 2. lépés: Kapacitás és mélység tunning (beleértve a következő példákat):
- Nincs konvergencia
- Alulkompatibilis
- Túlszereltség
- Konvergencia
- Lépés: Korszakok (képzésen túl és képzés alatt – de nem hivatalos rendezési technikaként vezetik be)
- Lépés: Aktiválási funkciók (a teljesítmény tekintetében – képzési idő és egyes esetekben veszteség)
- 5. lépés: Tanulási arányok (beleértve a következő példákat):
- SGD Vanília
- SGD a tanulási arány romlásával
- SGD lendülettel
- Adaptív tanulási arányok:
- RMSProp
- AdaGrad
- Ádám
- Ennek az öt résznek az alcéljai az, hogy a hallgatóknak példákat és tapasztalatokat biztosítsanak a hiperparaméterek tunningjában és a hatások diagnosztikai parcellák segítségével történő értékelésében.
Vázlat
| Időtartam (min) | Leírás |
|---|---|
| 5 | Az adatok előzetes feldolgozása |
| 10 | Kapacitás és mélység tunning (alul és felül) |
| 10 | Korszakok (képzés alatt és felett) |
| 10 | Tételméretek (zajcsökkentéshez) |
| 10 | Aktiválási funkciók (és hatásuk a teljesítményre – idő és pontosság) |
| 10 | Tanulási arányok (vanilla, LR Decay, Momentum, Adaptív) |
| 5 | Összefoglalni néhány alapvető hiperparamétert (ReLu, Adam) és mások tunningját (kapacitás és mélység). |
Visszaigazolások
A Human-Centered AI Masters programot az Európai Unió Európai Hálózatfinanszírozási Eszköze (CEF-TC-2020–1 Digitális készségek 2020 EU-IA-0068) társfinanszírozta.