Administrativní informace
| Název | Hyperparametrové ladění |
| Trvání | 60 |
| Modul | B |
| Typ lekce | Tutoriál |
| Soustředění | Technické – hluboké učení |
| Téma | Hyperparametrové ladění |
Klíčová slova
Hyperparametr ladění, aktivační funkce, ztráta, epochy, velikost dávky,
Vzdělávací cíle
- Prozkoumejte účinky na kapacitu a hloubku
- Experient s různou epochou a velikostí šarží
- Testování různých aktivačních funkcí a míry učení
Očekávaná příprava
Vzdělávací akce, které mají být dokončeny před
Povinné pro studenty
Žádné.
Volitelné pro studenty
Žádné.
Reference a zázemí pro studenty
- John D Kelleher a Brain McNamee. (2018), Základy strojového učení pro prediktivní datovou analýzu, MIT Press.
- Michael Nielsen. (2015), neuronové sítě a hluboké učení, 1. Determinační tisk, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Hluboké učení s Keras, Packt, [ISBN: 9781787128422].
Doporučeno pro učitele
Žádné.
Materiály pro výuku
Pokyny pro učitele
- Tento tutoriál seznámí studenty se základy hyperparametrového ladění pro umělou neuronovou síť. Tento tutoriál se bude skládat ze sledování více hyperparametrů a následného vyhodnocení pomocí stejných konfigurací modelů jako přednáška (přednáška 3). Tento výukový program se zaměří na systematickou modifikaci hyperparametrů a vyhodnocení diagnostických ploch (pomocí ztráty – ale to by mohlo být snadno upraveno pro přesnost, protože se jedná o problém klasifikace) pomocí sčítání dat. Na konci tohoto tutoriálu (příklady krok za krokem) se očekává, že studenti dokončí Praktický s dodatečným hodnocením spravedlnosti (na základě podskupiny hodnocení výkonnosti).
- Poznámky:
- Na datové sadě (zahrnuté v poznámkovém bloku) se provádí předzpracování, ale to je minimum pro to, aby datová sada fungovala s ANN. To není komplexní a nezahrnuje žádné hodnocení (bias/fairness).
- Použijeme diagnostické grafy k vyhodnocení účinku hyperparametrového ladění a zejména zaměření na ztrátu, kde je třeba poznamenat, že modul, který používáme k vykreslení ztráty, je matplotlib.pyplot, čímž je osa zmenšena. To může znamenat, že významné rozdíly se při porovnávání ztráty tréninkových nebo zkušebních údajů nemusí zdát významné nebo naopak.
- Některé svobody pro lešení jsou prezentovány, jako je použití epoch jako první (téměř jako technika regularizace) při zachování velikosti dávky konstantní.
- Pro poskytnutí jasných příkladů (tj. převybavení) mohly být zahrnuty některé další úpravy k jiným hyperparametrům, které by poskytly jasné diagnostické grafy pro příklady.
- Jakmile byla zjištěna přiměřená kapacita a hloubka, jsou tato i další hyperparametry uzamčeny pro následující příklady, je-li to možné.
- Konečně, některé buňky mohou trvat nějaký čas trénovat, a to i s přístupem GPU.
- Studenti budou prezentováni s několika kroky pro tutoriálu:
- Krok 1: Některé základní předzpracování datového souboru sčítání dospělých
- Krok 2: Kapacita a hloubkové ladění (včetně následujících příkladů):
- Žádná konvergence
- Nedostatečné vybavení
- Přestrojení
- Konvergence
- Krok 3: Epochy (nad a pod výcvikem – aniž by bylo zavedeno jako formální regularizační technika)
- Krok 4: Aktivační funkce (s ohledem na výkon – dobu tréninku a v některých případech ztrátu)
- Krok 5: Míra učení (včetně těchto příkladů):
- SGD Vanilka
- SGD s rozkladem míry učení
- SGD s hybností
- Míra adaptivního učení:
- RMSProp
- AdaGrad
- Adam
- Dílčí cíle pro těchto pět částí je poskytnout studentům příklady a zkušenosti s laděním hyperparametrů a vyhodnocování účinků pomocí diagnostických plotů.
Obrys
| Doba trvání (Min) | Popis |
|---|---|
| 5 | Předběžné zpracování údajů |
| 10 | Kapacita a hloubka ladění (pod a over fit) |
| 10 | Epochy (pod a nad tréninkem) |
| 10 | Velikosti šarží (pro potlačení šumu) |
| 10 | Aktivační funkce (a jejich vliv na výkon – čas a přesnost) |
| 10 | Míra učení (vanilla, LR Decay, Momentum, Adaptive) |
| 5 | Rekapitulujte některé základní hyperparametry (ReLu, Adam) a ladění jiných (kapacita a hloubka). |
Potvrzení
Program Human-Centered AI Masters byl spolufinancován Nástrojem Evropské unie pro propojení Evropy v rámci grantu CEF-TC-2020–1 Digitální dovednosti 2020-EU-IA-0068.