Administratívne informácie
| Názov | Ladenie hyperparametrov |
| Trvanie | 60 |
| Modul | B |
| Druh lekcie | Tutorial |
| Zameranie | Technické – hĺbkové učenie |
| Téma | Ladenie hyperparametrov |
Kľúčové slová
Ladenie hyperparametrov, aktivačné funkcie, strata, epochy, veľkosť dávky,
Vzdelávacie ciele
- Preskúmať účinky na kapacitu a hĺbku
- Skúsenosti s rôznymi epochami a veľkosťami šarží
- Skúšanie rôznych aktivačných funkcií a miery učenia
Očakávaná príprava
Naučte sa udalosti, ktoré treba dokončiť predtým
Povinné pre študentov
Žiadne.
Voliteľné pre študentov
Žiadne.
Referencie a zázemie pre študentov
- John D Kelleher a Brain McNamee (2018), Základy strojového učenia pre prediktívnu dátovú analytiku, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning (Neurálne siete a hlboké učenie), 1. Kľúčové slová, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning (Neurálne siete a hlboké učenie), 1. Springer
- Antonio Gulli, Sujit Pal. Hlboké učenie s Keras, Packt, [ISBN: 9781787128422].
Odporúčané pre učiteľov
Žiadne.
Učebné materiály
Pokyny pre učiteľov
- Tento tutoriál predstaví študentom základy hyperparametrového tunningu pre umelú neurónovú sieť. Tento návod bude pozostávať zo zakončenia viacerých hyperparametrov a potom vyhodnocovania pomocou rovnakých konfigurácií modelov ako prednáška (Lecture 3). Tento návod sa zameria na systematickú modifikáciu hyperparametrov a vyhodnocovanie diagnostických pozemkov (pomocou straty – ale to by mohlo byť ľahko upravené pre presnosť, pretože ide o klasifikačný problém) pomocou súboru údajov sčítania. Na konci tohto tutoriálu (príklady krok za krokom) sa od študentov očakáva, že dokončia praktické hodnotenie spravodlivosti (na základe hodnotenia výkonnosti podsúboru).
- Poznámky:
- Na súbore údajov (zahrnutých v poznámkovom bloku) sa vykonáva predbežné spracovanie, avšak toto je minimum na to, aby sa súbor údajov dostal do práce s ANN. Toto nie je komplexné a nezahŕňa žiadne hodnotenie (strannosť/spravodlivosť).
- Použijeme diagnostické grafy na vyhodnotenie účinku tunningu hyperparametra a najmä zameranie na stratu, kde je potrebné poznamenať, že modul, ktorý používame na vykreslenie straty, je matplotlib.pyplot, takže os je zmenšená. To môže znamenať, že významné rozdiely sa pri porovnávaní straty tréningových alebo testovacích údajov môžu javiť ako nevýznamné alebo naopak.
- Sú prezentované niektoré slobody lešenia, ako napríklad použitie Epochov ako prvé (takmer ako technika regularizácie) pri zachovaní konštantnej veľkosti dávky.
- Na poskytnutie jasných príkladov (t. j. nadmernej montáže) mohli byť zahrnuté niektoré ďalšie vylepšenia k iným hyperparametrom s cieľom poskytnúť jasné diagnostické grafy pre príklady.
- Keď sa zistí primeraná kapacita a hĺbka, tak aj iné hyperparametre, ak je to možné, sú uzamknuté pre nasledujúce príklady.
- Nakoniec, niektoré bunky môžu trvať nejaký čas na trénovanie, dokonca aj s prístupom GPU.
- Študenti budú prezentované s niekoľkými krokmi pre výukový program:
- Krok 1: Niektoré základné predbežné spracovanie súboru údajov o sčítaní dospelých
- Krok 2: Kapacita a hĺbkové ladenie (vrátane nasledujúcich príkladov):
- Žiadna konvergencia
- Nedostatočné vybavenie
- Nadmerná montáž
- Konvergencia
- Krok 3: Epochy (cez a pod odbornou prípravou – bez toho, aby sa zaviedla ako formálna technika legalizácie)
- Krok 4: Aktivačné funkcie (vzhľadom na výkon – čas výcviku a v niektorých prípadoch strata)
- Krok 5: Miera vzdelania (vrátane nasledujúcich príkladov):
- SGD Vanilla
- SGD s rozpadom miery učenia
- SGD s hybnosťou
- Adaptívne miery vzdelávania:
- RMSProp
- AdaGrad
- Adam
- Čiastkovými cieľmi týchto piatich častí je poskytnúť študentom príklady a skúsenosti s tunovaním hyperparametrov a vyhodnocovaním účinkov pomocou diagnostických grafov.
Obrysy
| Trvanie (Min) | Popis |
|---|---|
| 5 | Predbežné spracovanie údajov |
| 10 | Kapacita a hĺbkové ladenie (pod a cez montáž) |
| 10 | Epochy (pod a cez odbornú prípravu) |
| 10 | Veľkosti šarží (pre potlačenie hluku) |
| 10 | Aktivačné funkcie (a ich vplyv na výkon – čas a presnosť) |
| 10 | Miera vzdelania (vanilla, LR Decay, Momentum, Adaptive) |
| 5 | Rekapitulácia niektorých strižných hyperparametrov (ReLu, Adam) a ladenie iných (kapacita a hĺbka). |
Uznania
Program Masters umelej inteligencie zameraný na človeka bol spolufinancovaný z Nástroja Európskej únie na prepájanie Európy v rámci grantu CEF-TC-2020 – 1 Digitálne zručnosti 2020-EU-IA-0068.