Administratívne informácie
| Názov | Ladenie hyperparametrov |
| Trvanie | 60 |
| Modul | B |
| Druh lekcie | Prednáška |
| Zameranie | Technické – hĺbkové učenie |
| Téma | Ladenie hyperparametrov |
Kľúčové slová
Ladenie hyperparametrov, aktivačné funkcie, strata, epochy, veľkosť dávky,
Vzdelávacie ciele
- Preskúmať účinky na kapacitu a hĺbku
- Skúsenosti s rôznymi epochami a veľkosťami šarží
- Skúšanie rôznych aktivačných funkcií a miery učenia
Očakávaná príprava
Naučte sa udalosti, ktoré treba dokončiť predtým
Povinné pre študentov
Žiadne.
Voliteľné pre študentov
Žiadne.
Referencie a zázemie pre študentov
- John D Kelleher a Brain McNamee (2018), Základy strojového učenia pre prediktívnu dátovú analytiku, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning (Neurálne siete a hlboké učenie), 1. Kľúčové slová, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning (Neurálne siete a hlboké učenie), 1. Springer
- Antonio Gulli, Sujit Pal. Hlboké učenie s Keras, Packt, [ISBN: 9781787128422].
Odporúčané pre učiteľov
Žiadne.
Učebné materiály
Pokyny pre učiteľov
Táto prednáška predstaví študentom základy ladenia hyperparametrov. Ako príklady použitia a výsledkov ladenia rôznych hypermetrov použijeme súbor údajov o sčítaní. Súbor údajov o sčítaní dospelých je binárny problém klasifikácie. Viac o tomto súbore údajov v príslušnom tutoriálu. Cieľom tejto prednášky je predstaviť niekoľko hyperparametrov s príkladmi, ako môže úprava týchto hyperparametrov pomôcť alebo brániť učeniu. Okrem toho poskytujeme príklady pod a nadmernej montáže, nosa a výkonu (čas tréningu a v niektorých prípadoch presnosť/strata), keď sú všetky hyperparametre vyladené. Použijeme diagnostické grafy na vyhodnotenie účinku tunningu hyperparametra a najmä zameranie na stratu, kde je potrebné poznamenať, že modul, ktorý používame na vykreslenie straty, je matplotlib.pyplot, takže os je zmenšená. To môže znamenať, že významné rozdiely sa pri porovnávaní straty tréningových alebo testovacích údajov môžu javiť ako nevýznamné alebo naopak. Okrem toho sú prezentované niektoré slobody lešenia, ako napríklad použitie Epochov ako prvé (takmer ako technika regularizácie) pri zachovaní konštantnej veľkosti dávky. V ideálnom prípade by boli spolu vyladené, ale pre túto prednášku sú oddelené.
Obrysy
| Trvanie (Min) | Popis |
|---|---|
| 5 | Prehľad údajov |
| 10 | Kapacita a hĺbkové ladenie (pod a cez montáž) |
| 10 | Epochy (pod a cez odbornú prípravu) |
| 10 | Veľkosti šarží (pre potlačenie hluku) |
| 10 | Aktivačné funkcie (a ich vplyv na výkon – čas a presnosť) |
| 10 | Miera vzdelania (vanilla, LR Decay, Momentum, Adaptive) |
| 5 | Rekapitulácia na proces odovzdávania dopredu |
Uznania
Program Masters umelej inteligencie zameraný na človeka bol spolufinancovaný z Nástroja Európskej únie na prepájanie Európy v rámci grantu CEF-TC-2020 – 1 Digitálne zručnosti 2020-EU-IA-0068.