Administrative oplysninger
| Titel | Indstilling af hyperparameter |
| Varighed | 60 |
| Modul | B |
| Lektionstype | Tutorial |
| Fokus | Teknisk — Dyb læring |
| Emne | Indstilling af hyperparameter |
Nøgleord
Hyperparameter tuning, aktivering funktioner, tab, epoker, batch størrelse,
Læringsmål
- Undersøge effekter på kapacitet og dybde
- Erfaring med varierende epoker og batchstørrelser
- Prøve forskellige aktiveringsfunktioner og læringshastigheder
Forventet forberedelse
Læringsbegivenheder, der skal fuldføres før
Obligatorisk for studerende
Ingen.
Valgfrit for studerende
Ingen.
Referencer og baggrund for studerende
- John D. Kelleher og Brain McNamee. (2018), Fundamentals of Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Beslutsomhed presse, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Dyb læring med Keras, Packt, [ISBN: 9781787128422].
Anbefalet til lærerne
Ingen.
Undervisningsmaterialer
- Hyperparameter Tuning Trin 1-5 (HTML)
- Hyperparameter Tuning Trin 1-5 (.ipynb)
- Datasæt til undervisning i etisk kunstigintelligens (tællingsdatasæt)
Instruktioner til lærerne
- Denne tutorial vil introducere eleverne til de grundlæggende elementer i hyperparameter tunning for et kunstigt neuralt netværk. Denne tutorial vil bestå af efterfølgelse af flere hyperparametre og derefter evaluering ved hjælp af de samme modeller konfigurationer som forelæsningen (foredrag 3). Denne tutorial vil fokusere på den systematiske ændring af hyperparametre og evaluering af de diagnostiske plots (ved hjælp af tab — men dette kunne let ændres for nøjagtighed, da det er et klassificeringsproblem) ved hjælp af Census Dataset. I slutningen af denne tutorial (trin for trin eksempler) studerende forventes at fuldføre en Praktisk med yderligere evaluering for retfærdighed (baseret på delsæt ydeevne evaluering).
- Bemærkninger:
- Der udføres forbehandling på datasættet (inkluderet i notesbogen), men dette er minimum for at få datasættet til at arbejde med ANN. Dette er ikke omfattende og omfatter ikke nogen evaluering (bias/fairness).
- Vi vil bruge diagnostiske plots til at evaluere effekten af hyperparameter tunning og især fokus på tab, hvor det skal bemærkes, at det modul, vi bruger til at afbilde tabet er matplotlib.pyplot, således aksen er skaleret. Dette kan betyde, at væsentlige forskelle kan forekomme ikke signifikante eller omvendt, når man sammenligner tabet af trænings- eller testdata.
- Nogle friheder for stilladser præsenteres, såsom brugen af Epochs først (næsten som en regularisering teknik), samtidig med at Batch størrelse konstant.
- For at give klare eksempler (dvs. overfitting) kan der være medtaget yderligere justeringer til andre hyperparametre for at give klare diagnostiske plots for eksempler.
- Når der er identificeret en rimelig kapacitet og dybde, er dette såvel som andre hyperparametre låst for at følge eksempler, hvor det er muligt.
- Endelig kan nogle af cellerne tage lidt tid at træne, selv med GPU-adgang.
- De studerende vil blive præsenteret for flere trin til tutorial:
- Trin 1: Nogle grundlæggende forbehandling til Voksen Census datasæt
- Trin 2: Kapacitet og dybdejustering (herunder følgende eksempler):
- Ingen konvergens
- Underfitting
- Overfitting
- Konvergens
- Trin 3: Epoker (over og under uddannelse — uden at indføre det som en formel legaliseringsteknik)
- Trin 4: Aktiveringsfunktioner (med hensyn til ydeevne — træningstid og i nogle tilfælde tab)
- Trin 5: Læringsrater (herunder følgende eksempler):
- SGD Vanilla
- SGD med indlæringshastighed henfald
- SGD med momentum
- Adaptive læringsrater:
- RMSProp
- AdaGrad
- Adam
- Delmålene for disse fem dele er at give eleverne eksempler og erfaring med at tune hyperparametre og evaluere virkningerne ved hjælp af diagnostiske plots.
Omrids
| Varighed (min.) | Beskrivelse |
|---|---|
| 5 | Forbehandling af oplysningerne |
| 10 | Kapacitet og dybdeindstilling (under og over montering) |
| 10 | Epoker (under og over uddannelse) |
| 10 | Batchstørrelser (til støjdæmpning) |
| 10 | Aktiveringsfunktioner (og deres virkninger på ydeevne — tid og nøjagtighed) |
| 10 | Læringshastigheder (vanilje, LR Decay, Momentum, Adaptive) |
| 5 | Opsummering på nogle korte hyperparametre (ReLu, Adam) og tunning af andre (kapacitet og dybde). |
Anerkendelser
Programmet Human-Centered AI Masters blev samfinansieret af Connecting Europe-faciliteten i Den Europæiske Union under tilskud CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.