Administratieve informatie
| Titel | Hyperparameter tuning |
| Looptijd | 60 |
| Module | B |
| Type les | Tutorial |
| Focus | Technisch — diep leren |
| Onderwerp | Hyperparameter tuning |
Sleutelwoorden
Hyperparameter tuning, activeringsfuncties, verlies, tijdperken, batchgrootte,
Leerdoelen
- Onderzoek effecten op capaciteit en diepte
- Ervaringsgericht met verschillende tijdperken en batchgroottes
- Proef verschillende activeringsfuncties en leerpercentages
Verwachte voorbereiding
Leren van gebeurtenissen die moeten worden voltooid voordat
Verplicht voor studenten
Geen.
Optioneel voor studenten
Geen.
Referenties en achtergronden voor studenten
- John D Kelleher en Brain McNamee. (2018), Fundamentals of Machine Learning voor Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks en Deep Learning, 1. Determinatiepers, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks en Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Diep leren met Keras, Packt, [ISBN: 9781787128422].
Aanbevolen voor docenten
Geen.
Lesmateriaal
Instructies voor docenten
- Deze tutorial zal studenten kennis laten maken met de fundamenten van de hyperparameter-tuning voor een kunstmatig neuraal netwerk. Deze tutorial zal bestaan uit het volgen van meerdere hyperparameters en vervolgens evalueren met behulp van dezelfde modellenconfiguraties als de Lezing (Lezing 3). Deze tutorial zal zich richten op de systematische wijziging van hyperparameters en de evaluatie van de diagnostische plots (met verlies — maar dit kan gemakkelijk worden gewijzigd voor nauwkeurigheid omdat het een classificatieprobleem is) met behulp van de Census Dataset. Aan het einde van deze tutorial (de stap voor stap voorbeelden) wordt van studenten verwacht dat ze een Praktisch met aanvullende evaluatie voor eerlijkheid voltooien (op basis van subset prestatie-evaluatie).
- Opmerkingen:
- Er wordt voorbewerking uitgevoerd op de dataset (inbegrepen in het notitieblok), maar dit is het minimum om de dataset te laten werken met de ANN. Dit is niet volledig en omvat geen evaluatie (bias/fairness).
- We zullen diagnostische plots gebruiken om het effect van de hyperparameter af te stemmen en in het bijzonder een focus op verlies, waar moet worden opgemerkt dat de module die we gebruiken om het verlies te plotten is matplotlib.pyplot, dus de as wordt geschaald. Dit kan betekenen dat significante verschillen niet significant lijken of vice versa bij het vergelijken van het verlies van de trainings- of testgegevens.
- Sommige vrijheden voor steigers worden gepresenteerd, zoals het gebruik van Epochs eerst (bijna als een regularisatietechniek) terwijl de Batch-grootte constant blijft.
- Om duidelijke voorbeelden te geven (d.w.z. overfitting) kunnen enkele extra aanpassingen aan andere hyperparameters zijn opgenomen om duidelijke diagnostische plots voor voorbeelden te bieden.
- Zodra een redelijke capaciteit en diepte is vastgesteld, worden deze evenals andere hyperparameters vergrendeld voor het volgen van voorbeelden waar mogelijk.
- Tot slot kunnen sommige cellen enige tijd in beslag nemen om te trainen, zelfs met GPU-toegang.
- De studenten zullen worden gepresenteerd met een aantal stappen voor de tutorial:
- Stap 1: Enkele basisvoorbewerking voor de Adult Census dataset
- Stap 2: Capaciteit en dieptetuning (inclusief de volgende voorbeelden):
- Geen convergentie
- Onderbevestiging
- Overfitting
- Convergentie
- Stap 3: Periodes (over en onder opleiding — zonder de invoering ervan als een formele regularisatietechniek)
- Stap 4: Activeringsfuncties (met betrekking tot prestaties — trainingstijd en in sommige gevallen verlies)
- Stap 5: Leerpercentages (inclusief de volgende voorbeelden):
- SGD Vanilla
- SGD met leersnelheid verval
- SGD met momentum
- Adaptieve leerpercentages:
- RMSProp
- AdaGrad
- Adam
- De subdoelen voor deze vijf delen is om studenten te voorzien van voorbeelden en ervaring in het afstemmen van hyperparameters en het evalueren van de effecten met behulp van diagnostische plots.
Omtrek
| Duur (Min) | Omschrijving |
|---|---|
| 5 | Voorverwerking van de gegevens |
| 10 | Capaciteit en dieptetuning (onder en boven montage) |
| 10 | Periodes (onder en boven opleiding) |
| 10 | Batchgroottes (voor geluidsonderdrukking) |
| 10 | Activeringsfuncties (en hun effecten op prestaties — tijd en nauwkeurigheid) |
| 10 | Leerpercentages (vanille, LR Decay, Momentum, Adaptief) |
| 5 | Neem een samenvatting van sommige niet-hyperparameters (ReLu, Adam) en het afstemmen van anderen (capaciteit en diepte). |
Erkenningen
Het Human-Centered AI Masters-programma werd mede gefinancierd door de Connecting Europe Facility van de Europese Unie in het kader van de subsidie CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.