Administratieve informatie
| Titel | Hyperparameter tuning |
| Looptijd | 60 |
| Module | B |
| Type les | Lezing |
| Focus | Technisch — diep leren |
| Onderwerp | Hyperparameter tuning |
Sleutelwoorden
Hyperparameter tuning, activeringsfuncties, verlies, tijdperken, batchgrootte,
Leerdoelen
- Onderzoek effecten op capaciteit en diepte
- Ervaringsgericht met verschillende tijdperken en batchgroottes
- Proef verschillende activeringsfuncties en leerpercentages
Verwachte voorbereiding
Leren van gebeurtenissen die moeten worden voltooid voordat
Verplicht voor studenten
Geen.
Optioneel voor studenten
Geen.
Referenties en achtergronden voor studenten
- John D Kelleher en Brain McNamee. (2018), Fundamentals of Machine Learning voor Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks en Deep Learning, 1. Determinatiepers, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks en Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Diep leren met Keras, Packt, [ISBN: 9781787128422].
Aanbevolen voor docenten
Geen.
Lesmateriaal
Instructies voor docenten
Deze lezing zal studenten kennis laten maken met de fundamenten van de hyperparameter tuning. We zullen de Census Dataset gebruiken als voorbeelden van het gebruik en de uitkomsten van het afstemmen van verschillende hypermeters. De Adult Census dataset is een binair classificatieprobleem. Meer over deze dataset in de bijbehorende tutorial. Het doel van deze lezing is om verschillende hyperparameters te introduceren met voorbeelden van hoe het aanpassen van deze hyperparameters het leren kan helpen of belemmeren. Daarnaast geven we voorbeelden van onder- en overmontage, neus- en prestatiewinsten (trainingstijd en in sommige gevallen nauwkeurigheid/verlies) wanneer elk van de hyperparameters wordt afgesteld. We zullen diagnostische plots gebruiken om het effect van de hyperparameter af te stemmen en in het bijzonder een focus op verlies, waar moet worden opgemerkt dat de module die we gebruiken om het verlies te plotten is matplotlib.pyplot, dus de as wordt geschaald. Dit kan betekenen dat significante verschillen niet significant lijken of vice versa bij het vergelijken van het verlies van de trainings- of testgegevens. Daarnaast worden enkele vrijheden voor steigers gepresenteerd, zoals het gebruik van Epochs eerst (bijna als een regularisatietechniek) terwijl de Batch-grootte constant blijft. Idealiter zouden deze op elkaar worden afgestemd, maar voor deze lezing zijn ze gescheiden.
Omtrek
| Duur (Min) | Omschrijving |
|---|---|
| 5 | Overzicht van de gegevens |
| 10 | Capaciteit en dieptetuning (onder en boven montage) |
| 10 | Periodes (onder en boven opleiding) |
| 10 | Batchgroottes (voor geluidsonderdrukking) |
| 10 | Activeringsfuncties (en hun effecten op prestaties — tijd en nauwkeurigheid) |
| 10 | Leerpercentages (vanille, LR Decay, Momentum, Adaptief) |
| 5 | Samenvatting van het forward pass-proces |
Erkenningen
Het Human-Centered AI Masters-programma werd mede gefinancierd door de Connecting Europe Facility van de Europese Unie in het kader van de subsidie CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.