Administratieve informatie
| Titel | Regularisatietechnieken |
| Looptijd | 60 |
| Module | B |
| Type les | Lezing |
| Focus | Technisch — diep leren |
| Onderwerp | Regularisatietechnieken |
Sleutelwoorden
Regularisatie, Callbacks, GridSearch,
Leerdoelen
- Weight initializers onderzoeken
- Vooringenomenheid onderzoeken
- Uitval en lawaai toepassen
- Impliment callbacks
- Undertsand en implementeer een GridSearch
- Niet-traditionele overfitting technieken toepassen
Verwachte voorbereiding
Leren van gebeurtenissen die moeten worden voltooid voordat
Geen.
Verplicht voor studenten
Geen.
Optioneel voor studenten
Geen.
Referenties en achtergronden voor studenten
- John D Kelleher en Brain McNamee. (2018), Fundamentals of Machine Learning voor Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks en Deep Learning, 1. Determinatiepers, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks en Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Diep leren met Keras, Packt, [ISBN: 9781787128422].
Aanbevolen voor docenten
Geen.
Instructies voor docenten
Deze lezing zal studenten kennis laten maken met de fundamenten van de hyperparameter tuning. We zullen de Census Dataset gebruiken als voorbeelden van het gebruik en de uitkomsten van de regularisatietechnieken. De Adult Census dataset is een binair classificatieprobleem. Het doel van deze lezing is om verschillende vormen van regularisatie te introduceren, te beginnen met gewicht initializers, bias, co-adaption, callbacks, een raster zoeken naar automatische hyperparameter tunning, en extra regularisatie controle technieken. Het doel is om technieken te identificeren om de ontwikkeling van generaliseerbare modellen te ondersteunen met beperkte co-adaption om de functie te leren en niet de gegevens. Sommige van deze technieken verbeteren ook de trainingstijd, waardoor de berekening die nodig is voor grotere modellen kan worden verminderd.
Omtrek
| Duur (Min) | Omschrijving |
|---|---|
| 10 | Gewicht initializers en bias |
| 10 | Co-adaption |
| 10 | Callbacks |
| 20 | GridSearch |
| 10 | Aanvullende controles |
Erkenningen
Het Human-Centered AI Masters-programma werd mede gefinancierd door de Connecting Europe Facility van de Europese Unie in het kader van de subsidie CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.