Administratieve informatie
| Titel | Afleiding en toepassing van backpropagatie |
| Looptijd | 60 |
| Module | B |
| Type les | Lezing |
| Focus | Technisch — diep leren |
| Onderwerp | Afleiden en implementeren van backpropagation |
Sleutelwoorden
Backpropagation, activeringsfuncties, dieivatie,
Leerdoelen
- Ontwikkelen van een begrip van gradiënt en leersnelheid
- Ontlenen backpropagation voor verborgen en buitenste lagen
- Implimenting Backpropagation ontkoppeld en aangesloten met behulp van verschillende activeringsfuncties
Verwachte voorbereiding
Leren van gebeurtenissen die moeten worden voltooid voordat
Verplicht voor studenten
- Berekeningsherziening (derivaten, gedeeltelijke derivaten, de ketenregel)
Optioneel voor studenten
Geen.
Referenties en achtergronden voor studenten
- John D Kelleher en Brain McNamee. (2018), Fundamentals of Machine Learning voor Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks en Deep Learning, 1. Determinatiepers, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neural Networks en Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Diep leren met Keras, Packt, [ISBN: 9781787128422].
Aanbevolen voor docenten
Geen.
Lesmateriaal
Instructies voor docenten
Deze lezing zal studenten kennis laten maken met de fundamenten van het backpropagation-algoritme. Deze lezing begint met de notie van de vloek van dimensionaliteit die leidt tot de noodzaak van een heuristische benadering — gevolgd door het overzicht van hoe verloop kan worden gebruikt om de gewichten aan te passen. Dit introduceert vervolgens het backpropagation-algoritme. Vervolgens introduceren we ook de hyperparameter van leersnelheid en een kort overzicht van het effect van grote en kleine waarden (dit wordt uitgebreid in Lezing 3). Dan gebruiken we hetzelfde inleidend netwerk uit Lezing 1, we ontlenen de buitenste laag backpropagation formule, en dan uiteindelijk, zullen we het binnenste laag backpropagation algoritme afleiden. Deze lezing sluit af met voorbeelden van verschillende activeringsfuncties en hoe het algoritme kan worden toegepast. De bijbehorende tutorial bevat extra pen- en papierafleidingen, praktische voorbeelden en het gebruik van code (alleen Numpy en de KERAS) om het backpropagation-algoritme te implementeren.
- Het oorspronkelijke concept van brute kracht gewicht selectie, en de vloek van dimensionaliteit
- Inleiding tot gradiënt en hoe dit het probleem van iteratieve, heuristische gewichtsaanpassingen aanpakt
- Waarom leersnelheid nodig is en de gevolgen van het kiezen van kleine en grote waarden
- Het afleiden van de gradiënt (dus het backpropagation algoritme) voor de outputlaag met Sigmoid als de buitenste activeringsfunctie
- Het afleiden van de gradiënt (dus het backpropagation algoritme) voor de verborgen laag met Sigmoid als de buitenste activeringsfunctie
- Presentatie van de definitieve backpropagation formule
- Met behulp van verschillende activeringsfuncties (Outer Layer: Lineair, Sigmoid en Softmax; Verborgen laag: ReLU, sigmoid en TanH) in het backpropagation algoritme
Omtrek
| Duur (Min) | Omschrijving |
|---|---|
| 5 | Inleiding tot leer-, gradiënt- en leersnelheid |
| 20 | Afleiding van het backpropagatiealgoritme voor de buitenste laag (Sigmoid) |
| 20 | Afleiding van het backpropagation algoritme voor de verborgen laag (Sigmoid) |
| 10 | Implementatie van het backpropagation-algoritme en het gebruik van verschillende activeringsfuncties voor elke laag |
| 5 | Samenvatting van het backpropagation-algoritme |
Erkenningen
Het Human-Centered AI Masters-programma werd mede gefinancierd door de Connecting Europe Facility van de Europese Unie in het kader van de subsidie CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.