Administratieve informatie
| Titel | Terugkerende neurale netwerken |
| Looptijd | 60 minuten |
| Module | B |
| Type les | Lezing |
| Focus | Technisch — diep leren |
| Onderwerp | Meerdere (Recurrent Neural Networks (RNN), Backpropagation Through Time (BPTT), Long Short-Term Memory (LSTM)) |
Sleutelwoorden
Recurrent Neural Networks (RNN), Backpropagation Trough Time (BPTT), Long Short-Term Memory (LSTM),
Leerdoelen
- Leer de fundamenten van Recurrent Neural Networks (RNN), Backpropagation Trough Time (BPTT) en Long Short-Term Memory (LSTM)
Verwachte voorbereiding
Leren van gebeurtenissen die moeten worden voltooid voordat
Verplicht voor studenten
- Revisie van het backpropagation algoritme
- Ian Goodfellow en Yoshua Bengio en Aaron Courville: Deep Learning, MIT Press, 2016, Hoofdstuk 10
- François Chollet: Deep Learning met Python, Manning Publications, 2017, Hoofdstuk 6: Deep Learning voor tekst en sequenties
Optioneel voor studenten
Geen.
Referenties en achtergronden voor studenten
Geen.
Aanbevolen voor docenten
Geen.
Lesmateriaal
Instructies voor docenten
In het begin wordt een algemeen overzicht van sequentiële gegevens aanbevolen. Hier kunt u de belangrijkste challanges van het modelleren van sequentiële gegevens (inclusief ontvankelijk veld, multidimensionaliteit en multiscale aard) bespreken.
Later introduceren we eerst RNN’s, met de basisprincipes en laten we zien dat het trainen van RNN’s na het ontvouwen erg vergelijkbaar is met het trainen van MLP’s, maar de input-, recurrente en outputgewichtmatrices worden gedeeld.
We introduceren BPTT (Backpropagation door de tijd) en de verkorte versie.
Vervolgens bespreken we hoe het verdwijnende gradiëntprobleem RNN’s onpraktisch maakt.
Om de verdwijnende gradiënt op te lossen, introduceren we de LSTM-architectuur, die een innerlijk geheugengedeelte heeft (ook aangeboden als geheugencel), dat geen activatoïne heeft — dus verdwijnende gradiënt vindt hier niet plaats. Maak het duidelijk, dat het gating mechanisme echt wordt gecontroleerd door de gegevens.
Aan het laatste deel van de lezing laten we zien dat LSTM (en RNN, inderdaad) lagen met één of twee richtingen op elkaar kunnen worden gestapeld. (uni- en bidirectionele netwerken)
Omtrek
- Overzicht van sequentiële gegevens
- Terugkerende neurale netwerken basics
- Backpropagation door de tijd heen
- Verdwijnende gradiënt
- Lange korte termijn geheugen
- Het stapelen van RNN/LSTM lagen
| Duur (Min) | Omschrijving |
|---|---|
| 10 | Introductie van sequentiële gegevens |
| 15 | Terugkerende neurale netwerken en Backpropagation door de tijd heen |
| 5 | Verdwijnende gradiënten in RNN’s |
| 20 | LSTM’s |
| 5 | Het stapelen van RNN/LSTM lagen |
| 5 | Conclusies |
Erkenningen
Balint Gyires-Tóth (Boedapest Universiteit voor Technologie en Economie)
Het Human-Centered AI Masters-programma werd mede gefinancierd door de Connecting Europe Facility van de Europese Unie in het kader van de subsidie CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.