Administrative oplysninger
| Titel | Tilbagevendende neurale netværk |
| Varighed | 60 minutter |
| Modul | B |
| Lektionstype | Forelæsning |
| Fokus | Teknisk — Dyb læring |
| Emne | Multiple (Recurrent Neural Networks (RNN), Backpropagation Through Time (BPTT), Long Short-Term Memory (LSTM)) |
Nøgleord
Tilbagevendende neurale netværk (RNN), Backpropagation Trough Time (BPTT), Long Short-Term Memory (LSTM)
Læringsmål
- Lær de grundlæggende elementer i tilbagevendende neurale netværk (RNN), Backpropagation Trough Time (BPTT) og Long Short-Term Memory (LSTM)
Forventet forberedelse
Læringsbegivenheder, der skal fuldføres før
Obligatorisk for studerende
- Revision af backpropagation algoritme
- Ian Goodfellow og Yoshua Bengio og Aaron Courville: Dyb læring, MIT Press, 2016, Kapitel 10
- François Chollet: Deep Learning med Python, Manning Publications, 2017, Kapitel 6: Deep Learning til tekst og sekvenser
Valgfrit for studerende
Ingen.
Referencer og baggrund for studerende
Ingen.
Anbefalet til lærerne
Ingen.
Undervisningsmaterialer
Instruktioner til lærerne
I begyndelsen anbefales en generel oversigt over sekventielle data. Her kan du diskutere de vigtigste challanges af modellering sekventielle data (herunder modtagende felt, multidimensionalitet og multiskala natur).
Senere introducerer vi RNN'er først, med de grundlæggende principper og viser, at træning RNNs efter udfoldelse er meget simpel til at træne MLP'er, men input, tilbagevendende og output vægt matricer deles.
Vi introducerer BPTT (Backpropagation gennem tiden) og den afkortede version.
Dernæst diskuterer vi, hvordan forsvindende gradient problem gør RNNs upraktiske.
For at løse den forsvindende gradient introducerer vi LSTM-arkitekturen, som har en indre hukommelsesdel (også reffered til som hukommelsescelle), som ikke har nogen activatoin — så forsvindende gradient forekommer ikke her. Gør det virkelig klart, at gating mekanismen virkelig styres af dataene.
På den sidste del af foredraget viser vi, at LSTM (og RNN, faktisk) lag kan stables på hinanden med en eller to retninger. (en- og tovejsnet)
Omrids
- Oversigt over sekventielle data
- Recidiverende neurale netværk grundlæggende
- Tilbagepropagation gennem tiden
- Forsvindende gradient
- Lang kortsigtet hukommelse
- Stabling af RNN/LSTM-lag
| Varighed (min.) | Beskrivelse |
|---|---|
| 10 | Indførelse af sekventielle data |
| 15 | Tilbagevendende neurale netværk og backpropagation gennem tiden |
| 5 | Forsvindende gradienter i RNNs |
| 20 | LSTM'er |
| 5 | Stabling af RNN/LSTM-lag |
| 5 | Konklusioner |
Anerkendelser
Balint Gyires-Tóth (Budapest University of Technology and Economics)
Programmet Human-Centered AI Masters blev samfinansieret af Connecting Europe-faciliteten i Den Europæiske Union under tilskud CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.