Verwaltungsinformationen
| Titel | Wiederkehrende neuronale Netze |
| Dauer | 60 Minuten |
| Modulen | B |
| Unterrichtstyp | Vortrag |
| Fokussierung | Technisches – Deep Learning |
| Themenbereich | Multiple (Recurrent Neural Networks (RNN), Backpropagation Through Time (BPTT), Long Short-Term Memory (LSTM)) |
Suchbegriffe
Recurrent Neural Networks (RNN), Backpropagation Trough Time (BPTT), Long Short-Term Memory (LSTM),
Lernziele
- Lernen der Grundlagen von Recurrent Neural Networks (RNN), Backpropagation Trough Time (BPTT) und Long Short-Term Memory (LSTM)
Erwartete Vorbereitung
Lernveranstaltungen, die vorab abgeschlossen werden müssen
Obligatorisch für Studenten
- Überarbeitung des Backpropagation-Algorithmus
- Ian Goodfellow und Yoshua Bengio und Aaron Courville: Deep Learning, MIT Press, 2016, Kapitel 10
- François Chollet: Deep Learning with Python, Manning Publications, 2017, Kapitel 6: Deep Learning für Text und Sequenzen
Optional für Studenten
Keine.
Referenzen und Hintergründe für Studierende
Keine.
Empfohlen für Lehrer
Keine.
Unterrichtsmaterialien
Anleitung für Lehrer
Zu Beginn wird eine allgemeine Übersicht der sequentiellen Daten empfohlen. Hier können Sie die Hauptchallange der Modellierung sequentieller Daten (einschließlich empfängliches Feld, Multidimensionalität und mehrskalige Natur) besprechen.
Später stellen wir RNNs zuerst mit den Grundprinzipien vor und zeigen, dass das Training von RNNs nach der Entfaltung dem Training von MLPs sehr ähnlich ist, aber die Input-, Recurrent- und Output-Gewichtsmatrizen werden geteilt.
Wir stellen BPTT (Backpropagation through time) und die verkürzte Version vor.
Als nächstes diskutieren wir, wie das verschwindende Gradientenproblem RNNs unpraktisch macht.
Um den verschwindenden Gradienten zu lösen, stellen wir die LSTM-Architektur vor, die einen inneren Gedächtnisteil (auch als Speicherzelle bezeichnet) hat, der kein Aktivatoin aufweist – so tritt hier kein verschwindender Gradient auf. Bitte machen Sie wirklich klar, dass der Gating-Mechanismus wirklich von den Daten kontrolliert wird.
Im letzten Teil des Vortrags zeigen wir, dass LSTM (und RNN, in der Tat) Schichten mit ein oder zwei Richtungen aufeinander gestapelt werden können. (uni- und bidirektionale Netze)
Gliederung
- Überblick über sequentielle Daten
- Grundlagen von rezidivierenden neuronalen Netzen
- Backpropagation durch die Zeit
- Verschwindender Gradient
- Langes Kurzzeitgedächtnis
- Stapeln von RNN/LSTM-Schichten
| Dauer (Min.) | Beschreibung |
|---|---|
| 10 | Sequenzielle Dateneinführung |
| 15 | Wiederkehrende neuronale Netze und Rückvermehrung durch die Zeit |
| 5 | Verschwindende Steigungen in RNNs |
| 20 | LSTMs |
| 5 | Stapeln von RNN/LSTM-Schichten |
| 5 | Schlussfolgerungen |
Danksagung
Balint Gyires-Tóth (Budapest University of Technology and Economics)
Das Human-Centered AI Masters-Programm wurde von der Fazilität „Connecting Europe“ der Europäischen Union im Rahmen des Zuschusses „CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068“ kofinanziert.