Verwaltungsinformationen
| Titel | Transformatornetzwerke |
| Dauer | 60 Minuten |
| Modulen | B |
| Unterrichtstyp | Vortrag |
| Fokussierung | Technisches – Deep Learning |
| Themenbereich | Transformator |
Suchbegriffe
Sequenz-zu-Sequenz-Lernen, seq2seq, Aufmerksamkeitsmechanismus, Selbstaufmerkungsmechanismus, Transformatornetzwerk,
Lernziele
- Lernen der Grundlagen von Sequenz-zu-Sequenz-Modellen (seq2seq)
- Lernen der Grundlagen des Aufmerksamkeitsmechanismus
- Sich mit den Transformatoren vertraut machen
Erwartete Vorbereitung
Lernveranstaltungen, die vorab abgeschlossen werden müssen
Obligatorisch für Studenten
Optional für Studenten
Keine.
Referenzen und Hintergründe für Studierende
Keine.
Empfohlen für Lehrer
Keine.
Unterrichtsmaterialien
Anleitung für Lehrer
Im Vortrag wiederholen wir zunächst kurz, was wir zuvor über sequentielle Daten gelernt haben (z. B. in der RNN-Vorlesung). Dann besprechen wir, dass wir heute drei Hauptkonzepte kennenlernen werden: Sequenz-zu-Sequenz-Modelle, Aufmerksamkeitsmechanismus und Transformator. Die ersten beiden sind notwendig, um das Konzept des Transformators zu verstehen. Sie können die Originalpapiere vorbereiten und den Teilnehmern zeigen.
Seq2seq: wir besprechen nur kurz die wichtigsten Konzepte. Der Unterschied zwischen Lehrerzwang (Ausbildung) und Instanz-für-Instanz (Inferenzen) sollte hervorgehoben werden.
Die Quellcodes sollten im Detail diskutiert werden, Zeile für Zeile, so dass das Konzept von den Schülern in einer Codeebene verstanden werden kann.
In der zweiten Hälfte des Vortrags wird die Transformatorarchitektur vorgestellt. Die Kernelemente werden getrennt diskutiert.
Wenn Sie am Ende der Vorlesung noch etwas Zeit haben, können Sie das TensorFlow-Tutorial zum Transformator öffnen (Link auf dieser Seite und in den Folien).
Gliederung
- Seq2seq Modelle
- Aufmerksamkeitsmechanismus
- Transformatoren
| Dauer (Min.) | Beschreibung |
|---|---|
| 5 | Sequenzielle Dateneinführung |
| 7.5 | Sequenz-zu-Sequenz-Modelle |
| 7.5 | Aufmerksamkeitsmechanismus |
| 15 | Quellcodes |
| 20 | Transformator |
| 5 | Zusammenfassung und Schlussfolgerungen |
Danksagung
Balint Gyires-Tóth (Budapest University of Technology and Economics)
Das Human-Centered AI Masters-Programm wurde von der Fazilität „Connecting Europe“ der Europäischen Union im Rahmen des Zuschusses „CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068“ kofinanziert.