Verwaltungsinformationen
| Titel | Ableitung und Anwendung der Backpropagation |
| Dauer | 60 |
| Modulen | B |
| Unterrichtstyp | Vortrag |
| Fokussierung | Technisches – Deep Learning |
| Themenbereich | Ableitung und Durchführung von Backpropagation |
Suchbegriffe
Backpropagation, Aktivierungsfunktionen, Dieivation,
Lernziele
- Entwicklung eines Verständnisses von Gradienten und Lernraten
- Ableitung von Backpropagation für versteckte und äußere Schichten
- Backpropagation Unplugged und Plugged mit verschiedenen Aktivierungsfunktionen
Erwartete Vorbereitung
Lernveranstaltungen, die vorab abgeschlossen werden müssen
Obligatorisch für Studenten
- Kalkulationsrevision (Derivate, Teilderivate, Kettenregel)
Optional für Studenten
Keine.
Referenzen und Hintergründe für Studierende
- John D. Kelleher und Brain McNamee. (2018), Grundlagen des maschinellen Lernens für Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Ermittlungspresse, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neurale Netze und Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Deep Learning mit Keras, Packt, [ISBN: 9781787128422].
Empfohlen für Lehrer
Keine.
Unterrichtsmaterialien
Anleitung für Lehrer
Diese Vorlesung wird die Studierenden in die Grundlagen des Backpropagation Algorithmus einführen. Dieser Vortrag beginnt mit dem Begriff des Fluchs der Dimensionalität, der zur Notwendigkeit eines heuristischen Ansatzes führt – gefolgt von der Übersicht, wie Gradienten zur Anpassung der Gewichte verwendet werden können. Dies führt dann den Backpropagation Algorithmus ein. Wir führen dann auch den Hyperparameter der Lernrate und einen kurzen Überblick über den Einfluss großer und kleiner Werte ein (dies wird in der Vorlesung 3 erweitert). Dann verwenden wir das gleiche Einführungsnetzwerk aus Lektion 1, leiten wir die äußere Schicht Backpropagation Formel ab, und dann werden wir schließlich den inneren Schicht-Backpropagation-Algorithmus ableiten. Dieser Vortrag schließt mit Beispielen verschiedener Aktivierungsfunktionen ab und wie der Algorithmus angewendet werden kann. Das entsprechende Tutorial enthält zusätzliche Stift- und Papierableitungen, praktische Beispiele und die Verwendung von Code (nur Numpy und KERAS), um den Backpropagation-Algorithmus zu implementieren.
- Das ursprüngliche Konzept der Brute-Force-Gewichtsauswahl und der Fluch der Dimensionalität
- Einführung in den Gradienten und wie dies das Problem iterativer, heuristischer Gewichtsanpassungen anspricht
- Warum Lernrate benötigt wird und welche Auswirkungen die Auswahl kleiner und großer Werte hat
- Ableitung des Gradienten (also des Backpropagation-Algorithmus) für die Ausgangsschicht mit Sigmoid als äußere Aktivierungsfunktion
- Ableitung des Gradienten (also des Backpropagation-Algorithmus) für die verborgene Schicht mit Sigmoid als äußere Aktivierungsfunktion
- Präsentation der endgültigen Backpropagation Formel
- Verwendung verschiedener Aktivierungsfunktionen (Outer Layer: Linear, Sigmoid und Softmax; Versteckte Schicht: ReLU, sigmoid und TanH) im Backpropagationalgorithmus
Gliederung
| Dauer (Min.) | Beschreibung |
|---|---|
| 5 | Einführung in Lernen, Gradient und Lernrate |
| 20 | Ableitung des Rückvermehrungsalgorithmus für die äußere Schicht (Sigmoid) |
| 20 | Ableitung des Backpropagierungsalgorithmus für die versteckte Schicht (Sigmoid) |
| 10 | Implementierung des Backpropagation-Algorithmus und Verwendung verschiedener Aktivierungsfunktionen für jede Schicht |
| 5 | Rückblick auf den Backpropagationsalgorithmus |
Danksagung
Das Human-Centered AI Masters-Programm wurde von der Fazilität „Connecting Europe“ der Europäischen Union im Rahmen des Zuschusses „CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068“ kofinanziert.