Verwaltungsinformationen
| Titel | Ableitung und Anwendung der Backpropagation |
| Dauer | 60 |
| Modulen | B |
| Unterrichtstyp | Anleitung |
| Fokussierung | Technisches – Deep Learning |
| Themenbereich | Ableitung und Durchführung von Backpropagation |
Suchbegriffe
Backpropagation, Aktivierungsfunktionen, Abweichung,
Lernziele
- Entwicklung eines Verständnisses von Gradienten und Lernraten
- Ableitung von Backpropagation für versteckte und äußere Schichten
- Backpropagation Unplugged und Plugged mit verschiedenen Aktivierungsfunktionen
Erwartete Vorbereitung
Lernveranstaltungen, die vorab abgeschlossen werden müssen
Obligatorisch für Studenten
- Kalkulationsrevision (Derivate, Teilderivate, Kettenregel)
Optional für Studenten
Keine.
Referenzen und Hintergründe für Studierende
- John D. Kelleher und Brain McNamee. (2018), Grundlagen des maschinellen Lernens für Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Ermittlungspresse, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neurale Netze und Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Deep Learning mit Keras, Packt, [ISBN: 9781787128422].
Empfohlen für Lehrer
Keine.
Unterrichtsmaterialien
Anleitung für Lehrer
- Dieses Tutorial wird den Schülern die Grundlagen des Backpropagation Lernalgorithmus für ein künstliches neuronales Netzwerk vorstellen. Dieses Tutorial besteht aus der Ableitung des Backpropagation-Algorithmus mit Stift und Papier, dann der Anwendung des Backpropagation-Algorithmus für drei verschiedene Funktionen der versteckten Schicht (Sigmoid, Tan H und ReLu), wobei Python nur mit der Numpy-Bibliothek (für Matrizenmanipulation) und dann mit KERAS verwendet wird. Dies baut auf dem grundlegenden Verständnis unterschiedlicher Aktivierungsfunktionen auf, wenn ein neuronales Netzwerk lernt und wie sich die Aktivierungsfunktionen in der Rechenkomplexität und der Anwendung von Stift und Papier unterscheiden, um mit Numpy und dann mit einem High-Level-Modul -> Keras von Grund auf zu codieren.
- Anmerkung: Die Topologie ist die gleiche wie Vorlesung 1/Tutorial 1, aber die Gewichte und Eingaben sind unterschiedlich, Sie können natürlich die gleichen Gewichte verwenden.
- Die Studierenden werden mit vier Problemen konfrontiert (die erste ist optional oder als zusätzliches Material):
- Problem 1: Bei der Ableitung des Backpropagation-Algorithmus (unter Verwendung der Sigmoid-Funktion für die inneren und äußeren Aktivierungsfunktionen und MSE als Verlustfunktion) werden die Schüler aufgefordert, die Rückvermehrungsformel (20 Minuten zum Abschluss) abzuleiten.
- Problem 2: Die Schüler werden drei Aktivierungsfunktionen für ein einzelnes Gewichtsupdate (SGD-Backpropagation) anwenden, wobei Stift und Papier für (20 Minuten) verwendet werden:
- Sigmoid (Verborgene Schicht), Sigmoid (Außenschicht) und MSE
- Tan H (Verborgene Schicht), Sigmoid (Außenschicht) und MSE
- ReLU (Verborgene Schicht), Sigmoid (Außenschicht) und MSE
- Problem 3: Die Schüler werden gebeten, ein neuronales Netzwerk von Grund auf neu zu entwickeln, indem nur das Numpy-Modul verwendet wird, und die Gewichte und Aktivierungsfunktionen, bei denen die Option zur Auswahl aus einer versteckten Schichtaktivierungsfunktion zur Aktualisierung der Gewichte mit SGD (20 Minuten zum Abschluss) zur Verfügung steht.
- Problem 4: Die Schüler werden gebeten (mit Anleitung, abhängig von der vorherigen Programmiererfahrung), ein neuronales Netzwerk mit dem Modul Tensorflow 2.X mit dem inbuild Keras-Modul und den Gewichten und Aktivierungsfunktionen zu entwickeln und dann Zufallsgewichte zu verwenden, um ein oder mehrere Gewichtsupdates abzuschließen. Bitte nicht, da Keras einen leichten MSE-Verlust verwendet, verringert sich der Verlust im Keras-Beispiel schneller.
- Keras MSE = Verlust = Quadrat(y_true – y_pred)
- Tutorial MSE = Verlust = (quadratisch(y_true – y_pred))*0.5
- Die Unterziele für diese drei Probleme besteht darin, die Schüler dazu zu bringen, den Backpropagation-Algorithmus zu verstehen, ihn anzuwenden, damit die Schüler Hyperparametereffekte besser verstehen können.
Gliederung
| Dauer (Min.) | Beschreibung |
|---|---|
| 20 (optional) | Problem 1: Ableitung der Rückvermehrungsformel unter Verwendung der Sigmoid-Funktion für die inneren und äußeren Aktivierungsfunktionen und MSE als Verlustfunktion (Optional) |
| 20 | Problem 2: Die Schüler werden drei Aktivierungsfunktionen für ein einzelnes Gewichtsupdate (SGD-Backpropagation) anwenden, wobei Stift und Papier für (20 Minuten) verwendet werden: |
| 20 | Problem 3: Die Schüler werden ein neuronales Netzwerk von Grund auf mit nur dem Numpy-Modul entwickeln, wo der Benutzer aus einer der drei versteckten Schichtaktivierungsfunktionen auswählen kann, bei denen der Code Backpropagation vorformen kann. |
| 10 | Problem 4: Die Schüler werden das Tensorflow 2.X-Modul mit dem inbuild Keras-Modul, Preform Backpropagation mit SGD verwenden. |
| 10 | Rückblick auf den Forward-Pass-Prozess |
Danksagung
Das Human-Centered AI Masters-Programm wurde von der Fazilität „Connecting Europe“ der Europäischen Union im Rahmen des Zuschusses „CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068“ kofinanziert.