Verwaltungsinformationen
| Titel | Weiterverbreitung |
| Dauer | 60 |
| Modulen | B |
| Unterrichtstyp | Vortrag |
| Fokussierung | Technisches – Deep Learning |
| Themenbereich | Vorwärtspass |
Suchbegriffe
Vorwärtspass, Verlust,
Lernziele
- Den Prozess eines Vorwärtspasses verstehen
- Verstehen, wie man eine Forward Pass Vorhersage berechnet, sowie Verlust unplugged
- Entwickeln eines Forward Pass ohne Module in Python (außer Numpy)
- Entwickeln Sie einen Forward Pass mit Keras
Erwartete Vorbereitung
Lernveranstaltungen, die vorab abgeschlossen werden müssen
Keine.
Obligatorisch für Studenten
Keine.
Optional für Studenten
- Matrizen Multiplikation
- Erste Schritte mit Numpy
- Kenntnisse der linearen und logistischen Regression (aus Period A Machine Learning: Vortrag: Lineare Regression, GLRs, GADs)
Referenzen und Hintergründe für Studierende
- John D. Kelleher und Brain McNamee. (2018), Grundlagen des maschinellen Lernens für Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Ermittlungspresse, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neurale Netze und Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Deep Learning mit Keras, Packt, [ISBN: 9781787128422].
Empfohlen für Lehrer
Keine.
Unterrichtsmaterialien
Anleitung für Lehrer
In diesem Vortrag werden die Studierenden in die Grundlagen der Forward-Propagation für ein künstliches neuronales Netz eingeführt. Dies wird den Studierenden die Topologie (Gewichte, Synapsen, Aktivierungsfunktionen und Verlustfunktionen) näher bringen. Die Schüler können dann einen Vorwärtspass mit Stift und Papier machen, indem sie Python nur mit der Numpy-Bibliothek verwenden (für Matrizenmanipulation) und dann KERAS als Teil des Tutorials verwenden, das mit diesem LE verbunden ist. Dies wird ein grundlegendes Verständnis dafür schaffen, welche Aktivierungsfunktionen für bestimmte Problemkontexte gelten und wie sich die Aktivierungsfunktionen in der Rechenkomplexität unterscheiden. In der Vorlesung werden die äußere Schichtaktivierungsfunktion und entsprechende Verlustfunktionen für Anwendungsfälle wie binomiale Klassifikation, Regression und Mehrklassenklassifikation untersucht.
- Überblick über ein neuronales Netzwerk
- Definition von Begriffen/Komponenten
- Gewichte und Aktivierungsfunktionen
- Verlustfunktionen, welche für welchen Problemkontext
- Verwenden von Matrizen, um einen Vorwärtspass durchzuführen
Anmerkung:
- Verwendung von Sigmoid in der äußeren Schicht und MSE als Verlustfunktion.
- Bei Zinnbegrenzungen wurde ein einzigartiger Ansatz/Topologie/Problemkontext ausgewählt. Typischerweise würde man mit der Regression für einen Vorwärtspass (mit MSE als Verlustfunktion) und für die Ableitung von Backpropagation beginnen (also eine lineare Aktivierungsfunktion in der Ausgangsschicht haben, wobei dies die Komplexität der Ableitung der Backpropagationsfunktion reduziert), Dann würde man sich typischerweise zu einer binären Klassifikationsfunktion bewegen, mit Sigmoid in der Ausgangsschicht und einer binären Kreuzentropieverlustfunktion. Mit zeitlichen Einschränkungen wird dieser Satz von Vorträgen drei verschiedene Beispiele versteckter Aktivierungsfunktionen verwenden, aber einen Regressionsproblemkontext verwenden. Um die Komplexität einer sigmoiden Aktivierungsfunktion in der Ausgabeschicht, dem in den beiden ersten Vorlesungen dieses Satzes verwendeten Regressionsproblem hinzuzufügen, basiert das Problembeispiel auf einem normalisierten Zielwert (0-1 basierend auf einem prozentualen Gradproblem 0-100 %), so dass Sigmoid als Aktivierungsfunktion in der Ausgabeschicht verwendet wird. Dieser Ansatz ermöglicht es den Schülern, leicht zwischen Regressions- und binären Klassifikationsproblemen zu migrieren, indem sie einfach die Verlustfunktion ändern, wenn ein binäres Klassifikationsproblem verwendet wird oder wenn ein nicht-normalisiertes Regressionsproblem verwendet wird, entfernt der Student einfach die äußere Schichtaktivierungsfunktion.
- Kernkomponenten sind die Anwendung einer High-Level-Bibliothek, in diesem Fall KERAS über die TensorFlow 2.X-Bibliothek.
- Stift und Papier sind optional und werden nur verwendet, um die Vorwärtspass- und Backpropagationsableitung und -anwendung zu zeigen (unter Verwendung der Beispiele aus den Vortragsfolien).
- Python-Code ohne Verwendung von High-Level-Bibliotheken wird verwendet, um zu zeigen, wie einfach ein neuronales Netz ist (unter Verwendung der Beispiele aus den Vortragsfolien). Dies ermöglicht auch eine Diskussion über schnelle numerische/Matrizen-Multiplikation und stellt vor, warum wir GPUs/TPUs als optionales Element verwenden.
- Keras und TensorFlow 2.X werden für alle zukünftigen Beispiele verwendet.
Gliederung
| Dauer (Min.) | Beschreibung |
|---|---|
| 10 | Definition neuronaler Netzkomponenten |
| 15 | Gewichte und Aktivierungsfunktionen (Sigmoid, TanH und ReLu) |
| 15 | Verlustfunktionen (Regression, binomiale Klassifikation und Mehrklassenaktivierung) |
| 15 | Verwenden von Matrizen für einen Vorwärtspass |
| 5 | Rückblick auf den Vorwärtspass |
Danksagung
Das Human-Centered AI Masters-Programm wurde von der Fazilität „Connecting Europe“ der Europäischen Union im Rahmen des Zuschusses „CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068“ kofinanziert.