Verwaltungsinformationen
| Titel | Weiterverbreitung |
| Dauer | 60 |
| Modulen | B |
| Unterrichtstyp | Anleitung |
| Fokussierung | Technisches – Deep Learning |
| Themenbereich | Vorwärtspass |
Suchbegriffe
Vorwärtspass, Verloren,
Lernziele
- Den Prozess eines Vorwärtspasses verstehen
- Verstehen, wie man eine Forward Pass Vorhersage berechnet, sowie Verlust unplugged
- Entwickeln eines Forward Pass ohne Module in Python (außer Numpy)
- Entwickeln Sie einen Forward Pass mit Keras
Erwartete Vorbereitung
Lernveranstaltungen, die vorab abgeschlossen werden müssen
Obligatorisch für Studenten
Keine.
Optional für Studenten
- Matrizen Multiplikation
- Erste Schritte mit Numpy
- Kenntnisse der linearen und logistischen Regression ([Vorlesung: Lineare Regression]
Referenzen und Hintergründe für Studierende
- John D. Kelleher und Brain McNamee. (2018), Grundlagen des maschinellen Lernens für Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Ermittlungspresse, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neurale Netze und Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Deep Learning mit Keras, Packt, [ISBN: 9781787128422].
Empfohlen für Lehrer
Keine.
Unterrichtsmaterialien
- [Problem 1 (Bild)]
- [Problem 2 und Problem 3 (HTML)]
- Problem 2 und Problem 3 (.ipynb)
Anleitung für Lehrer
- Dieses Tutorial wird den Schülern die Grundlagen der Forward-Propagation für ein künstliches neuronales Netzwerk vorstellen. Dieses Tutorial besteht aus einem Vorwärtspass mit Stift und Papier, wobei Python nur mit der Numpy-Bibliothek (für Matrizenmanipulation) und dann mit KERAS verwendet wird. Dies wird auf dem grundlegenden Verständnis dessen aufbauen, welche Aktivierungsfunktionen für spezifische Problemkontexte gelten und wie sich die Aktivierungsfunktionen in der Rechenkomplexität und der Anwendung von Stift und Papier unterscheiden, um mit Numpy und dann mit einem High-Level-Modul -> Keras von Grund auf zu codieren.
- Die Studierenden werden mit drei Problemen konfrontiert:
- Problem 1: (Beispiel 1 aus der Vorlesung -> Bild über das RHS dieses WIKI) und gebeten, einen Vorwärtspass mit den folgenden Parametern (20 Minuten zum Abschluss) durchzuführen:
- Sigmoid-Aktivierungsfunktion für die versteckte Schicht
- Sigmoid-Aktivierungsfunktion für die äußere Schicht
- MSE Verlustfunktion
- Problem 2: (Beispiel 1 aus der Vorlesung), werden die Studierenden (mit Anleitung je nach vorheriger Programmiererfahrung) gebeten, ein neuronales Netzwerk von Grund auf neu zu entwickeln, indem nur das Numpy-Modul verwendet wird, und die Gewichte und Aktivierungsfunktionen von Problem 1 (das sind die gleichen wie Beispiel 1 aus der Vorlesung (20 Minuten zu vervollständigen).
- Problem 3: (Beispiel 1 aus der Vorlesung und am gleichen Beispiel, aber zufällige Gewichte) werden die Schüler gebeten (mit Anleitung je nach vorheriger Programmiererfahrung) ein neuronales Netzwerk mit dem Modul Tensorflow 2.X mit dem inbuild Keras Modul und den Gewichten und Aktivierungsfunktionen aus Problem 1 zu entwickeln und dann Zufallsgewichte zu verwenden (die dasselbe sind wie Beispiel 1 aus der Vorlesung: 20 Minuten zu vervollständigen).
- Problem 1: (Beispiel 1 aus der Vorlesung -> Bild über das RHS dieses WIKI) und gebeten, einen Vorwärtspass mit den folgenden Parametern (20 Minuten zum Abschluss) durchzuführen:
- Die Unterziele für diese drei Probleme sind es, die Studierenden an die Struktur und Anwendung grundlegender Konzepte (Aktivierungsfunktionen, Topologie und Verlustfunktionen) für Deep Learning zu gewöhnen.
- Keras und TensorFlow 2.X werden für alle zukünftigen Beispiele verwendet.
Gliederung
| Dauer (Min.) | Beschreibung |
|---|---|
| 20 | Problem 1: Pen & Paper Umsetzung eines Forward Pass (Beispiel aus der Vorlesung) |
| 20 | Problem 2: Entwicklung eines neuronalen Netzwerks von Grund auf mit Numpy (Beispiel aus der Vorlesung) |
| 10 | Problem 3: Entwicklung eines neuronalen Netzes aus Keras (Beispiel aus der Vorlesung mit eingestellten Gewichten und Zufallsgewichten) |
| 10 | Rückblick auf den Forward-Pass-Prozess |
Danksagung
Das Human-Centered AI Masters-Programm wurde von der Fazilität „Connecting Europe“ der Europäischen Union im Rahmen des Zuschusses „CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068“ kofinanziert.