Verwaltungsinformationen
| Titel | Hyperparameter-Tuning |
| Dauer | 60 |
| Modulen | B |
| Unterrichtstyp | Vortrag |
| Fokussierung | Technisches – Deep Learning |
| Themenbereich | Hyperparameter-Tuning |
Suchbegriffe
Hyperparameter-Tuning, Aktivierungsfunktionen, Verlust, Epochen, Chargengröße,
Lernziele
- Untersuchung der Auswirkungen auf Kapazität und Tiefe
- Erfahrung mit unterschiedlichen Epochen und Chargengrößen
- Testen Sie verschiedene Aktivierungsfunktionen und Lernraten
Erwartete Vorbereitung
Lernveranstaltungen, die vorab abgeschlossen werden müssen
Obligatorisch für Studenten
Keine.
Optional für Studenten
Keine.
Referenzen und Hintergründe für Studierende
- John D. Kelleher und Brain McNamee. (2018), Grundlagen des maschinellen Lernens für Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Ermittlungspresse, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neurale Netze und Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Deep Learning mit Keras, Packt, [ISBN: 9781787128422].
Empfohlen für Lehrer
Keine.
Unterrichtsmaterialien
Anleitung für Lehrer
In diesem Vortrag werden die Studierenden die Grundlagen des Hyperparameter-Tunings kennenlernen. Wir werden den Census Dataset als Beispiele für die Verwendung und Ergebnisse der Abstimmung verschiedener Hypermeter verwenden. Der Adult Census Dataset ist ein binäres Klassifikationsproblem. Mehr zu diesem Datensatz im entsprechenden Tutorial. Ziel dieser Vorlesung ist es, mehrere Hyperparameter mit Beispielen einzuführen, wie die Modifikation dieser Hyperparameter das Lernen unterstützen oder behindern kann. Darüber hinaus bieten wir Beispiele für Unter- und Übersitz-, Nasen- und Leistungsgewinne (Trainingszeit und in einigen Fällen Genauigkeit/Verlust), wenn jeder der Hyperparameter eingestellt wird. Wir werden diagnostische Plots verwenden, um die Wirkung der Hyperparameter-Tuning und insbesondere einen Fokus auf Verlust zu bewerten, wobei zu beachten ist, dass das Modul, das wir verwenden, um den Verlust zu zeichnen, matplotlib.pyplot ist, so dass die Achse skaliert wird. Dies kann bedeuten, dass signifikante Unterschiede beim Vergleich des Verlusts der Trainings- oder Testdaten nicht signifikant erscheinen können oder umgekehrt. Darüber hinaus werden einige Freiheiten für Gerüste vorgestellt, wie die Verwendung von Epochs zuerst (fast als Regularisierungstechnik) unter Beibehaltung der Batch-Größe konstant. Idealerweise werden diese zusammengestimmt, aber für diesen Vortrag sind sie getrennt.
Gliederung
| Dauer (Min.) | Beschreibung |
|---|---|
| 5 | Überblick über die Daten |
| 10 | Kapazitäts- und Tiefenabstimmung (Unter- und Überbestückung) |
| 10 | Epochen (unter und über Ausbildung) |
| 10 | Losgrößen (zur Geräuschunterdrückung) |
| 10 | Aktivierungsfunktionen (und ihre Auswirkungen auf die Leistung – Zeit und Genauigkeit) |
| 10 | Lernraten (Vanille, LR Decay, Momentum, Adaptiv) |
| 5 | Rückblick auf den Forward-Pass-Prozess |
Danksagung
Das Human-Centered AI Masters-Programm wurde von der Fazilität „Connecting Europe“ der Europäischen Union im Rahmen des Zuschusses „CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068“ kofinanziert.