Verwaltungsinformationen
| Titel | Hyperparameter-Tuning |
| Dauer | 60 |
| Modulen | B |
| Unterrichtstyp | Anleitung |
| Fokussierung | Technisches – Deep Learning |
| Themenbereich | Hyperparameter-Tuning |
Suchbegriffe
Hyperparameter-Tuning, Aktivierungsfunktionen, Verlust, Epochen, Chargengröße,
Lernziele
- Untersuchung der Auswirkungen auf Kapazität und Tiefe
- Erfahrung mit unterschiedlichen Epochen und Chargengrößen
- Testen Sie verschiedene Aktivierungsfunktionen und Lernraten
Erwartete Vorbereitung
Lernveranstaltungen, die vorab abgeschlossen werden müssen
Obligatorisch für Studenten
Keine.
Optional für Studenten
Keine.
Referenzen und Hintergründe für Studierende
- John D. Kelleher und Brain McNamee. (2018), Grundlagen des maschinellen Lernens für Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Ermittlungspresse, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Neurale Netze und Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Deep Learning mit Keras, Packt, [ISBN: 9781787128422].
Empfohlen für Lehrer
Keine.
Unterrichtsmaterialien
Anleitung für Lehrer
- Dieses Tutorial wird den Schülern die Grundlagen der Hyperparameter-Tuning für ein künstliches neuronales Netzwerk vorstellen. Dieses Tutorial besteht aus dem Nachlaufen mehrerer Hyperparameter und anschließender Auswertung mit den gleichen Modellkonfigurationen wie die Lecture (Vorlesung 3). Dieses Tutorial konzentriert sich auf die systematische Modifikation von Hyperparametern und die Auswertung der diagnostischen Plots (unter Verwendung von Verlusten – aber dies könnte leicht für die Genauigkeit geändert werden, da es sich um ein Klassifikationsproblem handelt) mithilfe des Census Dataset. Am Ende dieses Tutorials (die Schritt-für-Schritt-Beispiele) wird erwartet, dass die Studierenden ein praktisches mit zusätzlicher Bewertung für Fairness (basierend auf der Teilmenge Leistungsbewertung) abschließen.
- Anmerkungen:
- Es wird eine Vorverarbeitung auf dem Datensatz durchgeführt (im Notebook enthalten), dies ist jedoch das Minimum, um den Datensatz zur Arbeit mit der ANN zu bringen. Dies ist nicht umfassend und beinhaltet keine Bewertung (Voreingenommenheit/Fairness).
- Wir werden diagnostische Plots verwenden, um die Wirkung der Hyperparameter-Tuning und insbesondere einen Fokus auf Verlust zu bewerten, wobei zu beachten ist, dass das Modul, das wir verwenden, um den Verlust zu zeichnen, matplotlib.pyplot ist, so dass die Achse skaliert wird. Dies kann bedeuten, dass signifikante Unterschiede beim Vergleich des Verlusts der Trainings- oder Testdaten nicht signifikant erscheinen können oder umgekehrt.
- Einige Freiheiten für Gerüste werden vorgestellt, wie die Verwendung von Epochs zuerst (fast als Regularisierungstechnik) unter Beibehaltung der Batch-Größe konstant.
- Um klare Beispiele (z. B. Overfitting) zu liefern, können einige zusätzliche Anpassungen an andere Hyperparameter aufgenommen worden sein, um klare diagnostische Diagramme für Beispiele bereitzustellen.
- Sobald eine vernünftige Kapazität und Tiefe identifiziert wurde, sind diese sowie andere Hyperparameter für folgende Beispiele gesperrt, wenn möglich.
- Schließlich können einige der Zellen einige Zeit brauchen, um zu trainieren, auch mit GPU-Zugriff.
- Den Schülern werden mehrere Schritte für das Tutorial vorgestellt:
- Schritt 1: Einige grundlegende Vorverarbeitungen für den Adult Census Dataset
- Schritt 2: Kapazitäts- und Tiefenabstimmung (einschließlich der folgenden Beispiele):
- Keine Konvergenz
- Underfitting
- Überfitting
- Konvergenz
- Schritt 3: Epochen (über und unter Ausbildung – ohne es als formale Regularisierungstechnik einzuführen)
- Schritt 4: Aktivierungsfunktionen (in Bezug auf Leistung – Trainingszeit und in einigen Fällen Verlust)
- Schritt 5: Lernquoten (einschließlich der folgenden Beispiele):
- SGD Vanille
- SGD mit Lernrate Zerfall
- SGD mit Impuls
- Adaptive Lernraten:
- RMSProp
- AdaGrad
- Adam
- Die Unterziele für diese fünf Teile sind es, den Schülern Beispiele und Erfahrungen in der Abstimmung von Hyperparametern und der Bewertung der Effekte mittels diagnostischer Plots zu vermitteln.
Gliederung
| Dauer (Min.) | Beschreibung |
|---|---|
| 5 | Vorverarbeitung der Daten |
| 10 | Kapazitäts- und Tiefenabstimmung (Unter- und Überbestückung) |
| 10 | Epochen (unter und über Ausbildung) |
| 10 | Losgrößen (zur Geräuschunterdrückung) |
| 10 | Aktivierungsfunktionen (und ihre Auswirkungen auf die Leistung – Zeit und Genauigkeit) |
| 10 | Lernraten (Vanille, LR Decay, Momentum, Adaptiv) |
| 5 | Rekapitulieren Sie einige grundlegende Hyperparameter (ReLu, Adam) und die Einstellung anderer (Kapazität und Tiefe). |
Danksagung
Das Human-Centered AI Masters-Programm wurde von der Fazilität „Connecting Europe“ der Europäischen Union im Rahmen des Zuschusses „CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068“ kofinanziert.