Verwaltungsinformationen
| Titel | Modellbewertung |
| Dauer | 60 |
| Modulen | A |
| Unterrichtstyp | Anleitung |
| Fokussierung | Technische – Grundlagen der KI |
| Themenbereich | Grundlagen der KI |
Suchbegriffe
Modellauswertung, Crossvalidierung, Hyperparameteroptimierung,
Lernziele
- Die Lernenden verstehen die Notwendigkeit einer systematischen Modellbewertung
- Die Lernenden verstehen den Unterschied zwischen Trainings-, Test- und Validierungssätzen
- Die Lernenden kennen die am weitesten angewandten Leistungskennzahlen
- Lernende sind in der Lage, Unter- und Überfitting zu erkennen
- Die Lernenden sind in der Lage, Cross-Validierungsexperimente für die Hyperparameteroptimierung zu entwerfen
Erwartete Vorbereitung
Lernveranstaltungen, die vorab abgeschlossen werden müssen
Obligatorisch für Studenten
Keine.
Optional für Studenten
Keine.
Referenzen und Hintergründe für Studierende
Keine.
Empfohlen für Lehrer
Keine.
Unterrichtsmaterialien
Anleitung für Lehrer
Bereiten Sie eine Jupyter-Notebook-Umgebung mit Pandas, Matplotlib, Numpy und Scikit-Lernpaketen vor
Gliederung/Zeitplan
| Dauer (min) | Beschreibung | Konzepte |
|---|---|---|
| 5 | Einführung in die Modellbewertung | empirische Fehler-, Vorhersage- und Generalisierungsleistung |
| 5 | Schulung eines einfachen Klassifikators | MLP, Hyperparameter |
| 10 | Bewertung eines Klassifikators | Verwechslungsmatrix, Genauigkeit, TPR, FPR, Präzision, Fehlklassifizierungsrate, F1-Score |
| 10 | Roc/PR-Kurven und ihre Interpretation | Entscheidungsgrenze, ROC-Kurve, PR-Kurve, AUC |
| 10 | Unter- und Überfitting | Trainings- und Testfehler |
| 10 | Crossvalidierung und Hyperparameteroptimierung | Validierungssatz, Validierungsfehler, 5fache Quervalidierung |
| 10 | Auswertung von Regressionsmodellen | MSE, RMSE, MAE |
Danksagung
Das Human-Centered AI Masters-Programm wurde von der Fazilität „Connecting Europe“ der Europäischen Union im Rahmen des Zuschusses „CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068“ kofinanziert.