Administrative oplysninger
| Titel | Modelevaluering |
| Varighed | 60 |
| Modul | A |
| Lektionstype | Tutorial |
| Fokus | Teknisk — Grundlæggelser af kunstig intelligens |
| Emne | Fundamentet for AI |
Nøgleord
modelevaluering, krydsvalidering, optimering af hyperparameter
Læringsmål
- Eleverne forstår behovet for systematisk modelevaluering
- Eleverne forstår forskellen mellem trænings-, test- og valideringssæt
- Eleverne kender de mest anvendte præstationsmålinger
- Eleverne er i stand til at genkende underfitting og overfitting
- Eleverne er i stand til at designe krydsvalidering eksperimenter til hyperparameter optimering
Forventet forberedelse
Læringsbegivenheder, der skal fuldføres før
Obligatorisk for studerende
Ingen.
Valgfrit for studerende
Ingen.
Referencer og baggrund for studerende
Ingen.
Anbefalet til lærerne
Ingen.
Undervisningsmaterialer
Instruktioner til lærerne
Forbered et Jupyter notesbog miljø med pandaer, matplotlib, numpy og scikit-lære pakker
Oversigt/tidsplan
| Varighed (min) | Beskrivelse | Koncepter |
|---|---|---|
| 5 | Introduktion til modelevaluering | empiriske fejl, prædiktive og generaliseringsresultater |
| 5 | Træning af en simpel klassifikator | MLP, hyperparametre |
| 10 | Evaluering af en klassifikator | forvirring matrix, nøjagtighed, TPR, FPR, præcision, fejlklassificering sats, F1 score |
| 10 | Roc/PR-kurver og deres fortolkning | beslutningsgrænse, ROC-kurve, PR-kurve, AUC |
| 10 | Undermontering og overfitting | Trænings- og testfejl |
| 10 | Optimering af krydsvalidering og hyperparameter | valideringssæt, valideringsfejl, 5-dobbelt krydsvalidering |
| 10 | Evaluering af regressionsmodeller | MSE, RMSE, MAE |
Anerkendelser
Programmet Human-Centered AI Masters blev samfinansieret af Connecting Europe-faciliteten i Den Europæiske Union under tilskud CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.