Administratieve informatie
| Titel | Modelevaluatie |
| Looptijd | 60 |
| Module | A |
| Type les | Tutorial |
| Focus | Technisch — Stichtingen van AI |
| Onderwerp | Fundamenten van AI |
Sleutelwoorden
modelevaluatie, kruisvalidatie, hyperparameteroptimalisatie,
Leerdoelen
- Leerlingen begrijpen de noodzaak van systematische modelevaluatie
- Leerlingen begrijpen het verschil tussen trainings-, test- en validatiesets
- Leerlingen kennen de meest toegepaste prestatiestatistieken
- Leerlingen zijn in staat om underfitting en overfitting te herkennen
- Leerlingen zijn in staat om cross-validatie-experimenten te ontwerpen voor hyperparameteroptimalisatie
Verwachte voorbereiding
Leren van gebeurtenissen die moeten worden voltooid voordat
Verplicht voor studenten
Geen.
Optioneel voor studenten
Geen.
Referenties en achtergronden voor studenten
Geen.
Aanbevolen voor docenten
Geen.
Lesmateriaal
Instructies voor docenten
Bereid een Jupyter notebook omgeving voor met panda’s, matplotlib, numpy en scikit-learn pakketten
Overzicht/tijdschema
| Duur (min) | Omschrijving | Concepten |
|---|---|---|
| 5 | Inleiding tot modelevaluatie | empirische fouten, voorspellende en generalisatieprestaties |
| 5 | Een eenvoudige classifier trainen | MLP, hyperparameters |
| 10 | Evaluatie van een classificator | verwarringsmatrix, nauwkeurigheid, TPR, FPR, precisie, foutclassificatiepercentage, F1-score |
| 10 | Roc/PR curves en hun interpretatie | beslissingsgrens, ROC-curve, PR-curve, AUC |
| 10 | Onderfitting en overfitting | opleidings- en testfout |
| 10 | Cross-validatie en hyperparameter optimalisatie | validatieset, validatiefout, 5-voudige kruisvalidatie |
| 10 | Evaluatie van regressiemodellen | MSE, RMSE, MAE |
Erkenningen
Het Human-Centered AI Masters-programma werd mede gefinancierd door de Connecting Europe Facility van de Europese Unie in het kader van de subsidie CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.