Administratieve informatie
| Titel | Modelevaluatie |
| Looptijd | 60 |
| Module | A |
| Type les | Lezing |
| Focus | Technisch — Stichtingen van AI |
| Onderwerp | Fundamenten van AI |
Sleutelwoorden
underfitting, overfitting, generalisatie, bias-variance decompositie, modelcomplexiteit, ROC-curve,
Leerdoelen
- Leerlingen begrijpen het concept van verwachte voorspellende prestaties en generalisatie
- Leerlingen begrijpen het concept van modelcomplexiteit en de relatie ervan met generalisatieprestaties
- Leerlingen zijn bekend met bias en variantie hun relatie met underfitting en overfitting
- Leerlingen hebben een stevige greep op het evalueren van binaire classificatiemodellen met de meest toegepaste statistieken
Verwachte voorbereiding
Leren van gebeurtenissen die moeten worden voltooid voordat
Verplicht voor studenten
Geen.
Optioneel voor studenten
Referenties en achtergronden voor studenten
Geen.
Aanbevolen voor docenten
- Maak kennis met het demonstratiemateriaal.
Lesmateriaal
Instructies voor docenten
Bespreek de onderwerpen in het lesoverzicht en demonstreer de concepten met behulp van de interactieve notitieboeken (effect van de hyperparameters op onder/overfitting en de bias/variance curves; calcluatie van de ROC/PR-curves).
Overzicht/tijdschema
| Duur (min) | Omschrijving | Concepten |
|---|---|---|
| 5 | Niet-lineaire regressie (recap) | basispunten, RBF, kernelparameters, gemiddelde kwadraatfout |
| 10 | Modelcomplexiteit, regulariztaion en het aantal parameters | complexiteit, regularisatie |
| 10 | Vertekening-variantie ontleding van gemiddelde kwadratenfout | generalisatiefout, vooringenomenheid, variantie, observatieruis, onderbouwing, overmontage |
| 10 | Het aantonen van de effecten van de complexiteitsparameter; regularisatiecoëfficiënt en het aantal basispunten op curve fitting en bias/variantie |
|
| 15 | Evaluatie van classificatiemodellen | verwarringsmatrix, TPR, FPR, precisie, beslissingsgrens, ROC/PR-curve |
| 10 | Demonstratie van beslissingsgrenzen en de ROC-curve |
Erkenningen
Het Human-Centered AI Masters-programma werd mede gefinancierd door de Connecting Europe Facility van de Europese Unie in het kader van de subsidie CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.