Administrativ information
| Titel | Modellutvärdering |
| Varaktighet | 60 |
| Modul | A |
| Typ av lektion | Handledning |
| Fokus | Tekniska – Grunderna för AI |
| Ämne | Grunderna för AI |
Nyckelord
modellutvärdering, korsvalidering, hyperparameteroptimering,
Lärandemål
- Eleverna förstår behovet av systematisk modellutvärdering
- Eleverna förstår skillnaden mellan utbildning, test och valideringsuppsättningar
- Eleverna känner till de mest tillämpade prestationsmåtten
- Eleverna kan känna igen undersittande och översittande
- Eleverna kan utforma korsvalideringsexperiment för hyperparameteroptimering
Förväntad förberedelse
Lärande händelser som ska slutföras innan
Obligatoriskt för studenter
Ingen.
Valfritt för studenter
Ingen.
Referenser och bakgrund för studenter
Ingen.
Rekommenderas för lärare
Ingen.
Lektionsmaterial
Instruktioner för lärare
Förbered en Jupyter-anteckningsboksmiljö med pandor, matplotlib, numpy och scikit-learn-paket
Skiss/tidsschema
| Längd (min) | Beskrivning | Begrepp |
|---|---|---|
| 5 | Introduktion till modellutvärdering | empiriska fel, prediktiva och generaliseringsresultat |
| 5 | Träna en enkel klassare | MLP, hyperparametrar |
| 10 | Utvärdera en klassificerare | förvirringsmatris, noggrannhet, TPR, FPR, precision, felklassificeringshastighet, F1-poäng |
| 10 | Roc/PR-kurvor och deras tolkning | beslutsgräns, ROC-kurva, PR-kurva, AUC |
| 10 | Undermontering och övermontering | utbildnings- och testfel |
| 10 | Korsvalidering och hyperparameteroptimering | valideringsuppsättning, valideringsfel, 5-faldig korsvalidering |
| 10 | Utvärdering av regressionsmodeller | MSE, RMSE, MAE |
Erkännanden
Masterprogrammet Human-Centered AI har samfinansierats av Fonden för ett sammanlänkat Europa i Europeiska unionen inom ramen för Grant CEF-TC-2020–1 Digital Skills 2020 EU-IA-0068.