Haldusteave
| Ametinimetus | Mudeli hindamine |
| Kestus | 60 |
| Moodul | A |
| Õppetunni liik | Õpetus |
| Keskendumine | Tehniline – AI alused |
| Teema | Tehisintellekti alused |
Võtmesõnad
mudeli hindamine, ristvalideerimine, hüperparameetrite optimeerimine,
Õpieesmärgid
- Õppijad mõistavad süsteemse mudeli hindamise vajadust
- Õppijad mõistavad erinevust koolituse, testimise ja valideerimise vahel
- Õppijad teavad kõige levinumaid jõudluse mõõdikuid
- Õppijad suudavad ära tunda ala- ja ülesobimist
- Õppijad on võimelised kavandama ristvalideerimiskatseid hüperparameetri optimeerimiseks
Eeldatav ettevalmistamine
Õppeüritused, mis tuleb lõpetada enne
Kohustuslik õpilastele
Puudub.
Valikuline õpilastele
Puudub.
Viited ja taust õpilastele
Puudub.
Soovitatav õpetajatele
Puudub.
Õppematerjalid
Juhised õpetajatele
Valmistage ette Jupyter sülearvuti keskkond pandade, matplotliibi, numpy ja scikit-learn pakenditega
Ülevaade/ajakava
| Kestus (min) | Kirjeldus | Mõisted |
|---|---|---|
| 5 | Mudeli hindamise sissejuhatus | empiiriline viga, ennustamine ja üldistamine |
| 5 | Lihtsa klassifitseerija treenimine | MLP, hüperparameetrid |
| 10 | Klassifitseerija hindamine | segasusmaatriks, täpsus, TPR, FPR, täpsus, valesti klassifitseerimise määr, F1 skoor |
| 10 | Roc/PR kõverad ja nende tõlgendamine | otsuse piir, ROC kõver, PR kõver, AUC |
| 10 | Alapaigaldamine ja ülepaigaldamine | koolitus ja katseviga |
| 10 | Ristvalideerimine ja hüperparameetrite optimeerimine | valideerimiskogum, valideerimisviga, viiekordne ristvalideerimine |
| 10 | Regressioonimudelite hindamine | MSE, RMSE, MAE |
Tunnustused
Inimkeskse tehisintellekti magistriprogrammi kaasfinantseeris Euroopa Liidu Ühendamise Rahastu toetusega CEF-TC-2020–1 „Digioskused 2020“-EU-IA-0068.