Hallinnolliset tiedot
| Otsikko | Mallin arviointi |
| Kesto | 60 |
| Moduuli | A |
| Oppitunnin tyyppi | Opetusohjelma |
| Keskittyminen | Tekninen – tekoälyn perusteet |
| Aihe | Tekoälyn perusteet |
Avainsanoja
mallin arviointi, ristiinvalidointi, hyperparametrien optimointi,
Oppimistavoitteet
- Oppijat ymmärtävät systemaattisen malliarvioinnin tarpeen
- Oppijat ymmärtävät koulutuksen, testien ja validointisarjojen välisen eron
- Oppijat tuntevat laajimmin sovelletut suorituskykymittarit
- Oppijat tunnistavat alistumisen ja liioittelun
- Oppijat pystyvät suunnittelemaan ristiinvalidointikokeita hyperparametrien optimoimiseksi
Odotettu valmistelu
Oppimistapahtumat valmistuvat ennen
Pakollinen opiskelijoille
Ei mitään.
Valinnainen opiskelijoille
Ei mitään.
Referenssejä ja taustaa opiskelijoille
Ei mitään.
Suositellaan opettajille
Ei mitään.
Oppituntimateriaalit
Ohjeita opettajille
Valmista Jupyter-kannettava ympäristö pandoilla, matplotlibilla, numpyilla ja scikit-oppipaketeilla
Pääpiirteittäin/aika-aikataulu
| Kesto (min) | Kuvaus | Käsitteet |
|---|---|---|
| 5 | Johdatus mallien arviointiin | empiirinen virhe, ennustava ja yleistyminen |
| 5 | Yksinkertaisen luokituksen kouluttaminen | MLP, hyperparametrit |
| 10 | Luokituksen arvioiminen | sekaannusmatriisi, tarkkuus, TPR, FPR, tarkkuus, väärä luokitusaste, F1-pistemäärä |
| 10 | Roc/PR-käyrät ja niiden tulkinta | päätösraja, ROC-käyrä, PR-käyrä, AUC |
| 10 | Ali- ja ylisovitus | Koulutus- ja testivirhe |
| 10 | Ristiinvalidointi ja hyperparametrien optimointi | validointijoukko, validointivirhe, 5-kertainen ristiinvalidointi |
| 10 | Regressiomallien arviointi | MSE, RMSE, MAE |
Tunnustukset
Human-Centered AI Masters -ohjelmaa rahoitettiin Euroopan unionin Verkkojen Eurooppa -välineestä (CEF-TC-2020–1 Digital Skills 2020-EU-IA-0068).