Adminisztratív információk
| Cím | Modellértékelés |
| Időtartam | 60 |
| Modul | A |
| Lecke típusa | Bemutató |
| Fókusz | Technikai – A mesterséges intelligencia alapjai |
| Téma | A mesterséges intelligencia alapjai |
Kulcsszó
modellértékelés, keresztérvényesítés, hiperparaméter-optimalizálás,
Tanulási célok
- A tanulók megértik a szisztematikus modellértékelés szükségességét
- A tanulók megértik a különbséget a képzés, a teszt és az érvényesítési készletek között
- A tanulók ismerik a legszélesebb körben alkalmazott teljesítménymutatókat
- A tanulók képesek felismerni az alulilleszkedést és a túlszerelést
- A tanulók képesek keresztérvényesítési kísérleteket tervezni a hiperparaméter optimalizálására
Várható előkészítés
Az előtt befejezendő tanulási események
Kötelező a diákok számára
Egy sem.
Választható diákok számára
Egy sem.
Referenciák és háttér a diákok számára
Egy sem.
Ajánlott tanároknak
Egy sem.
Leckeanyagok
Utasítások tanároknak
Készítsen Jupyter notebook környezetet panda, matplotlib, numpy és scikit-tanuló csomagok
Vázlat/időterv
| Időtartam (perc) | Leírás | Fogalmak |
|---|---|---|
| 5 | Bevezetés a modellértékelésbe | empirikus hiba, prediktív és általánosítási teljesítmény |
| 5 | Egyszerű osztályozó képzése | MLP, hiperparaméterek |
| 10 | Osztályozó értékelése | zavartság mátrix, pontosság, TPR, FPR, precizitás, téves besorolási arány, F1 pontszám |
| 10 | Roc/PR görbék és értelmezésük | döntési határ, ROC görbe, PR görbe, AUC |
| 10 | Alulszerelés és túlszerelés | képzési és teszthiba |
| 10 | Keresztérvényesítés és hiperparaméter optimalizálás | validálási halmaz, validálási hiba, 5-szörös keresztérvényesítés |
| 10 | Regressziós modellek értékelése | MSE, RMSE, MAE |
Visszaigazolások
A Human-Centered AI Masters programot az Európai Unió Európai Hálózatfinanszírozási Eszköze (CEF-TC-2020–1 Digitális készségek 2020 EU-IA-0068) társfinanszírozta.