Upravne informacije
| Naslov | Vrednotenje modela |
| Trajanje | 60 |
| Modul | A |
| Vrsta lekcije | Tutorial |
| Osredotočenost | Tehnični – temelji umetne inteligence |
| Tema | Temelji umetne inteligence |
Ključne besede
vrednotenje modela, navzkrižna validacija, optimizacija hiperparametrov,
Učni cilji
- Učenci razumejo potrebo po sistematičnem ocenjevanju modelov
- Učenci razumejo razliko med sklopi usposabljanja, testiranja in potrjevanja
- Učenci poznajo najpogosteje uporabljene metrike uspešnosti
- Učenci lahko prepoznajo premajhno in prekomerno opremljanje
- Učenci so sposobni oblikovati navzkrižno validacijske poskuse za optimizacijo hiperparametrov.
Pričakovana priprava
Učenje Dogodki, ki jih je treba dokončati pred
Obvezno za študente
Nobenega.
Neobvezno za študente
Nobenega.
Reference in ozadje za študente
Nobenega.
Priporočeno za učitelje
Nobenega.
Gradivo za učne ure
Navodila za učitelje
Pripravite Jupyter zvezek okolje s pandas, matplotlib, numpy in scikit-učenje paketov
Oris/časovni razpored
| Trajanje (min) | Opis | Koncepti |
|---|---|---|
| 5 | Uvod v ocenjevanje modela | empirična napaka, napovedovanje in posplošitev |
| 5 | Usposabljanje preprostega klasifikatorja | MLP, hiperparametri |
| 10 | Ocenjevanje klasifikatorja | matrika zmede, natančnost, TPR, FPR, natančnost, stopnja napačne razvrstitve, ocena F1 |
| 10 | Krivulje ROC/PR in njihova razlaga | meja odločitve, krivulja ROC, krivulja PR, AUC |
| 10 | Nezadostno opremljanje in prekomerno opremljanje | napaka pri usposabljanju in testiranju |
| 10 | Navzkrižna validacija in optimizacija hiperparametrov | niz validacije, napaka pri validaciji, 5-kratna navzkrižna validacija |
| 10 | Vrednotenje regresijskih modelov | MSE, RMSE, MAE |
Priznanja
Program Masters umetne inteligence, ki je bil vključen v človeka, je bil sofinanciran z instrumentom za povezovanje Evrope Evropske unije v okviru nepovratnih sredstev (CEF-TC-2020–1 Digital Skills 2020-EU-IA-0068).