Administrativne informacije
| Naslov | Procjena modela |
| Trajanje | 60 |
| Modul | A |
| Vrsta lekcija | Udžbenik |
| Fokus | Tehnički – temelji umjetne inteligencije |
| Tema | Temelji umjetne inteligencije |
Ključne riječi
procjena modela, unakrsna validacija, optimizacija hiperparametra,
Ciljevi učenja
- Učenici razumiju potrebu za sustavnim ocjenjivanjem modela
- Učenici razumiju razliku između skupa osposobljavanja, testiranja i validacije
- Učenici znaju najčešće primijenjene parametre uspješnosti
- Učenici su u stanju prepoznati nedovoljnu i preustrojnost
- Učenici su sposobni dizajnirati eksperimente s unakrsnom validacijom za optimizaciju hiperparametara
Očekivana priprema
Edukativni događaji koji će biti završeni prije
Obvezno za studente
Nijedan.
Neobvezno za studente
Nijedan.
Preporuke i pozadina za studente
Nijedan.
Preporučeno nastavnicima
Nijedan.
Nastavni materijali
Upute za učitelje
Pripremite okruženje za prijenosno računalo Jupyter s pandama, matplotlibom, numpy i scikit-učenim paketima
Nacrt/vremenski raspored
| Trajanje (min) | Opis | Koncepti |
|---|---|---|
| 5 | Uvod u evaluaciju modela | empirijska pogreška, prediktivna i generalizacijska izvedba |
| 5 | Osposobljavanje jednostavnog klasifikatora | MLP, hiperparametri |
| 10 | Ocjenjivanje klasifikatora | matrica zbunjenosti, točnost, TPR, FPR, preciznost, stopa pogrešne klasifikacije, ocjena F1 |
| 10 | Krivulje Roc/PR i njihovo tumačenje | granica odlučivanja, krivulja ROC-a, PR krivulja, AUC |
| 10 | Nedovoljna oprema i prenamjena | pogreška u osposobljavanju i testiranju |
| 10 | Optimizacija unakrsne validacije i hiperparametara | skup validacije, pogreška validacije, peterostruka unakrsna validacija |
| 10 | Procjena regresijskih modela | MSE, RMSE, MAE |
Priznanja
Diplomski studij umjetne inteligencije usmjeren na čovjeka sufinanciran je Instrumentom za povezivanje Europe Europske unije u okviru bespovratnih sredstava CEF-TC-2020 – 1 Digital Skills 2020-EU-IA-0068.