Administrativní informace
| Název | Hodnocení modelu |
| Trvání | 60 |
| Modul | A |
| Typ lekce | Tutoriál |
| Soustředění | Technické – Základy umělé inteligence |
| Téma | Základy umělé inteligence |
Klíčová slova
vyhodnocení modelu, křížová validace, optimalizace hyperparametrů,
Vzdělávací cíle
- Studenti chápou potřebu systematického hodnocení modelů
- Studenti chápou rozdíl mezi tréninkovými, testovacími a validačními sadami
- Studenti znají nejrozšířenější výkonnostní metriky
- Studenti jsou schopni rozpoznat nedostatečnou kvalifikaci a překvalifikování
- Studenti jsou schopni navrhnout cross-validační experimenty pro optimalizaci hyperparametru
Očekávaná příprava
Vzdělávací akce, které mají být dokončeny před
Povinné pro studenty
Žádné.
Volitelné pro studenty
Žádné.
Reference a zázemí pro studenty
Žádné.
Doporučeno pro učitele
Žádné.
Materiály pro výuku
Pokyny pro učitele
Připravte si prostředí poznámkového bloku Jupyter s pandami, matplotlib, numpy a scikit-učení balíčky
Osnova/časový rozvrh
| Doba trvání (min) | Popis | Koncepty |
|---|---|---|
| 5 | Úvod do modelového hodnocení | empirická chyba, prediktivní a generalizační výkonnost |
| 5 | Školení jednoduchého klasifikátoru | MLP, hyperparametry |
| 10 | Hodnocení klasifikátoru | matice matice, přesnost, TPR, FPR, přesnost, míra chybné klasifikace, skóre F1 |
| 10 | Roc/PR křivky a jejich interpretace | hranice rozhodnutí, ROC křivka, PR křivka, AUC |
| 10 | Nedostatečné vybavení a přestrojení | chyba v tréninku a zkoušce |
| 10 | Křížová validace a optimalizace hyperparametru | sada validace, chyba validace, pětinásobná křížová validace |
| 10 | Hodnocení regresních modelů | VÍCE INFORMACÍ O MSE, RMSE, MAE |
Potvrzení
Program Human-Centered AI Masters byl spolufinancován Nástrojem Evropské unie pro propojení Evropy v rámci grantu CEF-TC-2020–1 Digitální dovednosti 2020-EU-IA-0068.