Administratívne informácie
| Názov | Modelové hodnotenie |
| Trvanie | 60 |
| Modul | A |
| Druh lekcie | Tutorial |
| Zameranie | Technické – základy umelej inteligencie |
| Téma | Základy umelej inteligencie |
Kľúčové slová
hodnotenie modelu, krížová validácia, optimalizácia hyperparametra,
Vzdelávacie ciele
- Študenti chápu potrebu systematického hodnotenia modelov
- Študenti chápu rozdiel medzi tréningovými, testovacími a validačnými súbormi
- Študenti poznajú najrozšírenejšie metriky výkonnosti
- Študenti sú schopní rozpoznať nedostatočnú a nadmernú montáž
- Študenti sú schopní navrhnúť krížové validačné experimenty pre optimalizáciu hyperparametrov
Očakávaná príprava
Naučte sa udalosti, ktoré treba dokončiť predtým
Povinné pre študentov
Žiadne.
Voliteľné pre študentov
Žiadne.
Referencie a zázemie pre študentov
Žiadne.
Odporúčané pre učiteľov
Žiadne.
Učebné materiály
Pokyny pre učiteľov
Pripravte si prostredie poznámkového bloku Jupyter s balíkmi pandy, matplotlib, numpy a scikit-učiť sa
Prehľad/časový harmonogram
| Trvanie (min) | Popis | Koncepty |
|---|---|---|
| 5 | Úvod do hodnotenia modelov | empirická chyba, prediktívna a zovšeobecnená výkonnosť |
| 5 | Školenie jednoduchého klasifikátora | MLP, hyperparametre |
| 10 | Hodnotenie klasifikátora | matica zámeny, presnosť, TPR, FPR, presnosť, miera nesprávnej klasifikácie, skóre F1 |
| 10 | Roc/PR krivky a ich interpretácia | hranica rozhodovania, ROC krivka, PR krivka, AUC |
| 10 | Nedostatočná montáž a nadstavba | chyba v tréningu a skúške |
| 10 | Krížová validácia a optimalizácia hyperparametrov | súbor validácie, chyba validácie, 5-násobná krížová validácia |
| 10 | Hodnotenie regresných modelov | MSE, RMSE, MAE |
Uznania
Program Masters umelej inteligencie zameraný na človeka bol spolufinancovaný z Nástroja Európskej únie na prepájanie Európy v rámci grantu CEF-TC-2020 – 1 Digitálne zručnosti 2020-EU-IA-0068.