Informacje administracyjne
| Tytuł | Ocena modelu |
| Czas trwania | 60 |
| Moduł | A |
| Rodzaj lekcji | Tutorial |
| Skupienie | Techniczne – podstawy sztucznej inteligencji |
| Temat | Podstawy AI |
Słowa kluczowe
ocena modelu, walidacja krzyżowa, optymalizacja hiperparametrów,
Cele w zakresie uczenia się
- Uczniowie rozumieją potrzebę systematycznej oceny modelu
- Uczniowie rozumieją różnicę między zestawami szkoleń, testów i walidacji
- Uczniowie znają najczęściej stosowane wskaźniki wydajności
- Uczniowie są w stanie rozpoznać niedopasowanie i overfiting
- Uczniowie są w stanie zaprojektować eksperymenty walidacji krzyżowej w celu optymalizacji hiperparametrów
Oczekiwane przygotowanie
Wydarzenia edukacyjne, które należy ukończyć przed
Obowiązkowe dla studentów
Brak.
Opcjonalne dla studentów
Brak.
Referencje i tło dla studentów
Brak.
Zalecane dla nauczycieli
Brak.
Materiały do lekcji
Instrukcje dla nauczycieli
Przygotuj środowisko notebooka Jupyter z pakietami panda, matplotlib, numpy i scikit-learn
Zarys/harmonogram czasu
| Czas trwania (min) | Opis | Koncepcje |
|---|---|---|
| 5 | Wprowadzenie do oceny modelu | błąd empiryczny, wydajność prognozowania i uogólniania |
| 5 | Szkolenie prostego klasyfikatora | MLP, hiperparametry |
| 10 | Ocena klasyfikatora | matryca dezorientacji, dokładność, TPR, FPR, precyzja, wskaźnik błędnej klasyfikacji, wynik F1 |
| 10 | Krzywe Roc/PR i ich interpretacja | granica decyzyjna, krzywa ROC, krzywa PR, AUC |
| 10 | Niedopasowanie i przeładowanie | błąd szkoleniowy i testowy |
| 10 | Walidacja krzyżowa i optymalizacja hiperparametrów | zestaw walidacji, błąd walidacji, 5-krotna walidacja krzyżowa |
| 10 | Ocena modeli regresji | MSE, RMSE, MAE |
Potwierdzenia
Program Masters zorientowany na człowieka został współfinansowany przez instrument „Łącząc Europę” Unii Europejskiej w ramach grantu CEF-TC-2020-1 Umiejętności cyfrowe 2020-EU-IA-0068.