Административна информация
| Дял | Оценка на модела |
| Продължителност | 60 |
| Модул | А |
| Вид на урока | Урок |
| Фокус | Технически — основи на ИИ |
| Тема | Основи на ИИ |
Ключови думи
оценка на модела, кръстосана валидация, оптимизация на хиперпараметъра,
Учебни цели
- Учащите разбират необходимостта от систематична оценка на модела
- Учащите се разбират разликата между набори за обучение, тестове и валидиране
- Обучаемите знаят най-широко прилаганите показатели за ефективност
- Учащите са в състояние да разпознаят недооборудване и превъзмогване
- Обучаемите са способни да проектират експерименти за кръстосана валидация за оптимизация на хиперпараметъра
Очаквана подготовка
Обучение на събития, които трябва да бъдат завършени преди
Задължително за студентите
Няма.
Незадължително за студенти
Няма.
Референции и фон за студенти
Няма.
Препоръчва се за учители
Няма.
Материали за уроци
Инструкции за учители
Подгответе среда за тетрадка на Jupyter с панди, матплолиб, хрупкави и scikit-научени пакети
Описание/времеви график
| Продължителност (мин) | Описание | Концепции |
|---|---|---|
| 5 | Въведение в оценката на модела | емпирична грешка, предсказуемост и генерализация |
| 5 | Обучение на прост класификатор | MLP, хиперпараметри |
| 10 | Оценяване на класификатор | матрица на объркването, точност, TPR, FPR, точност, степен на погрешно класифициране, оценка от F1 |
| 10 | Криви на Roc/PR и тяхното тълкуване | граница на решението, крива на ROC, крива на PR, AUC |
| 10 | Недооборудване и преоборудване | грешка при обучението и теста |
| 10 | Кръстосана валидация и оптимизация на хиперпараметъра | набор за валидиране, грешка при валидирането, 5-кратно кръстосано валидиране |
| 10 | Оценка на регресионните модели | MSE, RMSE, MAE |
Потвърждения
Магистърската програма по ИИ, насочена към човека, беше съфинансирана от Механизма за свързване на Европа на Европейския съюз под формата на безвъзмездни средства № CEF-TC-2020—1 Digital Skills 2020-EU-IA-0068.