Административна информация
| Дял | Настройка на хиперпараметъра |
| Продължителност | 60 |
| Модул | Б |
| Вид на урока | Урок |
| Фокус | Технически — задълбочено обучение |
| Тема | Настройка на хиперпараметъра |
Ключови думи
Настройка на хиперпараметъра, функции за активиране, загуба, епохи, размер на партидата,
Учебни цели
- Проучване на въздействието върху капацитета и дълбочината
- Опит с различни епохи и размери на партидите
- Изпробване на различни функции за активиране и степен на обучение
Очаквана подготовка
Обучение на събития, които трябва да бъдат завършени преди
Задължително за студентите
Няма.
Незадължително за студенти
Няма.
Референции и фон за студенти
- Джон Келър и Мозък Макнами. (2018 г.), Fundamentals of Machine Learning for Predictive Data Analytics, MIT Press.
- Майкъл Нилсън. (2015 г.), „Неврални мрежи и задълбочено обучение“, 1. Преса за решителност, Сан Франциско, САЩ.
- Чару С. Агарвал. (2018 г.), невронни мрежи и задълбочено обучение, 1. Спрингър
- Антонио Гули, Суджит Пал. Дълбоко обучение с Keras, Packt, [ISBN: 9781787128422].
Препоръчва се за учители
Няма.
Материали за уроци
Инструкции за учители
- Този урок ще запознае студентите с основите на хиперпараметъра тунинг за изкуствена невронна мрежа. Този урок ще се състои от следене на множество хиперпараметри и след това оценка с помощта на същите конфигурации на модели като лекцията (Lecture 3). Този урок ще се съсредоточи върху системната модификация на хиперпараметрите и оценката на диагностичните парцели (като се използва загуба — но това може лесно да бъде променено за точност, тъй като това е проблем с класификацията) с помощта на набора от данни за преброяване. В края на този урок (примери стъпка по стъпка) от студентите ще се очаква да завършат Практически с допълнителна оценка за справедливост (въз основа на оценка на изпълнението на подгрупата).
- Бележки:
- Има предварителна обработка на набора от данни (включена в бележника), но това е минимумът, за да може наборът от данни да работи с ANN. Това не е изчерпателно и не включва оценка (отклонения/справедливост).
- Ще използваме диагностични парцели, за да оценим ефекта от тунинга на хиперпараметъра и по-специално фокуса върху загубата, където трябва да се отбележи, че модулът, който използваме за начертаване на загубата, е matplotlib.pyplot, като по този начин оста се мащабира. Това може да означава, че значителните разлики могат да изглеждат незначителни или обратно при сравняване на загубата на данните от обучението или теста.
- Представени са някои свободи за скелето, като например използването на Epochs на първо място (почти като техника за узаконяване), като същевременно се запазва постоянният размер на партидата.
- За да се дадат ясни примери (т.е. преоборудване), може да са включени някои допълнителни ощипвания към други хиперпараметри, за да се осигурят ясни диагностични графики за примери.
- След като се установи разумен капацитет и дълбочина, това, както и други хиперпараметри, са заключени за следване на примери, когато е възможно.
- И накрая, някои от клетките могат да отнемат известно време, за да тренират, дори и с достъп до GPU.
- Студентите ще бъдат представени с няколко стъпки за урока:
- Стъпка 1: Някои основни предварителни обработки за набора от данни за преброяването на възрастните
- Стъпка 2: Капацитет и дълбочинни тунинг (включително следните примери):
- Няма сближаване
- Недооборудване
- Преоборудване
- Конвергенция
- Стъпка 3: Епохи (над и в процес на обучение — без да се въвежда като формална техника за узаконяване)
- Стъпка 4: Функции за активиране (по отношение на изпълнението — време за обучение и в някои случаи загуба)
- Стъпка 5: Степен на обучение (включително следните примери):
- SGD Ванила
- SGD с упадък на скоростта на учене
- SGD с инерция
- Степен на адаптивно обучение:
- RMSProp
- АдаГрад
- Адам
- Подцелите за тези пет части е да предоставят на студентите примери и опит в тунинг хиперпараметрите и оценка на ефектите с помощта на диагностични парцели.
Очертаване
| Продължителност (минимум) | Описание |
|---|---|
| 5 | Предварителна обработка на данните |
| 10 | Капацитет и дълбочина тунинг (под и над монтаж) |
| 10 | Епохи (под и над обучение) |
| 10 | Размери на партидите (за потискане на шума) |
| 10 | Функции за активиране (и тяхното въздействие върху производителността — време и точност) |
| 10 | Степен на обучение (ванилия, LR Decay, момент, адаптивен) |
| 5 | Прегледайте някои основни хиперпараметри (ReLu, Adam) и тунинга на други (капацитет и дълбочина). |
Потвърждения
Магистърската програма по ИИ, насочена към човека, беше съфинансирана от Механизма за свързване на Европа на Европейския съюз под формата на безвъзмездни средства № CEF-TC-2020—1 Digital Skills 2020-EU-IA-0068.