Административна информация
| Дял | Извличане и прилагане на обратно размножаване |
| Продължителност | 60 |
| Модул | Б |
| Вид на урока | Лекция |
| Фокус | Технически — задълбочено обучение |
| Тема | Извличане и прилагане на обратно размножаване |
Ключови думи
Обратно размножаване, активиращи функции, диивация,
Учебни цели
- Разработване на разбиране за градиент и степен на учене
- Извличане на обратно размножаване за скрити и външни слоеве
- Имплициране на обратно размножаване изключен и включен с помощта на различни функции за активиране
Очаквана подготовка
Обучение на събития, които трябва да бъдат завършени преди
Задължително за студентите
- Ревизия на смятането (производни, частични производни, правило на веригата)
Незадължително за студенти
Няма.
Референции и фон за студенти
- Джон Келър и Мозък Макнами. (2018 г.), Fundamentals of Machine Learning for Predictive Data Analytics, MIT Press.
- Майкъл Нилсън. (2015 г.), „Неврални мрежи и задълбочено обучение“, 1. Преса за решителност, Сан Франциско, САЩ.
- Чару С. Агарвал. (2018 г.), невронни мрежи и задълбочено обучение, 1. Спрингър
- Антонио Гули, Суджит Пал. Дълбоко обучение с Keras, Packt, [ISBN: 9781787128422].
Препоръчва се за учители
Няма.
Материали за уроци
Инструкции за учители
Тази лекция ще запознае студентите с основите на алгоритъма за обратно размножаване. Тази лекция ще започне с идеята за проклятието на измерението, водещо до необходимостта от евристичен подход — последван от преглед на това как градиентът може да се използва за регулиране на тежестите. След това се въвежда алгоритъмът за обратно размножаване. След това въвеждаме и хиперпараметъра на скоростта на учене и кратък преглед на въздействието на големите и малките стойности (това ще бъде разширено в Лекция 3). След това, използвайки същата въвеждаща мрежа от Лекция 1, извличаме формулата за обратно размножаване на външния слой и накрая ще извлечем алгоритъма за обратно размножаване на вътрешния слой. Тази лекция завършва с примери за различни функции за активиране и как може да се приложи алгоритъмът. Съответният урок ще включва допълнителни производни на писалката и хартията, практически примери и използването на код (само Numpy и KERAS) за прилагане на алгоритъма за обратно размножаване.
- Първоначалната концепция за избора на груба сила на теглото и проклятието на измерението
- Въведение в градиента и как това се справя с проблема с итеративните, евристични корекции на теглото
- Защо е необходима степен на учене и влиянието на избора на малки и големи стойности
- Извличане на градиента (по този начин алгоритъма за обратно размножаване) за изходния слой със Sigmoid като външна функция за активиране
- Извличане на градиент (по този начин алгоритъма за обратно размножаване) за слоя скривалище със Sigmoid като външна функция за активиране
- Представяне на окончателната формула за обратно размножаване
- Използване на различни функции за активиране (Outer Layer: Линейни, сигмоидни и Softmax; Скрит слой: ReLU, Sigmoid и TanH) в алгоритъма за обратно размножаване
Очертаване
| Продължителност (минимум) | Описание |
|---|---|
| 5 | Въведение в ученето, градиент и степен на учене |
| 20 | Извличане на алгоритъма за обратно размножаване на външния слой (сигмоид) |
| 20 | Извличане на алгоритъма за обратно размножаване на скрития слой (сигмоид) |
| 10 | Прилагане на алгоритъма за обратно размножаване и използване на различни функции за активиране за всеки слой |
| 5 | Обобщение на алгоритъма за обратно размножаване |
Потвърждения
Магистърската програма по ИИ, насочена към човека, беше съфинансирана от Механизма за свързване на Европа на Европейския съюз под формата на безвъзмездни средства № CEF-TC-2020—1 Digital Skills 2020-EU-IA-0068.