Административна информация
| Дял | Повтарящи се невронни мрежи |
| Продължителност | 60 минути |
| Модул | Б |
| Вид на урока | Лекция |
| Фокус | Технически — задълбочено обучение |
| Тема | Multiple (Recurrent Neural Networks (RNN), Backpropagation Through Time (BPTT), Long Short-Term Memory (LSTM) |
Ключови думи
Повтарящи се невронни мрежи (RNN), обратно размножаване Trough Time (BPTT), Дългократна краткосрочна памет (LSTM),
Учебни цели
- Изучаване на основите на повтарящите се невронни мрежи (RNN), обратно размножаване Trough Time (BPTT) и дългосрочна краткосрочна памет (LSTM)
Очаквана подготовка
Обучение на събития, които трябва да бъдат завършени преди
Задължително за студентите
- Преразглеждане на алгоритъма за обратно размножаване
- Иън Гудфелоу и Йошуа Бенджо и Арън Курвил: Дълбоко обучение, MIT Press, 2016, Глава 10
- Франсоа Чоле: Deep Learning with Python, Manning Publications, 2017, Глава 6: Задълбочено обучение за текст и последователности
Незадължително за студенти
Няма.
Референции и фон за студенти
Няма.
Препоръчва се за учители
Няма.
Материали за уроци
Инструкции за учители
В началото се препоръчва общ преглед на последователните данни. Тук можете да обсъдите основните висулки на моделирането на последователни данни (включително възприемчиво поле, многоизмерност и многомащабна природа).
По-късно въвеждаме първо RNN, с основните принципи и показваме, че обучението на RNN след разгръщането е много подобно на обучението на MLP, но матриците за входно, повтарящо се и изходно тегло се споделят.
Въвеждаме BPTT (Завръщане във времето) и съкратената версия.
След това обсъждаме как изчезващият градиент проблем прави RNN непрактичен.
За да решим изчезващия градиент, представяме LSTM архитектурата, която има част от вътрешната памет (също върната като клетка с памет), която няма активатоин — така изчезващият градиент не се случва тук. Моля, пояснете, че механизмът на мрежата наистина се контролира от данните.
В последната част на лекцията показваме, че LSTM (и RNN, наистина) слоеве могат да бъдат подредени един върху друг в една или две посоки. (еднопосочни и двупосочни мрежи)
Очертаване
- Преглед на последователните данни
- Повтарящи се основи на невронните мрежи
- Обратно разпространение във времето
- Градиент на изчезване
- Дълготрайна памет
- Подреждане RNN/LSTM слоеве
| Продължителност (минимум) | Описание |
|---|---|
| 10 | Последователно въвеждане на данни |
| 15 | Повтарящи се невронни мрежи и обратно разпространение във времето |
| 5 | Изчезващи градиенти в RNNs |
| 20 | LSTM |
| 5 | Подреждане RNN/LSTM слоеве |
| 5 | Изводи |
Потвърждения
Balint Gyires-Tóth (Budapest University of Technology and Economics)
Магистърската програма по ИИ, насочена към човека, беше съфинансирана от Механизма за свързване на Европа на Европейския съюз под формата на безвъзмездни средства № CEF-TC-2020—1 Digital Skills 2020-EU-IA-0068.