Административна информация
| Дял | Трансформаторни мрежи |
| Продължителност | 60 минути |
| Модул | Б |
| Вид на урока | Лекция |
| Фокус | Технически — задълбочено обучение |
| Тема | Трансформатор |
Ключови думи
обучение по последователност, продължение2seq, механизъм за внимание, механизъм за самонаблюдение, трансформаторна мрежа,
Учебни цели
- Изучаване на основите на моделите от поредица до последователност (seq2seq)
- Изучаване на основите на механизма за внимание
- Запознаване с трансформаторите
Очаквана подготовка
Обучение на събития, които трябва да бъдат завършени преди
Задължително за студентите
Незадължително за студенти
Няма.
Референции и фон за студенти
Няма.
Препоръчва се за учители
Няма.
Материали за уроци
Инструкции за учители
В лекцията първо ние просто накратко повтаряме това, което научихме за последователните данни преди това (например в лекцията на RNN). След това ще обсъдим, че днес ще научим за три основни концепции: модели на последователност, механизъм за внимание и трансформатор. Първите две са необходими, за да се разбере концепцията на трансформатора. Можете да подготвите оригиналните документи и да ги покажете на присъстващите.
Seq2seq: накратко ще обсъдим основните понятия. Трябва да се подчертае разликата между насилването на учителя (обучението) и отделния случай (по-нататък).
Изходните кодове трябва да бъдат обсъдени подробно, ред по ред, така че концепцията да може да бъде разбрана от учениците на ниво код.
През втората половина на лекцията се въвежда трансформаторната архитектура. Основните елементи се обсъждат отделно.
Ако имате известно време остава в края на лекцията, можете да отворите TensorFlow урок за трансформатор (връзка на тази страница и в слайдовете също).
Очертаване
- Модели Seq2seq
- Механизъм за внимание
- Трансформатори
| Продължителност (минимум) | Описание |
|---|---|
| 5 | Последователно въвеждане на данни |
| 7.5 | Модели от поредица до последователност |
| 7.5 | Механизъм за внимание |
| 15 | Изходни кодове |
| 20 | Трансформатор |
| 5 | Резюме и заключения |
Потвърждения
Balint Gyires-Tóth (Budapest University of Technology and Economics)
Магистърската програма по ИИ, насочена към човека, беше съфинансирана от Механизма за свързване на Европа на Европейския съюз под формата на безвъзмездни средства № CEF-TC-2020—1 Digital Skills 2020-EU-IA-0068.