Adminisztratív információk
| Cím | Visszatérő neurális hálózatok |
| Időtartam | 60 perc |
| Modul | B |
| Lecke típusa | Előadás |
| Fókusz | Technikai – Mély tanulás |
| Téma | Többszörös (Recurrent Neural Networks (RNN), Backpropagation Through Time (BPTT), Hosszú rövid távú memória (LSTM)) |
Kulcsszó
Visszatérő neurális hálózatok (RNN), Backpropagation Trough Time (BPTT), Hosszú rövid távú memória (LSTM),
Tanulási célok
- A visszatérő neurális hálózatok (RNN), a Backpropagation Trough Time (BPTT) és a hosszú rövid távú memória (LSTM) alapjainak megismerése
Várható előkészítés
Az előtt befejezendő tanulási események
Kötelező a diákok számára
- A backpropagation algoritmus felülvizsgálata
- Ian Goodfellow, Yoshua Bengio és Aaron Courville: Mélytanulás, MIT Press, 2016, 10. fejezet
- François Chollet: Mély tanulás Pythonnal, Manning Publications, 2017, 6. fejezet: Mély tanulás szövegekhez és szekvenciákhoz
Választható diákok számára
Egy sem.
Referenciák és háttér a diákok számára
Egy sem.
Ajánlott tanároknak
Egy sem.
Leckeanyagok
Utasítások tanároknak
Kezdetben a szekvenciális adatok általános áttekintése javasolt. Itt megvitathatja a szekvenciális adatok modellezésének fő nehézségeit (beleértve a befogadó mezőt, a multidimenzionitást és a többléptékű természetet).
Később először bemutatjuk az RNN-eket, az alapelvek alapján, és megmutatjuk, hogy az RNN-ek képzése a kibontakozás után nagyon hasonló az MLP-k képzéséhez, de a bemeneti, visszatérő és kimeneti súly mátrixok megosztottak.
Bemutatjuk a BPTT-t (Backpropagation through time) és a csonkított változatot.
Ezután megvitatjuk, hogy az eltűnő gradiens probléma hogyan teszi az RNN-eket kivitelezhetetlenné.
Az eltűnő gradiens megoldása érdekében bemutatjuk az LSTM architektúrát, amelynek belső memóriarésze (memóriacella) is van, amely nem rendelkezik aktivatoinnal – így itt nem fordul elő eltűnő gradiens. Kérjük, tegye egyértelművé, hogy a kapu mechanizmusát valóban az adatok vezérlik.
Az előadás utolsó részében megmutatjuk, hogy az LSTM (és az RNN) rétegek egy vagy két irányban egymásra rakhatók. (egységes és kétirányú hálózatok)
Vázlat
- A szekvenciális adatok áttekintése
- Ismétlődő neurális hálózatok alapjai
- Visszatáplálás az időben
- Eltűnő gradiens
- Hosszú rövid távú memória
- RNN/LSTM rétegek egymásra rakása
| Időtartam (min) | Leírás |
|---|---|
| 10 | Szekvenciális adatok bevezetése |
| 15 | Visszatérő neurális hálózatok és backpropagation idővel |
| 5 | Eltűnő gradiensek az RNN-ben |
| 20 | LSTM-ek |
| 5 | RNN/LSTM rétegek egymásra rakása |
| 5 | Következtetések |
Visszaigazolások
Gyires-Tóth Balint (Budapesti Műszaki és Gazdaságtudományi Egyetem)
A Human-Centered AI Masters programot az Európai Unió Európai Hálózatfinanszírozási Eszköze (CEF-TC-2020–1 Digitális készségek 2020 EU-IA-0068) társfinanszírozta.