Administratívne informácie
| Názov | Opakujúce sa neurónové siete |
| Trvanie | 60 minút |
| Modul | B |
| Druh lekcie | Prednáška |
| Zameranie | Technické – hĺbkové učenie |
| Téma | Viacnásobné (opakované neurónové siete (RNN), Backpropagation Through Time (BPTT), Long Short-Term Memory (LSTM)) |
Kľúčové slová
Rekurentné neurónové siete (RNN), Backpropagation Trough Time (BPTT), Dlhodobá krátkodobá pamäť (LSTM),
Vzdelávacie ciele
- Učenie základov opakujúcich sa neurónových sietí (RNN), Backpropagation Trough Time (BPTT) a Long Short-Term Memory (LSTM)
Očakávaná príprava
Naučte sa udalosti, ktoré treba dokončiť predtým
Povinné pre študentov
- Revízia algoritmu spätného šírenia
- Ian Goodfellow a Yoshua Bengio a Aaron Courville: Hĺbkové učenie, MIT Press, 2016, Kapitola 10
- François Chollet: Deep Learning with Python, Manning Publikácie, 2017, kapitola 6: Hlboké učenie pre text a sekvencie
Voliteľné pre študentov
Žiadne.
Referencie a zázemie pre študentov
Žiadne.
Odporúčané pre učiteľov
Žiadne.
Učebné materiály
Pokyny pre učiteľov
Na začiatku sa odporúča všeobecný prehľad sekvenčných údajov. Tu môžete diskutovať o hlavných problémoch modelovania sekvenčných údajov (vrátane vnímavého poľa, multidimenzionálnosti a viacrozmernej povahy).
Neskôr najprv predstavíme RNN so základnými princípmi a ukážeme, že tréningy RNN po rozpracovaní sú veľmi podobné trénovaniu MLP, ale zdieľajú sa vstupné, opakujúce sa a výstupné hmotnostné matice.
Predstavujeme BPTT (Backpropagation v čase) a skrátenú verziu.
Ďalej diskutujeme o tom, ako problém miznúceho gradientu robí RNN nepraktickými.
Aby sme vyriešili miznúci gradient, predstavujeme architektúru LSTM, ktorá má vnútornú pamäťovú časť (tiež vnímanú ako pamäťovú bunku), ktorá nemá žiadny activatoín – takže sa tu nevyskytuje miznúci gradient. Uveďte, prosím, naozaj jasné, že mechanizmus mriežky je skutočne kontrolovaný dátami.
V záverečnej časti prednášky ukazujeme, že LSTM (a RNN, naozaj) vrstvy môžu byť na seba naskladané jedným alebo dvoma smermi. (jednotlivé a obojsmerné siete)
Obrysy
- Prehľad sekvenčných údajov
- Základy rekurentných neurónových sietí
- Spiatočná propagácia v čase
- Miznúci gradient
- Dlhá krátkodobá pamäť
- Stohovanie vrstiev RNN/LSTM
| Trvanie (Min) | Popis |
|---|---|
| 10 | Úvod sekvenčných údajov |
| 15 | Rekurentné neurónové siete a Backpropagácia v čase |
| 5 | Miznúce gradienty v RNN |
| 20 | LSTM |
| 5 | Stohovanie vrstiev RNN/LSTM |
| 5 | Závery |
Uznania
Balint Gyires-Tóth (Budapestská technická a ekonomická univerzita)
Program Masters umelej inteligencie zameraný na človeka bol spolufinancovaný z Nástroja Európskej únie na prepájanie Európy v rámci grantu CEF-TC-2020 – 1 Digitálne zručnosti 2020-EU-IA-0068.