Haldusteave
| Ametinimetus | Korduvad närvivõrgud |
| Kestus | 60 minutit |
| Moodul | B |
| Õppetunni liik | Loeng |
| Keskendumine | Tehniline – sügav õpe |
| Teema | Mitu (korduv närvivõrk (RNN), backpropagation through time (BPTT), pikaajaline lühiajaline mälu (LSTM)) |
Võtmesõnad
Korduvad neurovõrgud (RNN), backpropagation Trough Time (BPTT), pikaajaline lühiajaline mälu (LSTM),
Õpieesmärgid
- Korduvate närvivõrkude (RNN), Backpropagation Trough Time (BPTT) ja pikaajalise lühiajalise mälu (LSTM) põhialuste õppimine
Eeldatav ettevalmistamine
Õppeüritused, mis tuleb lõpetada enne
Kohustuslik õpilastele
- Backpropagation algoritmi läbivaatamine
- Ian Goodfellow ja Yoshua Bengio ja Aaron Courville: Süvaõpe, MIT Press, 2016, peatükk 10
- François Chollet: Süvaõpe Pythoniga, Manning Publications, 2017, 6. peatükk: Süvaõpe teksti ja järjestuste jaoks
Valikuline õpilastele
Puudub.
Viited ja taust õpilastele
Puudub.
Soovitatav õpetajatele
Puudub.
Õppematerjalid
Juhised õpetajatele
Alguses on soovitatav anda üldine ülevaade järjestikustest andmetest. Siin saate arutada järjestikuste andmete modelleerimise peamisi kallangeid (sealhulgas vastuvõtlik väli, mitmemõõtmelisus ja mitmemõõtmeline olemus).
Hiljem tutvustame kõigepealt RNN-e koos aluspõhimõtetega ja näitame, et RNN-ide treenimine pärast avamist on väga sarnane MLP-de koolitamisega, kuid sisend-, korduv- ja väljundkaalu maatriksid on jagatud.
Tutvustame BPTT (Backpropagation through time) ja lühendatud versiooni.
Järgnevalt arutleme, kuidas kaduv gradient probleem muudab RNN-id ebapraktiliseks.
Kaduva gradienti lahendamiseks tutvustame LSTM-arhitektuuri, millel on sisemine mäluosa (ka mälurakuna), millel ei ole aktivatoiini – nii et kaduvat gradienti siin ei esine. Palun tehke selgeks, et andmed on tõesti kontrolli all.
Loengu lõpuosas näitame, et LSTM-i (ja RNN, tõepoolest) kihte saab üksteise peale virnastada ühe või kahe suunaga. (ühesuunalised ja kahesuunalised võrgud)
Kontuur
- Ülevaade järjestikustest andmetest
- Korduvad närvivõrgud
- Tagasipropageerimine läbi aja
- Kaovad gradient
- Pikk lühiajaline mälu
- Virnastamine RNN/LSTM kihid
| Kestus (Min) | Kirjeldus |
|---|---|
| 10 | Järjestikuste andmete sissetoomine |
| 15 | Korduvad närvivõrgud ja Backpropagation läbi aja |
| 5 | Kaovad kalded RNN-ides |
| 20 | LSTMid |
| 5 | Virnastamine RNN/LSTM kihid |
| 5 | Järeldused |
Tunnustused
Balint Gyires-Tóth (Budapesti Tehnikaülikool)
Inimkeskse tehisintellekti magistriprogrammi kaasfinantseeris Euroopa Liidu Ühendamise Rahastu toetusega CEF-TC-2020–1 „Digioskused 2020“-EU-IA-0068.