Upravne informacije
| Naslov | Ponavljajoče se nevronske mreže |
| Trajanje | 60 minut |
| Modul | B |
| Vrsta lekcije | Predavanje |
| Osredotočenost | Tehnično – poglobljeno učenje |
| Tema | Večkratna (ponavljajoča se nevronska omrežja (RNN), Backpropagation Through Time (BPTT), Long Short-Term Memory (LSTM)) |
Ključne besede
Ponavljajoče nevronske mreže (RNN), Backpropagation Trough Time (BPTT), Dolgi kratkoročni spomin (LSTM),
Učni cilji
- Učenje temeljev ponavljajočih nevronskih mrež (RNN), Backpropagation Trough Time (BPTT) in Long Short-Term Memory (LSTM)
Pričakovana priprava
Učenje Dogodki, ki jih je treba dokončati pred
Obvezno za študente
- Revizija algoritma backpropagation
- Ian Goodfellow in Yoshua Bengio in Aaron Courville: Globoko učenje, MIT Press, 2016, poglavje 10
- François Chollet: Globoko učenje s Pythonom, Manning Publications, 2017, poglavje 6: Globoko učenje za besedilo in sekvenciranje
Neobvezno za študente
Nobenega.
Reference in ozadje za študente
Nobenega.
Priporočeno za učitelje
Nobenega.
Gradivo za učne ure
Navodila za učitelje
Na začetku se priporoča splošen pregled zaporednih podatkov. Tukaj lahko razpravljate o glavnih značilnostih modeliranja zaporednih podatkov (vključno z dovzetnim poljem, večdimenzionalnostjo in večplastno naravo).
Kasneje najprej uvedemo RNN z osnovnimi načeli in pokažemo, da je usposabljanje RNN po razvoju zelo simlarno za usposabljanje MLP, vendar se matrike vhodne, ponavljajoče in izhodne teže delijo.
Predstavljamo BPTT (Backpropagation skozi čas) in skrajšano različico.
Nato razpravljamo o tem, kako izginjajoči problem gradienta naredi RNN nepraktičen.
Za rešitev izginjajočega gradienta uvajamo arhitekturo LSTM, ki ima notranji spominski del (tudi spominsko celico), ki nima aktivatoina – tako da se izginjajoči gradient tukaj ne pojavlja. Prosimo, pojasnite, da je mehanizem za gating resnično pod nadzorom podatkov.
V zadnjem delu predavanja pokažemo, da se lahko plasti LSTM (in RNN) med seboj zložijo v eno ali dve smeri. (eno- in dvosmerna omrežja)
Obris
- Pregled zaporednih podatkov
- Osnove ponavljajočih se nevronskih mrež
- Povratna propagacija skozi čas
- Izginjajoči gradient
- Dolgoročni kratkotrajni spomin
- Zlaganje RNN/LSTM plasti
| Trajanje (mini) | Opis |
|---|---|
| 10 | Zaporedni vnos podatkov |
| 15 | Ponavljajoče se nevronske mreže in backpropagation skozi čas |
| 5 | Izginjajoči gradienti v RNN-ih |
| 20 | LSTMs |
| 5 | Zlaganje RNN/LSTM plasti |
| 5 | Sklepi |
Priznanja
Balint Gyires-Tóth (Budimpeška univerza za tehnologijo in ekonomijo)
Program Masters umetne inteligence, ki je bil vključen v človeka, je bil sofinanciran z instrumentom za povezovanje Evrope Evropske unije v okviru nepovratnih sredstev (CEF-TC-2020–1 Digital Skills 2020-EU-IA-0068).