Administrativne informacije
| Naslov | Rekurentne neuronske mreže |
| Trajanje | 60 minuta |
| Modul | B |
| Vrsta lekcija | Predavanje |
| Fokus | Tehničko – dubinsko učenje |
| Tema | Višestruke (rekurentne neuronske mreže (RNN), backpropagacija kroz vrijeme (BPTT), duga kratkotrajna memorija (LSTM)) |
Ključne riječi
Rekurentne neuronske mreže (RNN), Backpropagation Trough Time (BPTT), Dugo kratkotrajno pamćenje (LSTM),
Ciljevi učenja
- Učenje osnove ponavljajućih neuronskih mreža (RNN), Backpropagation Trough Time (BPTT) i Dugo kratkotrajno pamćenje (LSTM)
Očekivana priprema
Edukativni događaji koji će biti završeni prije
Obvezno za studente
- Revizija algoritma backpropagacije
- Ian Goodfellow, Yoshua Bengio i Aaron Courville: Duboko učenje, MIT Press, 2016., poglavlje 10.
- François Chollet: Deep Learning with Python, Manning Publications (Duboko učenje s Pythonom), publikacije Manning, 2017., poglavlje 6.: Duboko učenje za tekst i sekvence
Neobvezno za studente
Nijedan.
Preporuke i pozadina za studente
Nijedan.
Preporučeno nastavnicima
Nijedan.
Nastavni materijali
Upute za učitelje
U početku se preporučuje opći pregled sekvencijalnih podataka. Ovdje možete raspraviti glavne probleme modeliranja sekvencijalnih podataka (uključujući prijemljivo polje, multidimenzionalnost i višestupanjsku prirodu).
Kasnije prvo uvodimo RNN-ove, s osnovnim načelima i pokazujemo da je trening RNN-ova nakon odvijanja vrlo sličan treningu MLP-a, ali se dijele matrice ulazne, periodične i izlazne težine.
Uvodimo BPTT (Backpropagation kroz vrijeme) i skraćenu verziju.
Zatim razgovaramo o tome kako nestajući gradijent problema čini RNN nepraktičnim.
Kako bi se riješio nestanak gradijenta, uvodimo LSTM arhitekturu, koja ima unutarnji dio memorije (također poznat kao memorijska stanica), koja nema nikakav aktivatoin – tako da se ovdje ne pojavljuje nestajući gradijent. Molimo vas da to stvarno jasno, da je izlazni mehanizam stvarno kontroliraju podaci.
Na završnom dijelu predavanja pokazujemo da se LSTM (i RNN, doista) slojevi mogu međusobno slagati u jednom ili dva smjera. (jednosmjerne i dvosmjerne mreže)
Nacrt
- Pregled sekvencijalnih podataka
- Osnove rekurentnih neuronskih mreža
- Backpropagacija kroz vrijeme
- Nestajući gradijent
- Dugo kratkotrajno pamćenje
- Slaganje RNN/LSTM slojeva
| Trajanje (min) | Opis |
|---|---|
| 10 | Uvod u sekvencijalne podatke |
| 15 | Rekurentne neuronske mreže i Backpropagation kroz vrijeme |
| 5 | Nestajanje gradijenta u RNN-ovima |
| 20 | LSTM-ovi |
| 5 | Slaganje RNN/LSTM slojeva |
| 5 | Zaključci |
Priznanja
Balint Gyires-Tóth (Budimpeštansko sveučilište za tehnologiju i ekonomiju)
Diplomski studij umjetne inteligencije usmjeren na čovjeka sufinanciran je Instrumentom za povezivanje Europe Europske unije u okviru bespovratnih sredstava CEF-TC-2020 – 1 Digital Skills 2020-EU-IA-0068.