Hallinnolliset tiedot
| Otsikko | Toistuvat neuroverkot |
| Kesto | 60 minuuttia |
| Moduuli | B |
| Oppitunnin tyyppi | Luento |
| Keskittyminen | Tekninen – syväoppiminen |
| Aihe | Useita (Recurrent Neural Networks (RNN), Backpropagation Through Time (BPTT), Long Short-Term Memory (LSTM)) |
Avainsanoja
Recurrent Neural Networks (RNN), Backpropagation Trough Time (BPTT), Long Short-Term Memory (LSTM),
Oppimistavoitteet
- Recurrent Neural Networks (RNN), Backpropagation Trough Time (BPTT) ja Long Short-Term Memory (LSTM) perusasiat
Odotettu valmistelu
Oppimistapahtumat valmistuvat ennen
Pakollinen opiskelijoille
- Backpropagation-algoritmin tarkistaminen
- Ian Goodfellow ja Yoshua Bengio ja Aaron Courville: Syväoppiminen, MIT Press, 2016, luku 10
- François Chollet: Syväoppiminen Pythonin kanssa, Manning Publications, 2017, luku 6: Syväoppiminen tekstille ja sekvensseille
Valinnainen opiskelijoille
Ei mitään.
Referenssejä ja taustaa opiskelijoille
Ei mitään.
Suositellaan opettajille
Ei mitään.
Oppituntimateriaalit
Ohjeita opettajille
Aluksi suositellaan yleiskatsausta peräkkäisistä tiedoista. Tässä voit keskustella peräkkäisten tietojen mallintamisen tärkeimmistä challangeista (mukaan lukien vastaanottava kenttä, moniulotteisuus ja monimittainen luonne).
Myöhemmin esittelemme RNN:t ensin perusperiaatteineen ja osoitamme, että RNN-koulutus on hyvin samankaltaista MLP-harjoitteluun, mutta syöttö-, toistuva- ja lähtöpainomatriisit jaetaan.
Esittelemme BPTT:n (Backpropagation through time) ja lyhennetyn version.
Seuraavaksi keskustelemme siitä, miten katoava kaltevuusongelma tekee RNN: stä epäkäytännöllisen.
Ratkaistaksemme katoavan kaltevuuden, esittelemme LSTM-arkkitehtuurin, jossa on sisäinen muistiosa (myös muistisoluksi), jolla ei ole mitään aktivointia – joten katoavaa gradienttia ei esiinny täällä. Ole hyvä ja tee se todella selväksi, että gating mekanismi on todella hallita tietoja.
Luennon viimeisessä osassa näytämme, että LSTM (ja RNN, todellakin) kerrokset voidaan pinota toisiinsa yhdellä tai kahdella suunnalla. (yhdet ja kaksisuuntaiset verkot)
Hahmotella
- Katsaus peräkkäisiin tietoihin
- Toistuvat hermoverkot perusasiat
- Takaisinlevitys ajan kuluessa
- Katoava kaltevuus
- Pitkä lyhytaikainen muisti
- Pinoaminen RNN/LSTM kerroksia
| Kesto (Min) | Kuvaus |
|---|---|
| 10 | Peräkkäisten tietojen käyttöönotto |
| 15 | Toistuvat hermoverkot ja Takaisinlevitys ajan kuluessa |
| 5 | Katoavat kaltevuusasteet RNN:inä |
| 20 | LSTM:t |
| 5 | Pinoaminen RNN/LSTM kerroksia |
| 5 | Päätelmät |
Tunnustukset
Balint Gyires-Tóth (Budapestin teknillinen ja taloudellinen yliopisto)
Human-Centered AI Masters -ohjelmaa rahoitettiin Euroopan unionin Verkkojen Eurooppa -välineestä (CEF-TC-2020–1 Digital Skills 2020-EU-IA-0068).