Administrativ information
| Titel | Återkommande neurala nätverk |
| Varaktighet | 60 minuter |
| Modul | B |
| Typ av lektion | Föreläsning |
| Fokus | Tekniskt – Djupt lärande |
| Ämne | Multipel (Recurrent Neural Networks (RNN), Backpropagation Through Time (BPTT), Long Short-Term Memory (LSTM)) |
Nyckelord
Återkommande neurala nätverk (RNN), Backpropagation Trough Time (BPTT), Long Short-Term Memory (LSTM),
Lärandemål
- Lära sig grunderna i Recurrent Neural Networks (RNN), Backpropagation Trough Time (BPTT) och Long Short-Term Memory (LSTM)
Förväntad förberedelse
Lärande händelser som ska slutföras innan
Obligatoriskt för studenter
- Översyn av algoritmen för backpropagation
- Ian Goodfellow och Yoshua Bengio och Aaron Courville: Djupinlärning, MIT Press, 2016, Kapitel 10
- François Chollet: Djupt lärande med Python, Manning Publikationer, 2017, kapitel 6: Deep Learning för text och sekvenser
Valfritt för studenter
Ingen.
Referenser och bakgrund för studenter
Ingen.
Rekommenderas för lärare
Ingen.
Lektionsmaterial
Instruktioner för lärare
I början rekommenderas en allmän översikt över sekventiella data. Här kan du diskutera de viktigaste utmaningarna för modellering sekventiella data (inklusive mottagliga fält, multidimensionellitet och multiskala natur).
Senare introducerar vi RNNs först, med de grundläggande principerna och visar att träning av RNN efter utveckling är mycket förenklad att träna MLP, men input, återkommande och utmatningsvikt matriser delas.
Vi introducerar BPTT (Backpropagation genom tiden) och den trunkerade versionen.
Därefter diskuterar vi hur det försvinnande gradientproblemet gör RNNs opraktiska.
För att lösa den försvinnande gradienten introducerar vi LSTM-arkitekturen, som har en inre minnesdel (även kallad minnescell), som inte har någon aktivatoin – så försvinnande gradient förekommer inte här. Vänligen gör det verkligen klart, att gating mekanismen verkligen kontrolleras av data.
Vid den sista delen av föreläsningen visar vi att LSTM (och RNN, faktiskt) lager kan staplas på varandra med en eller två riktningar. (envägsnät och dubbelriktade nät)
Konturer
- Översikt över sekventiella data
- Återkommande neurala nätverksgrunder
- Backpropagation genom tiderna
- Försvinnande gradient
- Lång korttidsminne
- Stapling av RNN/LSTM lager
| Varaktighet (min) | Beskrivning |
|---|---|
| 10 | Inledning av sekventiella uppgifter |
| 15 | Återkommande neurala nätverk och Backpropagation genom tiderna |
| 5 | Försvinnande gradienter i RNN |
| 20 | LSTM |
| 5 | Stapling av RNN/LSTM lager |
| 5 | Slutsatser |
Erkännanden
Balint Gyires-Tóth (Budapest University of Technology and Economics)
Masterprogrammet Human-Centered AI har samfinansierats av Fonden för ett sammanlänkat Europa i Europeiska unionen inom ramen för Grant CEF-TC-2020–1 Digital Skills 2020 EU-IA-0068.