Informazioni amministrative
| Titolo | Reti neurali ricorrenti |
| Durata | 60 minuti |
| Modulo | B |
| Tipo di lezione | Lezione |
| Focus | Tecnico — Apprendimento profondo |
| Argomento | Multiplo (Recurrent Neural Networks (RNN), Backpropagation Through Time (BPTT), Long Short-Term Memory (LSTM) |
Parole chiave
Reti neurali ricorrenti (RNN), Backpropagation Trough Time (BPTT), lunga memoria a breve termine (LSTM),
Obiettivi di apprendimento
- Imparare i fondamenti delle Reti Neurali Ricorrenti (RNN), Backpropagation Trough Time (BPTT) e Long Short-Term Memory (LSTM)
Preparazione prevista
Eventi di apprendimento da completare prima
Obbligatorio per gli studenti
- Revisione dell'algoritmo di backpropagation
- Ian Goodfellow e Yoshua Bengio e Aaron Courville: Deep Learning, MIT Press, 2016, Capitolo 10
- François Chollet: Deep Learning with Python, Manning Publications, 2017, Capitolo 6: Deep Learning per testo e sequenze
Facoltativo per gli studenti
Nessuno.
Referenze e background per gli studenti
Nessuno.
Consigliato per gli insegnanti
Nessuno.
Materiale didattico
Istruzioni per gli insegnanti
All'inizio si raccomanda una panoramica generale dei dati sequenziali. Qui, puoi discutere le principali sfide della modellazione dei dati sequenziali (tra cui campo ricettivo, multidimensionalità e natura multiscala).
Successivamente introduciamo prima le RNN, con i principi di base e dimostriamo che l'allenamento RNN dopo lo svolgimento è molto simlar per l'allenamento MLP, ma le matrici di peso in ingresso, ricorrente e in uscita sono condivise.
Introduciamo BPTT (Backpropagation through time) e la versione troncata.
Successivamente, discutiamo di come il problema del gradiente che svanisce rende le RNN impraticabili.
Al fine di risolvere il gradiente che svanisce, introduciamo l'architettura LSTM, che ha una parte di memoria interna (anche affermata come cella di memoria), che non ha alcuna attivatoina — quindi il gradiente scomparente non si verifica qui. Si prega di rendere davvero chiaro, che il meccanismo di gating è veramente controllato dai dati.
Nella parte finale della lezione, mostriamo che gli strati LSTM (e RNN, in effetti) possono essere impilati l'uno sull'altro con una o due direzioni. (reti unidirezionali e bidirezionali)
Contorno
- Panoramica dei dati sequenziali
- Nozioni di base delle reti neurali ricorrenti
- Backpropagation nel tempo
- Gradiente che svanisce
- Lunga memoria a breve termine
- Sovrapposizione di strati RNN/LSTM
| Durata (min) | Descrizione |
|---|---|
| 10 | Introduzione sequenziale dei dati |
| 15 | Reti neurali ricorrenti e Backpropagation nel tempo |
| 5 | Gradienti scomparsi in RNNs |
| 20 | LSTM |
| 5 | Sovrapposizione di strati RNN/LSTM |
| 5 | Conclusioni |
Riconoscimenti
Balint Gyires-Tóth (Università di Tecnologia ed Economia di Budapest)
Il programma Human-Centered AI Masters è stato co-finanziato dal meccanismo per collegare l'Europa dell'Unione europea nell'ambito della sovvenzione CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.