Informações administrativas
| Titulo | Redes Neural Recorrentes |
| Duração | 60 minutos |
| Módulo | B |
| Tipo de aula | Palestra |
| Foco | Técnico — Aprendizagem Aprofundada |
| Tópico | Múltiplas (Recorrentes Redes Neurais (RNN), Backpropagation Through Time (BPTT), Memória de Longo Prazo (LSTM)) |
Palavras-chave
Redes Neural Recorrentes (RNN), Tempo de Retropropagação (BPTT), Memória de Longo Prazo (LSTM),
Objetivos de aprendizagem
- Aprender os fundamentos das Redes Neurais Recorrentes (RNN), Tempo de Recusa (BPTT) e Memória de Curto Prazo (LSTM)
Preparação prevista
Eventos de aprendizagem a serem concluídos antes
Obrigatório para os Estudantes
- Revisão do algoritmo de retropropagação
- Ian Goodfellow e Yoshua Bengio e Aaron Courville: Aprendizagem profunda, MIT Press, 2016, Capítulo 10
- François Chollet: Aprendizagem profunda com Python, Manning Publicações, 2017, Capítulo 6: Aprendizagem profunda para texto e sequências
Facultativo para Estudantes
Nenhuma.
Referências e antecedentes para estudantes
Nenhuma.
Recomendado para professores
Nenhuma.
Materiais das aulas
Instruções para os professores
No início, recomenda-se uma visão geral dos dados sequenciais. Aqui, pode-se discutir os principais challanges de modelagem de dados sequenciais (incluindo campo recetivo, multidimensionalidade e natureza multiescala).
Mais tarde, introduzimos as RNNs primeiro, com os princípios básicos e mostramos que treinar RNNs após o desdobramento é muito simlar para treinar MLPs, mas as matrizes de entrada, recorrente e peso de saída são partilhadas.
Introduzimos o BPTT (Backpropagation através do tempo) e a versão truncada.
Em seguida, discutimos como o problema do gradiente de desaparecimento torna as RNNs impraticáveis.
A fim de resolver o gradiente de desaparecimento, introduzimos a arquitetura LSTM, que tem uma parte da memória interna (também referida como célula de memória), que não tem qualquer activatoin — portanto, o gradiente de desaparecimento não ocorre aqui. Por favor, deixe claro que o mecanismo de gating é verdadeiramente controlado pelos dados.
Na parte final da palestra, mostramos que as camadas LSTM (e RNN, na verdade) podem ser empilhadas umas sobre as outras com uma ou duas direções. (redes unidirecionais e bidirecionais)
Esboço
- Panorâmica dos dados sequenciais
- Conceitos básicos de redes neurais recorrentes
- Retropropagação através do tempo
- Gradiente de desaparecimento
- Memória de Longo Prazo
- Empilhamento de camadas RNN/LSTM
| Duração (Min) | Descrição |
|---|---|
| 10 | Introdução de dados sequenciais |
| 15 | Redes neurais recorrentes e Backpropagation através do tempo |
| 5 | Gradientes de desaparecimento em RNNs |
| 20 | LSTM |
| 5 | Empilhamento de camadas RNN/LSTM |
| 5 | Conclusões |
Agradecimentos
Balint Gyires-Tóth (Universidade Tecnológica e Económica de Budapeste)
O programa de mestrado em IA centrado no ser humano foi cofinanciado pelo Mecanismo Interligar a Europa da União Europeia ao abrigo de subvenções CEF-TC-2020-1 Competências Digitais 2020-EU-IA-0068.