Informações administrativas
| Titulo | Redes de transformadores |
| Duração | 60 minutos |
| Módulo | B |
| Tipo de aula | Palestra |
| Foco | Técnico — Aprendizagem Aprofundada |
| Tópico | Transformador |
Palavras-chave
aprendizagem sequência-a-sequência, seq2seq, mecanismo de atenção, mecanismo de autoatenção, rede de transformador,
Objetivos de aprendizagem
- Aprender os conceitos básicos dos modelos de sequência-a-sequência (seq2seq)
- Aprender o mecanismo básico da atenção
- Familiarizar-se com os transformadores
Preparação prevista
Eventos de aprendizagem a serem concluídos antes
Obrigatório para os Estudantes
Facultativo para Estudantes
Nenhuma.
Referências e antecedentes para estudantes
Nenhuma.
Recomendado para professores
Nenhuma.
Materiais das aulas
Instruções para os professores
Na palestra em primeiro lugar, apenas repetimos brevemente o que aprendemos sobre dados sequenciais anteriormente (por exemplo, na palestra da RNN). Depois discutimos, que vamos aprender sobre três conceitos principais hoje: modelos de sequência-a-sequência, mecanismo de atenção e transformador. Os dois primeiros são necessários para compreender o conceito do transformador. Pode preparar os trabalhos originais e mostrá-los aos participantes.
Seq2seq: apenas discutimos brevemente os principais conceitos. Deve salientar-se a diferença entre o forçamento do professor (formação) e a inferência (inferência).
Os códigos-fonte devem ser discutidos em detalhes, linha a linha, para que o conceito possa ser compreendido pelos alunos em um nível de código.
Na segunda metade da palestra é introduzida a arquitetura do transformador. Os elementos centrais são discutidos separadamente.
Se ainda tiver algum tempo no final da palestra, pode abrir o tutorial do TensorFlow no transformador (link nesta página e nos slides também).
Esboço
- Modelos de Seq2seq
- Mecanismo de atenção
- Transformadores
| Duração (Min) | Descrição |
|---|---|
| 5 | Introdução de dados sequenciais |
| 7.5 | Modelos de sequência-a-sequência |
| 7.5 | Mecanismo de atenção |
| 15 | Códigos-fonte |
| 20 | Transformador |
| 5 | Resumo e conclusões |
Agradecimentos
Balint Gyires-Tóth (Universidade Tecnológica e Económica de Budapeste)
O programa de mestrado em IA centrado no ser humano foi cofinanciado pelo Mecanismo Interligar a Europa da União Europeia ao abrigo de subvenções CEF-TC-2020-1 Competências Digitais 2020-EU-IA-0068.