Información administrativa
| Título | Redes de transformadores |
| Duración | 60 minutos |
| Módulo | B |
| Tipo de lección | Conferencia |
| Enfoque | Técnico — Aprendizaje profundo |
| Tema | Transformador |
Keywords
aprendizaje de secuencia a secuencia, seq2seq, mecanismo de atención, mecanismo de autoatención, red de transformadores,
Objetivos de aprendizaje
- Aprender los conceptos básicos de los modelos de secuencia a secuencia (seq2seq)
- Aprender los fundamentos del mecanismo de atención
- Familiarizarse con los transformadores
Preparación prevista
Eventos de aprendizaje que se completarán antes
Obligatorio para los estudiantes
Opcional para estudiantes
Ninguno.
Referencias y antecedentes para estudiantes
Ninguno.
Recomendado para profesores
Ninguno.
Material didáctico
Instrucciones para profesores
En la conferencia primero repetimos brevemente lo que aprendimos sobre datos secuenciales previamente (por ejemplo, en la conferencia RNN). Luego discutimos, que aprenderemos sobre tres conceptos principales hoy: modelos de secuencia a secuencia, mecanismo de atención y transformador. Los dos primeros son necesarios para entender el concepto del transformador. Puedes preparar los papeles originales y mostrarlos a los asistentes.
Seq2seq: solo discutimos brevemente los conceptos principales. Debe hacerse hincapié en la diferencia entre el forzamiento (entrenamiento) del profesor y la instancia por instancia (inferancia).
Los códigos fuente deben ser discutidos en detalle, línea por línea, para que el concepto pueda ser entendido por los estudiantes en un nivel de código.
En la segunda mitad de la conferencia se introduce la arquitectura transformadora. Los elementos centrales se discuten separadamente.
Si le queda algo de tiempo al final de la conferencia, puede abrir el tutorial TensorFlow sobre transformador (enlace en esta página y en las diapositivas también).
Esquema
- Modelos Seq2seq
- Mecanismo de atención
- Transformadores
| Duración (Min) | Descripción |
|---|---|
| 5 | Introducción secuencial de datos |
| 7.5 | Modelos de secuencia a secuencia |
| 7.5 | Mecanismo de atención |
| 15 | Códigos fuente |
| 20 | Transformador |
| 5 | Resumen y conclusiones |
Reconocimientos
Balint Gyires-Tóth (Universidad de Tecnología y Economía de Budapest)
El programa de maestría en IA centrada en el ser humano fue cofinanciado por el Mecanismo «Conectar Europa» de la Unión Europea en virtud de la subvención «CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068».