Información administrativa
| Título | Derivación y aplicación de la retropropagación |
| Duración | 60 |
| Módulo | B |
| Tipo de lección | Conferencia |
| Enfoque | Técnico — Aprendizaje profundo |
| Tema | Derivación e implementación de la retropropagación |
Keywords
Retropropagación, funciones de activación, dieivación,
Objetivos de aprendizaje
- Desarrollar una comprensión de gradiente y tasa de aprendizaje
- Deriva la retropropagación para capas ocultas y externas
- Implimenting Backpropagation desenchufada y enchufada mediante diferentes funciones de activación
Preparación prevista
Eventos de aprendizaje que se completarán antes
Obligatorio para los estudiantes
- Revisión de cálculo (derivados, derivados parciales, la regla de la cadena)
Opcional para estudiantes
Ninguno.
Referencias y antecedentes para estudiantes
- John D Kelleher y Brain McNamee. (2018), Fundamentos del aprendizaje automático para análisis de datos predictivos, MIT Press.
- Michael Nielsen. (2015), Redes neuronales y aprendizaje profundo, 1. Prensa de determinación, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Redes neuronales y aprendizaje profundo, 1. Springer
- Antonio Gulli, Sujit Pal. Aprendizaje profundo con Keras, Packt, [ISBN: 9781787128422].
Recomendado para profesores
Ninguno.
Material didáctico
Instrucciones para profesores
Esta conferencia presentará a los estudiantes los fundamentos del algoritmo de retropropagación. Esta conferencia comenzará con la noción de la maldición de la dimensionalidad que conduce a la necesidad de un enfoque heurístico, seguido de la visión general de cómo se puede usar el gradiente para ajustar los pesos. Esto introduce el algoritmo de retropropagación. A continuación, también introducimos el hiperparámetro de la tasa de aprendizaje y una breve visión general del efecto de los valores grandes y pequeños (esto se ampliará en la Conferencia 3). Luego, usando la misma red introductoria de la Conferencia 1, derivamos la fórmula de retropropagación de la capa externa, y luego, finalmente, derivaremos el algoritmo de retropropagación de capa interna. Esta conferencia concluye con ejemplos de diferentes funciones de activación y cómo se puede aplicar el algoritmo. El tutorial correspondiente incluirá derivaciones adicionales de lápiz y papel, ejemplos prácticos y el uso de código (solo Numpy y KERAS) para implementar el algoritmo de retropropagación.
- El concepto inicial de selección de peso de fuerza bruta, y la maldición de la dimensionalidad
- Introducción al gradiente y cómo esto aborda el problema de los ajustes de peso iterativos y heurísticos
- Por qué se necesita tasa de aprendizaje y los efectos de elegir valores pequeños y grandes
- Derivando el gradiente (por lo tanto el algoritmo de retropropagación) para la capa de salida con Sigmoid como la función de activación externa
- Derivando el gradiente (por lo tanto el algoritmo de retropropagación) para la capa oculta con Sigmoid como la función de activación externa
- Presentación de la fórmula final de retropropagación
- Uso de diferentes funciones de activación (Outer Layer: Lineal, Sigmoid y Softmax; Capa oculta: ReLU, sigmoid y TanH) en el algoritmo de retropropagación
Esquema
| Duración (Min) | Descripción |
|---|---|
| 5 | Introducción al aprendizaje, gradiente y tasa de aprendizaje |
| 20 | Derivación del algoritmo de retropropagación para la capa externa (Sigmoid) |
| 20 | Derivación del algoritmo de retropropagación para la capa oculta (Sigmoid) |
| 10 | Implementación del algoritmo de retropropagación y el uso de diferentes funciones de activación para cada capa |
| 5 | Recapitulación en el algoritmo de retropropagación |
Reconocimientos
El programa de maestría en IA centrada en el ser humano fue cofinanciado por el Mecanismo «Conectar Europa» de la Unión Europea en virtud de la subvención «CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068».