Informações administrativas
| Titulo | Derivação e aplicação da retropropagação |
| Duração | 60 |
| Módulo | B |
| Tipo de aula | Palestra |
| Foco | Técnico — Aprendizagem Aprofundada |
| Tópico | Derivação e implementação da retropropagação |
Palavras-chave
Retropropagação, funções de ativação, dieivação,
Objetivos de aprendizagem
- Desenvolver uma compreensão do gradiente e taxa de aprendizagem
- Derivar a retropropagação para camadas ocultas e exteriores
- Implimenting Backpropagation desligada e ligada utilizando diferentes funções de ativação
Preparação prevista
Eventos de aprendizagem a serem concluídos antes
Obrigatório para os Estudantes
- Revisão do cálculo (derivados, derivados parciais, a regra da cadeia)
Facultativo para Estudantes
Nenhuma.
Referências e antecedentes para estudantes
- John D. Kelleher e Cérebro McNamee. (2018), Fundamentals of Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Redes Neurais e Aprendizagem Profunda, 1. Imprensa de determinação, São Francisco CA EUA.
- Charu C. Aggarwal. (2018), Redes Neurais e Aprendizagem Profunda, 1. Springer
- António Gulli, Sujit Pal. Aprendizagem profunda com Keras, Packt, [ISBN: 9781787128422].
Recomendado para professores
Nenhuma.
Materiais das aulas
Instruções para os professores
Esta palestra irá apresentar aos alunos os fundamentos do algoritmo de retropropagação. Esta palestra começará com a noção da maldição da dimensionalidade que leva à necessidade de uma abordagem heurística — seguida da visão geral de como o gradiente pode ser usado para ajustar os pesos. Isto introduz o algoritmo de retropropagação. Em seguida, introduzimos também o hiperparâmetro da taxa de aprendizagem e uma breve visão do impacto de valores grandes e pequenos (este será expandido na Lecture 3). Depois, usando a mesma rede introdutória da Lecture 1, derivamos a fórmula de retropropagação da camada exterior e, finalmente, obteremos o algoritmo de retropropagação da camada interna. Esta palestra conclui com exemplos de diferentes funções de ativação e como o algoritmo pode ser aplicado. O tutorial correspondente incluirá derivações adicionais de caneta e papel, exemplos práticos e a utilização de código (apenas Numpy e o KERAS) para implementar o algoritmo de retropropagação.
- O conceito inicial de seleção de peso bruto da força, e a maldição da dimensionalidade
- Introdução ao gradiente e como isso aborda o problema dos ajustes de peso iterativos, heurísticos
- Por que a taxa de aprendizagem é necessária e os efeitos da escolha de valores pequenos e grandes
- Derivar o gradiente (assim o algoritmo de retropropagação) para a camada de saída com Sigmoid como a função de ativação externa
- Derivar o gradiente (assim o algoritmo de retropropagação) para a camada oculta com Sigmoid como a função de ativação externa
- Apresentação da fórmula final de retropropagação
- Utilização de diferentes funções de ativação (camada exterior: Linear, Sigmoide e Softmax; Camada oculta: ReLU, sigmoid e TanH) no algoritmo de retropropagação
Esboço
| Duração (Min) | Descrição |
|---|---|
| 5 | Introdução à aprendizagem, gradiente e taxa de aprendizagem |
| 20 | Derivação do algoritmo de retropropagação para a camada exterior (Sigmoid) |
| 20 | Derivação do algoritmo de retropropagação para a camada oculta (Sigmoid) |
| 10 | Implementação do algoritmo de retropropagação e utilização de diferentes funções de ativação para cada camada |
| 5 | Recapitulação no algoritmo de retropropagação |
Agradecimentos
O programa de mestrado em IA centrado no ser humano foi cofinanciado pelo Mecanismo Interligar a Europa da União Europeia ao abrigo de subvenções CEF-TC-2020-1 Competências Digitais 2020-EU-IA-0068.