Informations administratives
| Titre | Dérivation et application de la rétropropagation |
| Durée | 60 |
| Module | B |
| Type de leçon | Conférence |
| Focus | Technique — Deep Learning |
| Sujet | Dérivation et mise en œuvre de la rétropropagation |
Mots-clés
Rétropropagation, fonctions d’activation, diivation,
Objectifs d’apprentissage
- Développer une compréhension du gradient et du taux d’apprentissage
- Dérivez la rétropropagation pour les couches cachées et extérieures
- Implimenting Backpropagation débranché et branché à l’aide de différentes fonctions d’activation
Préparation prévue
Événements d’apprentissage à compléter avant
Obligatoire pour les étudiants
- Révision du calcul (dérivés, dérivés partiels, règle de chaîne)
Optionnel pour les étudiants
Aucun.
Références et antécédents pour les étudiants
- John D Kelleher et Brain McNamee. (2018), Fondamentals of Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Réseaux neuronaux et apprentissage profond, 1. Presse de détermination, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Réseaux neuronaux et apprentissage profond, 1. Springer
- Antonio Gulli, Sujit Pal. Apprentissage profond avec Keras, Packt, [ISBN: 9781787128422].
Recommandé pour les enseignants
Aucun.
Matériel de leçon
Instructions pour les enseignants
Cette conférence introduira aux étudiants les fondamentaux de l’algorithme de rétropropagation. Cette conférence commencera par la notion de malédiction de la dimensionnalité conduisant à la nécessité d’une approche heuristique — suivie d’une vue d’ensemble de la façon dont le gradient peut être utilisé pour ajuster les poids. Cela introduit ensuite l’algorithme de rétropropagation. Nous introduisons ensuite également l’hyperparamètre du taux d’apprentissage et un bref aperçu de l’impact des grandes et petites valeurs (ceci sera élargi dans la conférence 3). Ensuite, en utilisant le même réseau d’introduction de Lecture 1, nous dérivons la formule de rétropropagation de couche externe, puis finalement, nous allons dériver l’algorithme de rétropropagation de couche interne. Cette conférence se termine par des exemples de différentes fonctions d’activation, et comment l’algorithme peut être appliqué. Le tutoriel correspondant comprendra des dérivations supplémentaires de stylo et de papier, des exemples pratiques et l’utilisation de code (juste Numpy et le KERAS) pour implémenter l’algorithme de rétropropagation.
- Le concept initial de la sélection du poids de force brute, et la malédiction de la dimensionnalité
- Introduction au gradient et comment cela aborde le problème des ajustements itératifs et heuristiques du poids
- Pourquoi le taux d’apprentissage est nécessaire et les effets du choix de petites et grandes valeurs
- Dérivation du gradient (donc l’algorithme de rétropropagation) pour la couche de sortie avec Sigmoid comme fonction d’activation externe
- Dérivation du gradient (donc l’algorithme de rétropropagation) pour la couche cachée avec Sigmoid comme fonction d’activation externe
- Présentation de la formule finale de rétropropagation
- Utilisation de différentes fonctions d’activation (Couche externe: Linéaire, Sigmoid et Softmax; Couche cachée: ReLU, sigmoïde et TanH) dans l’algorithme de rétropropagation
Esquisse
| Durée (min) | Description |
|---|---|
| 5 | Introduction à l’apprentissage, gradient et taux d’apprentissage |
| 20 | Dérivation de l’algorithme de rétropropagation pour la couche externe (Sigmoid) |
| 20 | Dérivation de l’algorithme de rétropropagation pour la couche cachée (Sigmoid) |
| 10 | Mise en œuvre de l’algorithme de rétropropagation et utilisation de différentes fonctions d’activation pour chaque couche |
| 5 | Résumé sur l’algorithme de rétropropagation |
Remerciements
Le programme de master IA centré sur l’humain a été cofinancé par le mécanisme pour l’interconnexion en Europe de l’Union européenne dans le cadre de la subvention CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.