Informations administratives
| Titre | Techniques de régularisation |
| Durée | 60 |
| Module | B |
| Type de leçon | Conférence |
| Focus | Technique — Deep Learning |
| Sujet | Techniques de régularisation |
Mots-clés
Régularisation, rappels, GridSearch,
Objectifs d’apprentissage
- Examiner les initialisateurs de poids
- Enquêter sur le biais
- Appliquer l’abandon et le bruit
- Rappels d’impliment
- Sous-tendre et implémenter une GridSearch
- Appliquer des techniques de surajustement non traditionnelles
Préparation prévue
Événements d’apprentissage à compléter avant
Aucun.
Obligatoire pour les étudiants
Aucun.
Optionnel pour les étudiants
Aucun.
Références et antécédents pour les étudiants
- John D Kelleher et Brain McNamee. (2018), Fondamentals of Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Réseaux neuronaux et apprentissage profond, 1. Presse de détermination, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Réseaux neuronaux et apprentissage profond, 1. Springer
- Antonio Gulli, Sujit Pal. Apprentissage profond avec Keras, Packt, [ISBN: 9781787128422].
Recommandé pour les enseignants
Aucun.
Matériel de leçon
Instructions pour les enseignants
Cette conférence introduira les étudiants aux fondamentaux de l’accordage hyperparamètre. Nous utiliserons l’ensemble de données du recensement comme exemples de l’utilisation et des résultats des techniques de régularisation. L’ensemble de données du recensement des adultes est un problème de classification binaire. L’objectif de cette conférence est d’introduire plusieurs formes de régularisation, à commencer par les initialisateurs de poids, les biais, la co-adaptation, les rappels, une recherche de grille pour le réglage automatique de l’hyperparamètre, et des techniques de contrôle de régularisation supplémentaires. L’objectif est d’identifier des techniques pour soutenir le développement de modèles généralisables avec une co-adaptation limitée pour apprendre la fonction et non les données. Certaines de ces techniques améliorent également le temps de formation, ce qui peut réduire le calcul nécessaire pour les modèles plus grands.
Esquisse
| Durée (min) | Description |
|---|---|
| 10 | Initialisateurs de poids et biais |
| 10 | Co-adaptation |
| 10 | Rappels |
| 20 | GridSearch |
| 10 | Contrôles supplémentaires |
Remerciements
Le programme de master IA centré sur l’humain a été cofinancé par le mécanisme pour l’interconnexion en Europe de l’Union européenne dans le cadre de la subvention CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.