Informations administratives
| Titre | Réglage hyperparamètre |
| Durée | 60 |
| Module | B |
| Type de leçon | Conférence |
| Focus | Technique — Deep Learning |
| Sujet | Réglage hyperparamètre |
Mots-clés
Réglage hyperparamètre, fonctions d’activation, perte, époques, taille du lot,
Objectifs d’apprentissage
- Étudier les effets sur la capacité et la profondeur
- Experient avec différentes époques et tailles de lots
- Tester différentes fonctions d’activation et taux d’apprentissage
Préparation prévue
Événements d’apprentissage à compléter avant
Obligatoire pour les étudiants
Aucun.
Optionnel pour les étudiants
Aucun.
Références et antécédents pour les étudiants
- John D Kelleher et Brain McNamee. (2018), Fondamentals of Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Réseaux neuronaux et apprentissage profond, 1. Presse de détermination, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Réseaux neuronaux et apprentissage profond, 1. Springer
- Antonio Gulli, Sujit Pal. Apprentissage profond avec Keras, Packt, [ISBN: 9781787128422].
Recommandé pour les enseignants
Aucun.
Matériel de leçon
Instructions pour les enseignants
Cette conférence introduira les étudiants aux fondamentaux de l’accordage hyperparamètre. Nous utiliserons l’ensemble de données du recensement comme exemples de l’utilisation et des résultats de l’accordage de divers hypermètres. L’ensemble de données du recensement des adultes est un problème de classification binaire. Plus sur cet ensemble de données dans le tutoriel correspondant. L’objectif de cette conférence est d’introduire plusieurs hyperparamètres avec des exemples de la façon dont la modification de ces hyperparamètres peut aider ou entraver l’apprentissage. En outre, nous fournissons des exemples de gain de sous-ajustement, de nez et de performance (temps d’entraînement et, dans certains cas, précision/perte) lorsque chacun des hyperparamètres est réglé. Nous utiliserons des parcelles diagnostiques pour évaluer l’effet du tunning hyperparamètre et en particulier une focalisation sur la perte, où il convient de noter que le module que nous utilisons pour tracer la perte est matplotlib.pyplot, donc l’axe est mis à l’échelle. Cela peut signifier que des différences significatives peuvent apparaître non significatives ou vice versa lorsque l’on compare la perte des données d’entraînement ou de test. En outre, certaines libertés pour l’échafaudage sont présentées, comme l’utilisation d’Epochs d’abord (presque comme technique de régularisation) tout en maintenant la taille du lot constant. Idéalement, ceux-ci seraient réglés ensemble, mais pour cette conférence, ils sont séparés.
Esquisse
| Durée (min) | Description |
|---|---|
| 5 | Vue d’ensemble des données |
| 10 | Capacité et profondeur de tunning (sous et sur ajustement) |
| 10 | Époques (sous et sur la formation) |
| 10 | Tailles de lots (pour la suppression du bruit) |
| 10 | Fonctions d’activation (et leurs effets sur les performances — temps et précision) |
| 10 | Taux d’apprentissage (vanille, LR Decay, Momentum, Adaptatif) |
| 5 | Récapitulation du processus de transmission de l’avance |
Remerciements
Le programme de master IA centré sur l’humain a été cofinancé par le mécanisme pour l’interconnexion en Europe de l’Union européenne dans le cadre de la subvention CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.