Informations administratives
| Titre | Techniques de régularisation |
| Durée | 60 |
| Module | B |
| Type de leçon | Tutoriel |
| Focus | Technique — Deep Learning |
| Sujet | Techniques de régularisation |
Mots-clés
Régularisation, rappels, GridSearch,
Objectifs d’apprentissage
- Examiner les initialisateurs de poids
- Enquêter sur le biais
- Appliquer l’abandon et le bruit
- Rappels d’impliment
- Sous-tendre et implémenter une GridSearch
- Appliquer des techniques de surajustement non traditionnelles
Préparation prévue
Événements d’apprentissage à compléter avant
Aucun.
Obligatoire pour les étudiants
Aucun.
Optionnel pour les étudiants
Aucun.
Références et antécédents pour les étudiants
- John D Kelleher et Brain McNamee. (2018), Fondamentals of Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Réseaux neuronaux et apprentissage profond, 1. Presse de détermination, San Francisco CA USA.
- Charu C. Aggarwal. (2018), Réseaux neuronaux et apprentissage profond, 1. Springer
- Antonio Gulli, Sujit Pal. Apprentissage profond avec Keras, Packt, [ISBN: 9781787128422].
Recommandé pour les enseignants
Aucun.
Matériel de leçon
Instructions pour les enseignants
- Les étudiants seront censés démontrer et appliquer des techniques/algorithmes fondamentaux pour la prédiction et la formation des réseaux neuronaux, y compris des recherches sur le biais du modèle et basés sur la régularisation du modèle. Comparer, contraster et démontrer des hyperparamètres appropriés pour la formation de réseaux de neurones artificiels en mettant l’accent sur la reproductibilité (généralisabilité), la transparence et l’interprétation. Utilisez des cadres d’apprentissage profond pour implémenter des modèles d’apprentissage profond pour les tâches de classification et ou de régression. Il s’agit notamment de mettre l’accent sur l’évaluation des modèles, pour des considérations de performance et d’éthique, ce qui se traduit par une transparence et une IA explicable. Cette pratique vous oblige à développer le modèle d’IA le plus approprié, où chaque méthode appropriée pour le développement de modèles est utilisée pour assurer la meilleure généralisation.
- Le tutoriel est basé sur l’ensemble de données suivant [[1]] où les détails des attributs sont contenus dans les matériaux de la leçon.
- Le tutoriel nécessitera les rubriques suivantes. Lorsque chaque titre devrait avoir (le cas échéant) une justification et une description étoffant l’approche et ses constatations, code qui exécute le travail, et dans certains cas une aide visuelle pour compléter davantage vos conclusions. Utilisez le balisage standard du bloc-notes Jupyter, pour les rubriques et les sections des caisses:
- Introduction
- Ouverture de l’ensemble de données, brève exploration des données et prétraitement des données
- Modélisation de l’exploration pour déterminer la topologie du réseau
- Investigation hyperparamètre (paramètres d’apprentissage et optimisation)
- Sélection du modèle la plus appropriée
- Recherche sur la grille
- Présentation finale du modèle et évaluation du rendement
- Veuillez noter que la recherche sur la grille prendra un certain temps, ce qui peut être complété en dehors du temps du tutoriel ou le tutoriel peut être effectué dans un mode de livraison en classe inversée.
Esquisse
| Durée (min) | Description |
|---|---|
| 10 | Fournir une vue d’ensemble des ensembles de données pratiques et d’importation avec le prétraitement de base |
| 10 | Modèles pour explorer les topologies |
| 20 | Investigation hyperparamètre avec des techniques de régularisation |
| 10 | Recherche en grille (notez que cela devrait être fait à l’avance — soit par conférencier ou par les étudiants en mode inversé, car cela peut prendre beaucoup de temps pour fonctionner en direct) |
| 5 | Discussion finale sur le modèle |
Remerciements
Le programme de master IA centré sur l’humain a été cofinancé par le mécanisme pour l’interconnexion en Europe de l’Union européenne dans le cadre de la subvention CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.