Informations administratives
| Titre | Évaluation du modèle |
| Durée | 60 |
| Module | A |
| Type de leçon | Tutoriel |
| Focus | Technique — Fondements de l’IA |
| Sujet | Fondements de l’IA |
Mots-clés
évaluation du modèle, validation croisée, optimisation des hyperparamètres,
Objectifs d’apprentissage
- Les apprenants comprennent la nécessité d’une évaluation systématique des modèles
- Les apprenants comprennent la différence entre les ensembles de formation, de test et de validation
- Les apprenants connaissent les indicateurs de performance les plus largement appliqués
- Les apprenants sont capables de reconnaître la sous-fitting et le surfitting
- Les apprenants sont capables de concevoir des expériences de validation croisée pour l’optimisation des hyperparamètres
Préparation prévue
Événements d’apprentissage à compléter avant
Obligatoire pour les étudiants
Aucun.
Optionnel pour les étudiants
Aucun.
Références et antécédents pour les étudiants
Aucun.
Recommandé pour les enseignants
Aucun.
Matériel de leçon
Instructions pour les enseignants
Préparer un ordinateur portable Jupyter avec des paquets de pandas, matplotlib, numpy et scikit-learn
Esquisse/horaire
| Durée (min) | Description | Concepts |
|---|---|---|
| 5 | Introduction à l’évaluation des modèles | erreur empirique, performance prédictive et généralisation |
| 5 | Formation d’un simple classificateur | MLP, hyperparamètres |
| 10 | Évaluation d’un classificateur | matrice de confusion, précision, TPR, FPR, précision, taux de classification erronée, score F1 |
| 10 | Courbes Roc/PR et leur interprétation | limite de décision, courbe ROC, courbe PR, AUC |
| 10 | Sous-équipement et surajustement | erreur de formation et de test |
| 10 | Validation croisée et optimisation des hyperparamètres | ensemble de validation, erreur de validation, validation croisée 5 fois |
| 10 | Évaluation des modèles de régression | MSE, RMSE, MAE |
Remerciements
Le programme de master IA centré sur l’humain a été cofinancé par le mécanisme pour l’interconnexion en Europe de l’Union européenne dans le cadre de la subvention CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.