Informations administratives
| Titre | Compression du modèle |
| Durée | 150 min |
| Module | C |
| Type de leçon | Pratique |
| Focus | Technique — IA future |
| Sujet | Progrès dans les modèles ML à travers une lentille HC — Une étude axée sur les résultats |
Mots-clés
la compression, l’élagage, la quantification, la distillation des connaissances,
Objectifs d’apprentissage
- Comprendre comment mettre en œuvre des techniques de compression de modèle
- Saisir les avantages de l’élagage, de la quantification et de la distillation des connaissances
- Se familiariser avec un framework de haut niveau comme TensorFlow
Préparation prévue
Événements d’apprentissage à compléter avant
Obligatoire pour les étudiants
- Compréhension de base des concepts et techniques de compression des modèles
- Compréhension de base de la façon dont les performances des modèles de machine et d’apprentissage en profondeur peuvent être évaluées (par exemple, précision, précision et rappel, score F)
- Connaissance du langage de programmation Python
Optionnel pour les étudiants
- Connaissance du framework TensorFlow
Références et antécédents pour les étudiants
- Connaissance de l’apprentissage automatique et de la théorie des réseaux neuronaux
Recommandé pour les enseignants
- Rappeler la connaissance du framework TensorFlow et du langage de programmation Python
- Fournir une vue pratique sur les implémentations nécessaires pour tirer parti des techniques de compression des modèles
- Proposer des quiz pop-up
Matériel de leçon
Instructions pour les enseignants
- Donner un bref aperçu de Tensorflow 2.x
- Utilisez Google Colab comme ordinateur portable Jupyter fonctionnel pour une application pratique
- Les étudiants doivent utiliser le temps indiqué pour chaque tâche.
- La tâche 1 à la tâche 4 doit être terminée avant que les tâches restantes ne soient assignées.
Aperçu de la leçon
| Durée | Description | Concepts | Activité | Matériel |
|---|---|---|---|---|
| 0-10 min | Introduction aux outils utilisés et comment rendre les mains sales en une seconde | Introduction aux outils | Introduction aux principaux outils | |
| 10-80 min | [Tâche 1 — Tâche 3] Formation d’un modèle et ensuite? Comment appliquer l’élagage et la quantification aux modèles de travail et comparer les performances | Taille & Quantisation | Séance pratique et exemples de travail | Ordinateur portable CoLab |
| 80-140 min | [Tâche 4 — Tâche 6] Quand la distillation des connaissances pourrait-elle être utile? Comment distiller les connaissances de l’enseignant à l’élève | Distillation des connaissances | Séance pratique et exemples de travail | Ordinateur portable CoLab |
| 140-150 min | Conclusion, questions et réponses | Résumé | Conclusions |
Remerciements
- Rosario Catelli [CNR]
- Matériaux Google Colab sur l’élagage
- Matériaux Google Colab sur Distillation
Le programme de master IA centré sur l’humain a été cofinancé par le mécanisme pour l’interconnexion en Europe de l’Union européenne dans le cadre de la subvention CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.