Informations administratives
| Titre | Compression du modèle — Edge Computing |
| Durée | 45 minutes |
| Module | C |
| Type de leçon | Conférence |
| Focus | Technique — IA future |
| Sujet | Progrès dans les modèles ML à travers une lentille HC — Une étude axée sur les résultats |
Mots-clés
la compression du modèle, l’élagage, la quantification, la distillation des connaissances,
Objectifs d’apprentissage
- Comprendre le concept de compression de modèle
- Fournir la justification derrière les techniques d’élagage, de quantification et de distillation des connaissances
- Préparez-vous à comprendre les implémentations de base à l’aide d’un framework de haut niveau comme TensorFlow
Préparation prévue
Événements d’apprentissage à compléter avant
Obligatoire pour les étudiants
- Connaissance de la théorie de l’apprentissage supervisé
- Introduction aux concepts d’apprentissage automatique et d’apprentissage profond donnés par les conférences précédentes
Optionnel pour les étudiants
- Connaissance des hyperparamètres les plus courants impliqués dans le processus de construction de réseaux neuronaux
Références et antécédents pour les étudiants
- Distillation des connaissances — Facile
- Chanson Han, et al. «Apprendre à la fois les poids et les connexions pour des réseaux neuronaux efficaces». Corr abs/1506.02626. (2015).
- Chanson Han, et al. «Compression profonde: Compressing Deep Neural Network with Pruning, Trained Quantization and Huffman Coding.» 4e Conférence internationale sur les représentations de l’apprentissage, ICLR 2016, San Juan, Porto Rico, 2-4 mai 2016, Conférence Track Proceedings. 2016. Yanzhi Wang, et al. «Non-Structured DNN Weight Pruning — Est-ce bénéfique dans n’importe quelle plate-forme?». Corr abs/1907.02124. (2019).
- Cheong et Daniel. «transformers.zip: Compresser les transformateurs avec l’élagage et la quantification»
- Chanson Han, et al. «Apprendre à la fois les poids et les connexions pour des réseaux neuronaux efficaces». Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. «What is the State of Neural Network Pruning?» Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, États-Unis, 2-4 mars 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Chanson Han, et al. «Compression profonde: Compressing Deep Neural Network with Pruning, Trained Quantization and Huffman Coding.» 4e Conférence internationale sur les représentations de l’apprentissage, ICLR 2016, San Juan, Porto Rico, 2-4 mai 2016, Conférence Track Proceedings. 2016.
- Zhi Gang Liu, et al. «Apprendre des réseaux de neurones de basse précision sans estimation directe (STE)» Actes de la vingt-huitième Conférence internationale conjointe sur l’intelligence artificielle, CAI 2019, Macao, Chine, 10-16 août 2019. ijcai.org, 2019.
- Peiqi Wang, et al. «HitNet: Hybrid Ternary Recurrent Neural Network." Advances in Neural Information Processing Systems 31: Conférence annuelle sur les systèmes de traitement de l’information neuronale 2018, NeurIPS 2018, 3-8 décembre 2018, Montréal, Canada. 2018.
- Cristian Bucila, et al. «Modèle compression». Actes de la douzième Conférence internationale de l’ACM SIGKDD sur la découverte de connaissances et l’extraction de données, Philadelphie, PA, États-Unis, 20-23 août 2006. ACM, 2006.
- Geoffrey E. Hinton, et al. «Distiller la connaissance dans un réseau neuronal». Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Recommandé pour les enseignants
Matériel de leçon
Instructions pour les enseignants
- Donner un aperçu des tendances et pourquoi les modèles sont en croissance
- Donnez des exemples et des raisons pour lesquelles il est nécessaire d’avoir des modèles plus petits
- Donner une vue d’ensemble des techniques, de leurs avantages et inconvénients
- Proposer des quiz pop up
- Essayez de vous en tenir à la table d’heure
- Si possible, donnez plus de temps à la session de questions-réponses si nécessaire
La conférence peut se référer aux types de modèles, à l’évaluation du modèle, à l’ajustement du modèle et à l’optimisation du modèle.
Esquisse
| Durée | Description | Concepts | Activité |
|---|---|---|---|
| 0-10 min | Introduction aux techniques de compression du modèle: Qu’est-ce que c’est, à quoi il sert, quand et pourquoi il est nécessaire | Compression du modèle | Introduction aux principaux concepts |
| 10-20 min | Taille: concepts et techniques. Principales approches de l’élagage | Taille | Session enseignée et exemples |
| 20-30 min | Quantification: concepts et techniques. Principales approches de quantification | Quantification | Session enseignée et exemples |
| 30-40 min | Distillation des connaissances: concepts et techniques. Principales approches de la distillation des connaissances | Distillation des connaissances | Session enseignée et exemples |
| 40-45 min | Conclusion, questions et réponses | Résumé | Conclusions |
Remerciements
Chaque auteur des sources citées dans les diapositives.
Le programme de master IA centré sur l’humain a été cofinancé par le mécanisme pour l’interconnexion en Europe de l’Union européenne dans le cadre de la subvention CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.