Información administrativa
| Título | Compresión del modelo — Edge Computing |
| Duración | 45 minutos |
| Módulo | C |
| Tipo de lección | Conferencia |
| Enfoque | Técnico — Futuro AI |
| Tema | Avances en los modelos ML a través de una lente HC — Un estudio orientado a resultados |
Keywords
modelo de compresión, poda, cuantificación, destilación del conocimiento,
Objetivos de aprendizaje
- Entender el concepto de compresión del modelo
- Proporcionar la justificación de las técnicas de poda, cuantificación y destilación del conocimiento
- Prepararse para la comprensión de las implementaciones básicas utilizando un marco de alto nivel como TensorFlow
Preparación prevista
Eventos de aprendizaje que se completarán antes
Obligatorio para los estudiantes
- Conocimiento de la teoría del aprendizaje supervisado
- Introducción al aprendizaje automático y a los conceptos de aprendizaje profundo impartidos por conferencias anteriores
Opcional para estudiantes
- Conocimiento de los hiperparámetros más comunes involucrados en el proceso de construcción de redes neuronales
Referencias y antecedentes para estudiantes
- Destilación del conocimiento — Fácil
- Song Han, et al. «Aprendizaje de Pesos y Conexiones para Redes Neurales Eficientes». Corr abs/1506.02626. (2015).
- Song Han, et al. «Compresión profunda: Compresing Deep Neural Network with Pruning, Trained Quantization and Huffman Coding." 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, 2-4 de mayo de 2016, Conference Track Proceedings. 2016. Yanzhi Wang, et al. «No-Structured DNN Weight Pruning — Is It Beneficial in Any Platform?» (en inglés). Corr abs/1907.02124. (2019).
- Cheong y Daniel. «transformadores.zip: Transformadores de compresión con poda y cuantificación"
- Song Han, et al. «Aprendizaje de Pesos y Conexiones para Redes Neurales Eficientes». Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. «¿Cuál es el estado de la poda de redes neuronales?». Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, EE.UU., 2-4 de marzo de 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Song Han, et al. «Compresión profunda: Compresing Deep Neural Network with Pruning, Trained Quantization and Huffman Coding." 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, 2-4 de mayo de 2016, Conference Track Proceedings. 2016.
- Zhi Gang Liu, et al. «Learning Low-precision Neural Networks without Straight-Through Estimator (STE).» Actas de la Vigésima Octava Conferencia Conjunta Internacional sobre Inteligencia Artificial, πCAI 2019, Macao, China, 10-16 de agosto de 2019 ijcai.org, 2019.
- Peiqi Wang, et al. «HitNet: Red neuronal recurrente ternaria híbrida." Avances en Sistemas de Procesamiento de Información Neural 31: Conferencia Anual sobre Sistemas de Procesamiento de Información Neural 2018, NeurIPS 2018, 3-8 de diciembre de 2018, Montreal, Canadá. 2018.
- Cristian Bucila, et al. «Compresión del modelo». Actas de la 12ª Conferencia Internacional ACM SIGKDD sobre descubrimiento de conocimientos y minería de datos, Filadelfia, PA, EE.UU., 20-23 de agosto de 2006. ACM, 2006.
- Geoffrey E. Hinton, et al. «Destilando el conocimiento en una red neuronal». Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Recomendado para profesores
Material didáctico
Instrucciones para profesores
- Proporcionar información sobre las tendencias y por qué los modelos están creciendo
- Dar ejemplos y razones por las que es necesario tener modelos más pequeños
- Proporcionar una visión general de las técnicas, sus pros y sus contras
- Proponer cuestionarios emergentes
- Trate de atenerse a la tabla de tiempo
- Si es posible, proporcione más tiempo a la sesión de preguntas y respuestas si es necesario
La conferencia puede referirse a tipos de modelos, evaluación del modelo, ajuste del modelo y optimización del modelo.
Esquema
| Duración | Descripción | Conceptos | Actividad |
|---|---|---|---|
| 0-10 min | Introducción a las técnicas de compresión del modelo: qué es, para qué sirve, cuándo y por qué se necesita | Compresión del modelo | Introducción a los conceptos principales |
| 10-20 min | Poda: conceptos y técnicas. Principales enfoques para la poda | Poda | Sesión enseñada y ejemplos |
| 20-30 min | Cuantificación: conceptos y técnicas. Principales enfoques de la cuantificación | Cuantización | Sesión enseñada y ejemplos |
| 30-40 min | Destilación de conocimientos: conceptos y técnicas. Principales enfoques para la destilación del conocimiento | Destilación de conocimientos | Sesión enseñada y ejemplos |
| 40-45 min | Conclusión, preguntas y respuestas | Resumen | Conclusiones |
Reconocimientos
Cada autor de las fuentes citadas en las diapositivas.
El programa de maestría en IA centrada en el ser humano fue cofinanciado por el Mecanismo «Conectar Europa» de la Unión Europea en virtud de la subvención «CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068».