Informações administrativas
| Titulo | Compressão de Modelo — Edge Computing |
| Duração | 45 mins |
| Módulo | C |
| Tipo de aula | Palestra |
| Foco | Técnico — Futura IA |
| Tópico | Avanços em modelos ML através de uma lente HC — Um Estudo Orientado a Resultados |
Palavras-chave
compressão do modelo, poda, quantificação, destilação do conhecimento,
Objetivos de aprendizagem
- Compreender o conceito de compressão modelo
- Fornecer a lógica subjacente às técnicas de poda, quantificação e destilação de conhecimentos
- Prepare-se para a compreensão de implementações básicas usando um framework de alto nível como o TensorFlow
Preparação prevista
Eventos de aprendizagem a serem concluídos antes
Obrigatório para os Estudantes
- Conhecimento da teoria da aprendizagem supervisionada
- Introdução à aprendizagem automática e conceitos de aprendizagem profunda dadas por palestras anteriores
Facultativo para Estudantes
- Conhecimento dos hiperparâmetros mais comuns envolvidos no processo de construção de redes neurais
Referências e antecedentes para estudantes
- Destilação do conhecimento — Fácil
- Canção Han, et al. «Learning Weights and Connections for Efficient Neural Networks» (em inglês). Corr abs/1506.02626. (2015).
- Canção Han, et al. «Compressão profunda: Comprimir a Rede Neural Profundo com Poda, Quantização Treinada e Codificação Huffman." 4.ª Conferência Internacional sobre Representações de Aprendizagem, ICLR 2016, San Juan, Porto Rico, 2-4 de maio de 2016, Proceedings Conference Track Proceedings. 2016. Yanzhi Wang, et al. Poda de peso não estruturada DNN — É benéfica em qualquer plataforma? Corr abs/1907.02124. (2019).
- O Cheong e o Daniel. «transformers.zip: Comprimir transformadores com poda e Quantização.
- Canção Han, et al. «Learning Weights and Connections for Efficient Neural Networks» (em inglês). Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. «What is the State of Neural Network Pruning?» ( Proceedings of Machine Learning and Systems 2020), MLSys 2020, Austin, TX, EUA, 2-4 de março de 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Canção Han, et al. «Compressão profunda: Compressing Deep Neural Network with Pruning, Trained Quantization and Huffman Coding." 4.ª Conferência Internacional sobre Representações de Aprendizagem, ICLR 2016, San Juan, Porto Rico, 2-4 de maio de 2016, Conferência de Processos. 2016.
- Zhi Gang Liu, et al. «Learning Low-Precision Neural Networks Without Straight-Through Estimator (STE)» (Aprender Redes Neurais de Baixa Precisão sem Estimador Direto (STE)). Atas da Vigésima Oitava Conferência Conjunta Internacional sobre Inteligência Artificial, CAI 2019, Macau, China, 10 a 16 de agosto de 2019 ijcai.org, 2019.
- Peiqi Wang, et al. «HitNet: Rede Neural Recorrente Hibrida Ternária." Avanços em Sistemas de Processamento de Informação Neural 31: Conferência Anual sobre Sistemas de Processamento de Informação Neural 2018, NeurIPS 2018, 3-8 de dezembro de 2018, Montréal, Canadá. 2018.
- Cristian Bucila, et al. «Compressão modelo.» Proceedings of the XII ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Filadélfia, PA, EUA, 20-23 de agosto de 2006. ACM, 2006.
- Geoffrey E. Hinton, et al. «Destilar o Conhecimento numa Rede Neural». Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Recomendado para professores
Materiais das aulas
Instruções para os professores
- Fornecer informações sobre as tendências e por que os modelos estão a crescer
- Dar exemplos e razões pelas quais é necessário ter modelos mais pequenos
- Fornecer uma visão geral das técnicas, seus prós e contras
- Propor questionários pop-up
- Tente manter-se na tabela do tempo
- Se possível, dar mais tempo à sessão de perguntas e respostas, se necessário
A palestra pode referir-se aos tipos de modelo, avaliação do modelo, encaixe do modelo e otimização do modelo
Esboço
| Duração | Descrição | Conceitos | Atividade |
|---|---|---|---|
| 0-10 min | Introdução às técnicas de compressão de modelos: para que é, para que serve, quando e por que é necessário | Compressão do modelo | Introdução aos principais conceitos |
| 10-20 min | Poda: conceitos e técnicas. Principais abordagens à poda | Poda | Sessão ensinada e exemplos |
| 20-30 min | Quantificação: conceitos e técnicas. Principais abordagens para a quantificação | Quantização | Sessão ensinada e exemplos |
| 30-40 min | Destilação de conhecimentos: conceitos e técnicas. Principais abordagens para a destilação do conhecimento | Destilação de conhecimentos | Sessão ensinada e exemplos |
| 40-45 min | Conclusão, perguntas e respostas | Sumário | Conclusões |
Agradecimentos
Cada autor das fontes citadas nos slides.
O programa de mestrado em IA centrado no ser humano foi cofinanciado pelo Mecanismo Interligar a Europa da União Europeia ao abrigo de subvenções CEF-TC-2020-1 Competências Digitais 2020-EU-IA-0068.