Informações administrativas
| Titulo | Compressão do modelo |
| Duração | 150 min |
| Módulo | C |
| Tipo de aula | Prático |
| Foco | Técnico — Futura IA |
| Tópico | Avanços em modelos ML através de uma lente HC — Um Estudo Orientado a Resultados |
Palavras-chave
modelo de compressão, poda, quantificação, destilação de conhecimentos,
Objetivos de aprendizagem
- Compreender como implementar técnicas de compressão de modelos
- Agarre as vantagens da poda, da quantificação e da destilação do conhecimento
- Familiarizar-se com um framework de alto nível como o TensorFlow
Preparação prevista
Eventos de aprendizagem a serem concluídos antes
Obrigatório para os Estudantes
- Compreensão básica dos conceitos e técnicas de compressão do modelo
- Compreensão básica de como o desempenho da máquina e dos modelos de aprendizagem profunda podem ser avaliados (por exemplo, precisão, precisão e recordação, pontuação F)
- Conhecimento da linguagem de programação Python
Facultativo para Estudantes
- Conhecimento do quadro TensorFlow
Referências e antecedentes para estudantes
- Conhecimento da aprendizagem automática e teoria das redes neurais
Recomendado para professores
- Recordar o conhecimento da estrutura TensorFlow e da linguagem de programação Python
- Fornecer uma visão prática sobre as implementações necessárias para alavancar técnicas de compressão de modelos
- Propor questionários pop-up
Materiais das aulas
Instruções para os professores
- Dê uma breve visão geral do Tensorflow 2.x
- Utilize o Google Colab como manual de notas Jupyter para aplicação prática
- Os alunos devem utilizar o tempo indicado para cada tarefa.
- As tarefas 1 a 4 devem ser concluídas antes de as tarefas restantes serem atribuídas.
Resumo da lição
| Duração | Descrição | Conceitos | Atividade | Materiais |
|---|---|---|---|---|
| 0-10 min | Introdução às ferramentas utilizadas e como sujar as mãos em um segundo | Introdução das ferramentas | Introdução às principais ferramentas | |
| 10-80 min | [Tarefa 1 — Tarefa 3] Treinar um modelo e depois? Como aplicar a poda e a quantificação aos modelos de trabalho e comparar os desempenhos | Poda & Quantização | Sessão prática e exemplos de trabalho | Caderno CoLab |
| 80-140 min | [Tarefa 4 — Tarefa 6] Quando pode ser útil a destilação do conhecimento? Como destilar conhecimento de professor para aluno | Destilação do Conhecimento | Sessão prática e exemplos de trabalho | Caderno CoLab |
| 140-150 min | Conclusão, perguntas e respostas | Sumário | Conclusões |
Agradecimentos
- Rosario Catelli [CNR]
- Materiais do Google Colab em Pruning
- Materiais do Google Colab na Destilação
O programa de mestrado em IA centrado no ser humano foi cofinanciado pelo Mecanismo Interligar a Europa da União Europeia ao abrigo de subvenções CEF-TC-2020-1 Competências Digitais 2020-EU-IA-0068.