Informazioni amministrative
| Titolo | Compressione del modello — Edge Computing |
| Durata | 45 minuti |
| Modulo | C |
| Tipo di lezione | Lezione |
| Focus | Tecnico — Intelligenza Artificiale del Futuro |
| Argomento | Progressi nei modelli ML attraverso un obiettivo HC — Uno studio orientato ai risultati |
Parole chiave
modello di compressione, potatura, quantizzazione, distillazione della conoscenza,
Obiettivi di apprendimento
- Comprendere il concetto di compressione del modello
- Fornire la logica alla base delle tecniche di potatura, quantificazione e distillazione della conoscenza
- Prepararsi per la comprensione delle implementazioni di base utilizzando un framework di alto livello come TensorFlow
Preparazione prevista
Eventi di apprendimento da completare prima
Obbligatorio per gli studenti
- Conoscenza della teoria dell'apprendimento supervisionato
- Introduzione ai concetti di apprendimento automatico e deep learning forniti da lezioni precedenti
Facoltativo per gli studenti
- Conoscenza degli iper parametri più comuni coinvolti nel processo di costruzione di reti neurali
Referenze e background per gli studenti
- Distillazione della conoscenza — Facile
- Song Han, et al. "Imparare sia i pesi che le connessioni per reti neurali efficienti". Corr abs/1506.02626. (2015).
- Song Han, et al. "Compressione profonda: Comprimere la rete neurale profonda con il Pruning, la quantizzazione addestrata e la codifica di Huffman." 4a Conferenza Internazionale sulle Rappresentanze di Apprendimento, ICLR 2016, San Juan, Porto Rico, 2-4 maggio 2016, Conference Track Proceedings. 2016. Yanzhi Wang, et al. "Non strutturato DNN Peso Pruning — È Beneficiale in Qualsiasi Piattaforma?" Corr abs/1907.02124. (2019).
- Cheong e Daniel. "trasformatori.zip: Comprimere Transformers con Pruning e Quantizzazione
- Song Han, et al. "Imparare sia i pesi che le connessioni per reti neurali efficienti". Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. "Qual è lo stato della rete neurale Pruning?." Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, USA, 2-4 marzo 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Song Han, et al. "Compressione profonda: Comprimere Deep Neural Network con Pruning, Trained Quantisation and Huffman Coding." 4th International Conference on Learning Representations, ICLR 2016, San Juan, Porto Rico, 2-4 maggio 2016, Conference Track Proceedings. 2016.
- Zhi Gang Liu, et al. "Apprendimento di reti neurali a bassa precisione senza Estimator (STE)." Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, (CAI 2019, Macao, Cina, 10-16 agosto 2019). ijcai.org, 2019.
- Peiqi Wang, et al. "HitNet: Rete Neurale Ternaria Ibrida." avanza nei sistemi di elaborazione delle informazioni neurali 31: Conferenza annuale sui sistemi di elaborazione delle informazioni neurali 2018, NeurIPS 2018, 3-8 dicembre 2018, Montréal, Canada. 2018.
- Cristian Bucila, et al. "Model compression." Proceedings of the dodicesima ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Philadelphia, PA, USA, 20-23 agosto 2006. ACM, 2006.
- Geoffrey E. Hinton, et al. "Distillare la conoscenza in una rete neurale". Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Consigliato per gli insegnanti
Materiale didattico
Istruzioni per gli insegnanti
- Fornire informazioni sulle tendenze e sul perché i modelli stanno crescendo
- Fornire esempi e motivi per cui è necessario avere modelli più piccoli
- Fornire una panoramica delle tecniche, dei loro pro e contro
- Proporre quiz pop up
- Cerca di attenerti alla tabella degli orari
- Se possibile, fornire più tempo alla sessione di domande e risposte, se necessario
La lezione può fare riferimento ai tipi di modello, alla valutazione del modello, al montaggio del modello e all'ottimizzazione del modello.
Contorno
| Durata | Descrizione | Concetti | Attività |
|---|---|---|---|
| 0-10 min | Introduzione alle tecniche di compressione del modello: che cos'è, a cosa serve, quando e perché è necessario | Compressione del modello | Introduzione ai concetti principali |
| 10-20 min | Potatura: concetti e tecniche. Principali approcci alla potatura | Potatura | Sessione insegnata ed esempi |
| 20-30 min | Quantificazione: concetti e tecniche. Principali approcci alla quantificazione | Quantizzazione | Sessione insegnata ed esempi |
| 30-40 min | Distillazione delle conoscenze: concetti e tecniche. Principali approcci alla distillazione della conoscenza | Distillazione delle conoscenze | Sessione insegnata ed esempi |
| 40-45 min | Conclusioni, domande e risposte | Riepilogo | Conclusioni |
Riconoscimenti
Ogni autore delle fonti citate all'interno delle diapositive.
Il programma Human-Centered AI Masters è stato co-finanziato dal meccanismo per collegare l'Europa dell'Unione europea nell'ambito della sovvenzione CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.