Informații administrative
| Titlu | Compresia modelului – Edge Computing |
| Durată | 45 de minute |
| Modulul | C |
| Tipul lecției | Prelegere |
| Focalizare | Tehnică – Viitoarea IA |
| Subiect | Progresele modelelor ML printr-o lentilă HC – Un studiu orientat spre rezultate |
Cuvinte cheie
model de compresie, tundere, cuantizare, distilare a cunoștințelor,
Obiective de învățare
- Înțelegerea conceptului de compresie a modelului
- Furnizați raționamentul din spatele tehnicilor de tăiere, cuantificare și distilare a cunoștințelor
- Pregătiți-vă pentru înțelegerea implementărilor de bază utilizând un cadru la nivel înalt, cum ar fi TensorFlow
Pregătirea preconizată
Evenimente de învățare care urmează să fie finalizate înainte
Obligatoriu pentru studenți
- Cunoașterea teoriei învățării supravegheate
- Introducere în conceptele de învățare automată și învățare profundă oferite de prelegerile anterioare
Opțional pentru studenți
- Cunoașterea celor mai comuni hiperparametri implicați în procesul de construire a rețelelor neuronale
Referințe și context pentru studenți
- Distilarea cunoștințelor – Ușor
- Song Han, et al. „Învățarea atât a greutăților, cât și a conexiunilor pentru rețele neuronale eficiente”. Corr abs/1506.02626. (2015).
- Song Han, et al. „Compresie profundă: Comprimarea rețelei neuronale profunde cu pruning, cuantizare antrenată și codare Huffman." A 4-a Conferință Internațională privind Reprezentările Învățării, ICLR 2016, San Juan, Puerto Rico, 2-4 mai 2016, Conference Track Proceedings. 2016. Yanzhi Wang, et al. Accesat în 1 ianuarie 2012. ^ „Ne-Structured DNN Weight Pruning – Is It Beneficial in Any Platform?”. Corr abs/1907.02124. (2019).
- Cheong și Daniel. „transformers.zip: Comprimarea transformatoarelor cu prindere și cuantizare”
- Song Han, et al. „Învățarea atât a greutăților, cât și a conexiunilor pentru rețele neuronale eficiente”. Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. „What is the State of Neural Network Pruning?” Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, SUA, 2-4 martie 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Song Han, et al. „Compresie profundă: Comprimarea rețelei neuronale profunde cu pruning, cuantizare antrenată și codare Huffman." A 4-a Conferință Internațională privind Reprezentările Învățării, ICLR 2016, San Juan, Puerto Rico, 2-4 mai 2016, Conference Track Proceedings. 2016.
- Zhi Gang Liu, et al. „Learning Low-Preision Neural Networks without Straight-Through Estimator” (STE). „ Proceedings of the Twenty-Eightth International Joint Conference on Artificial Intelligence (STE).”Proceedings of the Twenty-Eight-Eth International Joint Conference on Artificial Intelligence, (CAI 2019, Macao, China, 10-16 august 2019. ijcai.org, 2019.
- Peiqi Wang, et al. „HitNet: Rețea neuronală recurentă terțiară hibridă." Progrese în sistemele de prelucrare a informațiilor neuronale 31: Conferința anuală privind sistemele de prelucrare a informațiilor neurale 2018, NeurIPS 2018, 3-8 decembrie 2018, Montréal, Canada. 2018.
- Cristian Bucila, et al. „Compresia modelului.” Proceedings of the Twelfth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Philadelphia, PA, SUA, 20-23 august 2006. ACM, 2006.
- Geoffrey E. Hinton, et al. „Distilarea cunoașterii într-o rețea neuronală”. Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Recomandat pentru profesori
Materiale de lecție
Instrucțiuni pentru profesori
- Oferă o perspectivă asupra tendințelor și de ce modelele sunt în creștere
- Oferiți exemple și motive pentru care este necesar să aveți modele mai mici
- Oferiți o imagine de ansamblu asupra tehnicilor, argumentelor pro și contra
- Propune chestionare pop-up
- Încercați să rămâneți la masa de timp
- Dacă este posibil, oferiți mai mult timp sesiunii de întrebări și răspunsuri, dacă este necesar
Cursul se poate referi la tipurile de modele, evaluarea modelului, montarea modelului și optimizarea modelului
Contur
| Durată | Descriere | Concepte | Activitate |
|---|---|---|---|
| 0-10 min | Introducere în tehnicile de compresie a modelului: ce este, pentru ce este, când și de ce este nevoie | Compresia modelului | Introducere în conceptele principale |
| 10-20 min | Tăierea: concepte și tehnici. Principalele abordări ale tăierii | Tăiere | Sesiune predată și exemple |
| 20-30 min | Cuantificare: concepte și tehnici. Principalele abordări ale cuantizării | Cuantificare | Sesiune predată și exemple |
| 30-40 min | Distilarea cunoștințelor: concepte și tehnici. Principalele abordări ale distilării cunoștințelor | Distilarea cunoștințelor | Sesiune predată și exemple |
| 40-45 min | Concluzie, întrebări și răspunsuri | Rezumat | Concluzii |
Confirmări
Fiecare autor al surselor citate în diapozitive.
Programul de masterat AI centrat pe om a fost cofinantat de Mecanismul pentru interconectarea Europei al Uniunii Europene sub Grantul CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.