Administrative oplysninger
| Titel | Model kompression — Edge Computing |
| Varighed | 45 min. |
| Modul | C |
| Lektionstype | Forelæsning |
| Fokus | Teknisk — fremtidig kunstig intelligens |
| Emne | Fremskridt i ML-modeller gennem en HC-linse — En resultatorienteret undersøgelse |
Nøgleord
modelkompression, udskæring, kvantisering, videndestillation
Læringsmål
- Forstå begrebet modelkomprimering
- Give rationalet bag teknikkerne til beskæring, kvantisering og videndestillation
- Forbered dig på at forstå grundlæggende implementeringer ved hjælp af en ramme på højt niveau som TensorFlow
Forventet forberedelse
Læringsbegivenheder, der skal fuldføres før
Obligatorisk for studerende
- Kendskab til den overvågede læringsteori
- Introduktion til machine learning og deep learning koncepter givet af tidligere forelæsninger
Valgfrit for studerende
- Kendskab til de mest almindelige hyperparametre involveret i opbygning af neurale netværk
Referencer og baggrund for studerende
- Videndestillation — Easy
- Song Han, et al. "At lære både vægte og forbindelser til effektive neurale netværk". Corr abs/1506.02626. (2015).
- Song Han, et al. Dyb kompression: Komprimering af dybt neuralt netværk med beskæring, trænet kvantisering og Huffman-kodning." 4. internationale konference om læringsrepræsentationer, ICLR 2016, San Juan, Puerto Rico, maj 2-4, 2016, Conference Track Proceedings. 2016. Yanzhi Wang, et al. "Ikke-Structured DNN Vægtbeskæring — Er det gavnligt i enhver platform?". Corr abs/1907.02124. (2019).
- Cheong og Daniel. "transformers.zip: Komprimering af transformere med beskæring og kvantisering"
- Song Han, et al. "At lære både vægte og forbindelser til effektive neurale netværk". Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. "Hvad er State of Neural Network Pruning?" Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, USA, Marts 2-4, 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Song Han, et al. Dyb kompression: Komprimering af dybt neuralt netværk med beskæring, trænet kvantisering og Huffman-kodning." 4. internationale konference om læringsrepræsentationer, ICLR 2016, San Juan, Puerto Rico, maj 2-4, 2016, Conference Track Proceedings. 2016.
- Zhi Gang Liu, et al. "Læring af neurale netværk med lav præcision uden Straight-Through Estimator (STE)." Proceedings of the Twenty-Eightth International Joint Conference on Artificial Intelligence, ęCAI 2019, Macao, Kina, 10.-16. august 2019. ijcai.org, 2019.
- Peiqi Wang, et al. "HitNet: Hybrid Ternary Recurrent Neural Network." Fremskridt i Neural Information Processing Systems 31: Årlig konference om neurale informationssystemer 2018, NeurIPS 2018, 3.-8. december 2018, Montréal, Canada. 2018.
- Cristian Bucila, et al. "Modelkomprimering." Proceedings of the Twelfth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Philadelphia, PA, USA, August 20-23, 2006. ACM, 2006.
- Geoffrey E. Hinton, et al. "Destillere viden i et neuralt netværk". Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Anbefalet til lærerne
Undervisningsmaterialer
Instruktioner til lærerne
- Giv indsigt i tendenser og hvorfor modeller vokser
- Giv eksempler og grunde til, at det er nødvendigt at have mindre modeller
- Giv et overblik over teknikkerne, deres fordele og ulemper
- Foreslå pop up quizzer
- Prøv at holde dig til tidstabellen
- Om muligt give mere tid til spørgsmål og svar session, hvis det er nødvendigt
Foredraget kan henvise til modeltyper, modelevaluering, modelmontering og modeloptimering
Omrids
| Varighed | Beskrivelse | Koncepter | Aktivitet |
|---|---|---|---|
| 0-10 min | Introduktion til teknikker til modelkomprimering: hvad det er, hvad det er til, hvornår og hvorfor det er nødvendigt | Modelkompression | Introduktion til hovedbegreber |
| 10-20 min. | Beskæring: begreber og teknikker. Vigtigste tilgange til beskæring | Beskæring | Underviste sessioner og eksempler |
| 20-30 min | Kvantificering: begreber og teknikker. Vigtigste tilgange til kvantificering | Kvantificering | Underviste sessioner og eksempler |
| 30-40 min | Destillation af viden: begreber og teknikker. Vigtigste tilgange til videndestillation | Destillation af viden | Underviste sessioner og eksempler |
| 40-45 min. | Konklusion, spørgsmål og svar | Sammendrag | Konklusioner |
Anerkendelser
Hver forfatter af de kilder, der er nævnt i slides.
Programmet Human-Centered AI Masters blev samfinansieret af Connecting Europe-faciliteten i Den Europæiske Union under tilskud CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.