Haldusteave
| Ametinimetus | Mudeli tihendamine – Edge Computing |
| Kestus | 45 minutit |
| Moodul | C |
| Õppetunni liik | Loeng |
| Keskendumine | Tehniline – tulevane tehisintellekt |
| Teema | Edusammud ML mudelites läbi HC objektiivi – tulemustele orienteeritud uuring |
Võtmesõnad
mudeli kokkusurumine, kaldkülvimine, kvantiseerimine, teadmiste destilleerimine,
Õpieesmärgid
- Mõista mudeli tihendamise kontseptsiooni
- Esitada pügamis-, kvantifitseerimis- ja teadmistepõhise destilleerimise meetodite põhjendus.
- Valmistage ette põhirakenduste mõistmine, kasutades kõrgetasemelist raamistikku nagu TensorFlow
Eeldatav ettevalmistamine
Õppeüritused, mis tuleb lõpetada enne
Kohustuslik õpilastele
- Teadmised juhendatud õppeteooriast
- Sissejuhatus masinõppesse ja varasemate loengute poolt antud süvaõppe kontseptsioonidesse
Valikuline õpilastele
- Teadmised kõige levinumatest hüperparameetritest, mis on seotud närvivõrkude ehitamise protsessiga
Viited ja taust õpilastele
- Teadmiste destilleerimine – lihtne
- Laul Han, et al. „Nii kaalude kui ka ühenduste õppimine efektiivsete närvivõrkude jaoks“. Corr abs/1506.02626. (2015).
- Laul Han, et al. „Sügav kompressioon: Deep Neural Network koos Pruning, Trained Quantization ja Huffman Coding." 4. rahvusvaheline konverents õppimise esinduste kohta, ICLR 2016, San Juan, Puerto Rico, 2.-4. mai 2016, konverentsi Track Proceedings. 2016. Yanzhi Wang, et al. „Mittestruktureeritud DNN-kaalu pügamine – kas see on kasulik mis tahes platvormil?“. Corr abs/1907.02124. (2019).
- Cheong ja Daniel. „transformers.zip: Kokkusurutavad trafod pügamise ja kvantiseerimisega“
- Laul Han, et al. „Nii kaalude kui ka ühenduste õppimine efektiivsete närvivõrkude jaoks“. Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. „What is the State of Neural Network Pruning?“ Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, USA, märts 2–4, 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Laul Han, et al. „Sügav kompressioon: Deep Neural Network koos Pruning, Trained Quantization ja Huffman Coding." 4. rahvusvaheline konverents õppimise esinduste kohta, ICLR 2016, San Juan, Puerto Rico, 2.-4. mai 2016, konverentsi Track Proceedings. 2016.
- Zhi Gang Liu, et al. „Light-täppis Neural Networks without Straight-Through Estimator (STE).“ Artificial Intelligence’i kahekümne kaheksanda rahvusvahelise ühiskonverentsi menetlus, CAI 2019, Macau, Hiina, 10.–16. august 2019. ijcai.org, 2019.
- Peiqi Wang, et al. „HitNet: Hübriid Ternary Korduv närvivõrk." Eelised neuroinfotöötlussüsteemides 31: Iga-aastane konverents neuroinfosüsteemide kohta 2018, NeurIPS 2018, detsember 3–8, 2018, Montréal, Kanada. 2018.
- Cristian Bucila, et al. 12. ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Philadelphia, PA, USA, 20.-23. august 2006. ACM, 2006.
- Geoffrey E. Hinton, et al. „Teadmiste hävitamine neurovõrgus“. Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Soovitatav õpetajatele
Õppematerjalid
Juhised õpetajatele
- Andke ülevaade suundumustest ja sellest, miks mudelid kasvavad
- Tooge näiteid ja põhjuseid, miks on vaja väiksemaid mudeleid
- Anda ülevaade tehnikatest, nende eelistest ja miinustest
- Ettepanek pop up viktoriinid
- Püüdke jääda ajatabeli juurde
- Võimaluse korral lisage küsimusele ja vastusele vajaduse korral rohkem aega
Loeng võib viidata mudelitüüpidele, mudeli hindamisele, mudeli paigaldamisele ja optimeerimisele
Kontuur
| Kestus | Kirjeldus | Mõisted | Tegevus |
|---|---|---|---|
| 0–10 min | Sissejuhatus mudeli kokkusurumise tehnikatesse: mis see on, milleks see on, millal ja miks seda vajatakse | Mudeli tihendamine | Sissejuhatus peamistesse mõistetesse |
| 10–20 min | Pügamine: kontseptsioonid ja tehnikad. Peamised lähenemisviisid pügamisele | Pügamine | Õpetatud seanss ja näited |
| 20–30 min | Kvantifitseerimine: kontseptsioonid ja tehnikad. Peamised kvantitatiivsed lähenemisviisid | Kvantiseerimine | Õpetatud seanss ja näited |
| 30–40 min | Teadmiste destilleerimine: kontseptsioonid ja tehnikad. Teadmiste destilleerimise peamised lähenemisviisid | Teadmiste destilleerimine | Õpetatud seanss ja näited |
| 40–45 min | Järeldused, küsimused ja vastused | Kokkuvõte | Järeldused |
Tunnustused
Kõik slaididel viidatud allikate autorid.
Inimkeskse tehisintellekti magistriprogrammi kaasfinantseeris Euroopa Liidu Ühendamise Rahastu toetusega CEF-TC-2020–1 „Digioskused 2020“-EU-IA-0068.