Adminisztratív információk
| Cím | Modell tömörítés – Edge Computing |
| Időtartam | 45 perc |
| Modul | C |
| Lecke típusa | Előadás |
| Fókusz | Technikai – Jövőbeli MI |
| Téma | Fejlődés az ML modellekben egy HC objektíven keresztül – eredményorientált tanulmány |
Kulcsszó
modell tömörítés, metszés, kvantálás, tudáslepárlás,
Tanulási célok
- Ismerje meg a modell tömörítés fogalmát
- Indokolja meg a metszés, a kvantálás és a tudáslepárlás technikáit
- Készüljön fel az alapvető implementációk megértésére olyan magas szintű keretrendszerrel, mint a TensorFlow
Várható előkészítés
Az előtt befejezendő tanulási események
Kötelező a diákok számára
- A felügyelt tanulási elmélet ismerete
- Bevezetés a gépi tanulásba és a mélytanulási koncepciókba, amelyeket korábbi előadások adtak
Választható diákok számára
- A neurális hálózatok kiépítési folyamatában előforduló leggyakoribb hiperparaméterek ismerete
Referenciák és háttér a diákok számára
- Tudáslepárlás – Easy
- Song Han, et al. „Tanulni a súlyokat és a kapcsolatokat a hatékony neurális hálózatok számára”. Corr abs/1506.02626. (2015).
- Song Han, et al. „Mély tömörítés: Mély neurális hálózat tömörítése metszéssel, képzett kvantizációval és Huffman kódolással." 4. Nemzetközi Tanulási Képviselet, ICLR 2016, San Juan, Puerto Rico, 2016. május 2–4., Conference Track Proceedings. 2016. Yanzhi Wang, et al. „Nem strukturált DNN súlypruning – van-e előnyös bármilyen platformon?”. Corr abs/1907.02124. (2019).
- Cheong és Daniel. „transzformátorok.zip: Kompressziós transzformátorok metszéssel és kvantálással
- Song Han, et al. „Tanulni a súlyokat és a kapcsolatokat a hatékony neurális hálózatok számára”. Corr abs/1506.02626. (2015).
- Davis W. Blalock, és mások. „What is the State of Neural Network Pruning?.” Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, USA, 2020. március 2–4.. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Song Han, et al. „Mély tömörítés: Mély neurális hálózat tömörítése metszéssel, képzett mennyiségi és Huffman-kódolással." 4. Nemzetközi Tanulási Képviselet, ICLR 2016, San Juan, Puerto Rico, 2016. május 2–4., Conference Track Proceedings. 2016.
- Zhi Gang Liu, et al. „Az alacsony pontosságú Neural Networks without Straight-Through Estimator (STE)” Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, ¶CAI 2019, Makaó, Kína, 2019. augusztus 10–16. ijcai.org, 2019.
- Peiqi Wang, et al. „HitNet: Hibrid Ternary Recurrent Neural Network." Előnyök a Neural Information Processing Systems 31: Éves konferencia Neural Information Processing Systems 2018, NeurIPS 2018, december 3–8, 2018, Montréal, Kanada. 2018.
- Cristian Bucila, et al. „Modellkompresszió.” Proceedings of the Twelfth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Philadelphia, PA, USA, 2006. augusztus 20–23. ACM, 2006.
- Geoffrey E. Hinton, et al. „Distilling the Knowledge in a Neural Network” (A tudás desztillálása egy neurális hálózatban). Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Ajánlott tanároknak
Leckeanyagok
Utasítások tanároknak
- Betekintést nyújt a trendekbe és a modellek növekedésének okaiba
- Példák és okok, hogy miért van szükség kisebb modellekre
- Áttekintést nyújt a technikákról, azok előnyeiről és hátrányairól
- Előugró kvízek javaslata
- Próbálj meg ragaszkodni az időtáblához
- Ha lehetséges, adjon több időt a kérdés-válasz ülésre, ha szükséges
Az előadás utalhat modelltípusokra, modellértékelésre, modellillesztésre és modelloptimalizálásra
Vázlat
| Időtartam | Leírás | Fogalmak | Tevékenység |
|---|---|---|---|
| 0–10 perc | Bevezetés a modelltömörítés technikáiba: mi ez, mire, mikor és miért van rá szükség | Modell tömörítése | Bevezetés a főbb fogalmakba |
| 10–20 perc | Metszés: fogalmak és technikák. A metszés fő megközelítései | Metszés | Tanított ülés és példák |
| 20–30 perc | Számszerűsítés: fogalmak és technikák. A kvantálás fő megközelítései | Kvantálás | Tanított ülés és példák |
| 30–40 perc | Tudáslepárlás: fogalmak és technikák. A tudáslepárlás fő megközelítései | Tudáslepárlás | Tanított ülés és példák |
| 40–45 perc | Következtetések, kérdések és válaszok | Összefoglaló | Következtetések |
Visszaigazolások
A diákban idézett források minden szerzője.
A Human-Centered AI Masters programot az Európai Unió Európai Hálózatfinanszírozási Eszköze (CEF-TC-2020–1 Digitális készségek 2020 EU-IA-0068) társfinanszírozta.