Administratívne informácie
| Názov | Kompresia modelu – Edge Computing |
| Trvanie | 45 minút |
| Modul | C |
| Druh lekcie | Prednáška |
| Zameranie | Technická – Budúca umelá inteligencia |
| Téma | Pokroky v modeloch ML prostredníctvom šošovky HC – Výsledok orientovaná štúdia |
Kľúčové slová
modelová kompresia, drvenie,kvantizácia,znalostná destilácia,
Vzdelávacie ciele
- Pochopiť koncept kompresie modelu
- Poskytnúť zdôvodnenie techník prerezávania, kvantifikácie a destilácie poznatkov
- Pripravte sa na pochopenie základných implementácií pomocou rámca na vysokej úrovni, ako je TensorFlow
Očakávaná príprava
Naučte sa udalosti, ktoré treba dokončiť predtým
Povinné pre študentov
- Vedomosti o teórii učenia pod dohľadom
- Úvod do konceptov strojového učenia a hlbokého učenia z predchádzajúcich prednášok
Voliteľné pre študentov
- Vedomosti o najbežnejších hyperparametroch podieľajúcich sa na procese budovania neurónových sietí
Referencie a zázemie pre študentov
- Vedomostná destilácia – jednoduchá
- Pieseň Han, et al. Učenie sa váh a spojení pre efektívne neurónové siete. Corr abs/1506.02626. (2015).
- Pieseň Han, et al. „Hlboká kompresia: Komprimovanie hlbokej neurónovej siete s Pruningom, vyškolenou kvantizáciou a kódovaním Huffman." 4. medzinárodná konferencia o vzdelávacích zastúpeniach, ICLR 2016, San Juan, Portoriko, 2. – 4. mája 2016, konferenčné traťové konania. 2016. Yanzhi Wang, et al. „Neštrukturovaný DNN hmotnosť Pruning – je to prospešné v akejkoľvek platforme?“. Corr abs/1907.02124. (2019).
- Cheong a Daniel. Transformers.zip: Kompresné transformátory s prúžkom a kvantizáciou
- Pieseň Han, et al. Učenie sa váh a spojení pre efektívne neurónové siete. Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. „What is the State of Neural Network Pruning?“ Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, USA, March 2 – 4, 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Pieseň Han, et al. „Hlboká kompresia: Kompresia Deep Neural Network with Pruning, Trained Quantisation and Huffman Coding." Štvrtá medzinárodná konferencia o vzdelávacích zastúpeniach, ICLR 2016, San Juan, Portoriko, 2. – 4. mája 2016, konferenčné traťové konania. 2016.
- Zhi Gang Liu, et al. „Vzdelávanie nízko presných neurónových sietí bez priameho odhadu (STE).“ Postupy dvadsiatej ôsmej medzinárodnej spoločnej konferencie o umelej inteligencii, CAI 2019, Macao, Čína, 10. – 16. augusta 2019. ijcai.org, 2019.
- Peiqi Wang, et al. „HitNet: Hybridná ternárna opakujúca sa neurónová sieť." Postupy v systémoch spracovania neurónových informácií 31: Výročná konferencia o systémoch spracovania neurónových informácií 2018, NeurIPS 2018, 3. – 8. decembra 2018, Montréal, Kanada. 2018.
- Cristian Bucila, et al. „Kompresia modelu.“ Proceedings of Twelfth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Philadelphia, PA, USA, 20. – 23. augusta 2006. ACM, 2006.
- Geoffrey E. Hinton, et al. Destilácia vedomostí v neurónovej sieti. Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Odporúčané pre učiteľov
Učebné materiály
Pokyny pre učiteľov
- Získajte prehľad o trendoch a o tom, prečo modely rastú
- Uveďte príklady a dôvody, prečo je potrebné mať menšie modely
- Poskytnite prehľad o technikách, ich výhodách a nevýhodách
- Navrhnúť pop up kvízy
- Snažte sa držať harmonogramu
- Ak je to možné, poskytnite v prípade potreby viac času na zodpovedanie otázok a odpovedí.
Prednáška sa môže týkať typov modelov, vyhodnocovania modelu, montáže modelu a optimalizácie modelu.
Obrysy
| Trvanie | Popis | Koncepty | Činnosť |
|---|---|---|---|
| 0 – 10 min. | Úvod do techník kompresie modelu: čo to je, na čo je, kedy a prečo je to potrebné | Kompresia modelu | Úvod do hlavných pojmov |
| 10 – 20 min. | Prerezávanie: koncepty a techniky. Hlavné prístupy k prerezávaniu | Prerezávanie | Vyučovanie a príklady |
| 20 – 30 min. | Kvantifikácia: koncepty a techniky. Hlavné prístupy ku kvantizácii | Kvantifikácia | Vyučovanie a príklady |
| 30 – 40 min. | Destilácia poznatkov: koncepty a techniky. Hlavné prístupy k destilácii poznatkov | Destilácia poznatkov | Vyučovanie a príklady |
| 40 – 45 min. | Záver, otázky a odpovede | Zhrnutie | Závery |
Uznania
Každý autor zdrojov citovaných v snímkach.
Program Masters umelej inteligencie zameraný na človeka bol spolufinancovaný z Nástroja Európskej únie na prepájanie Európy v rámci grantu CEF-TC-2020 – 1 Digitálne zručnosti 2020-EU-IA-0068.