Upravne informacije
| Naslov | Model kompresija – Edge Računalništvo |
| Trajanje | 45 minut |
| Modul | C |
| Vrsta lekcije | Predavanje |
| Osredotočenost | Tehnična – prihodnja umetna inteligenca |
| Tema | Napredek pri modelih ML skozi objektiv HC – študija, usmerjena v rezultate |
Ključne besede
kompresija modela, obrezovanje, kvantizacija, destilacija znanja,
Učni cilji
- Razumevanje koncepta kompresije modela
- Utemeljite tehnike obrezovanja, kvantizacije in destilacije znanja
- Pripravite se na razumevanje osnovnih izvedb z uporabo okvira na visoki ravni, kot je TensorFlow
Pričakovana priprava
Učenje Dogodki, ki jih je treba dokončati pred
Obvezno za študente
- Znanje nadzorovane teorije učenja
- Uvod v koncepte strojnega učenja in globokega učenja iz prejšnjih predavanj
Neobvezno za študente
- Poznavanje najpogostejših hiper parametrov, vključenih v proces izgradnje nevronskih mrež
Reference in ozadje za študente
- Destilacija znanja – enostavno
- Pesem Han, et al. „Učenje uteži in povezav za učinkovite nevronske mreže“. Corr abs/1506.02626. (2015).
- Pesem Han, et al. „Globoko sočutje: Stiskanje globoke nevronske mreže z obrezovanjem, izurjeno kvantizacijo in Huffmanovim kodiranjem." 4. mednarodna konferenca o učnih predstavništvih, ICLR 2016, San Juan, Puerto Rico, 2.–4. maj 2016, Konferenčni postopki. 2016. Yanzhi Wang, et al. „Nestrukturirano DNN masno obrezovanje – ali je koristno na kateri koli platformi?“ Corr abs/1907.02124. (2019).
- Cheong in Daniel. „transformers.zip: Stiskanje transformatorjev z vrezovanjem in kvantizacijo“
- Pesem Han, et al. „Učenje uteži in povezav za učinkovite nevronske mreže“. Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. „Kaj je obrezovanje nevronskih omrežij?“ Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, ZDA, 2.–4. marec 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Pesem Han, et al. „Globoko sočutje: Stiskanje globoke nevronske mreže z obrezovanjem, izurjeno kvantizacijo in Huffmanovim kodiranjem." 4. mednarodna konferenca o učnih predstavništvih, ICLR 2016, San Juan, Puerto Rico, 2.–4. maj 2016, Konferenčni postopki. 2016.
- Zhi Gang Liu, et al. „Učenje nizkopreciznih nevronskih mrež brez Straight-Through Estimator (STE).“ Postopki osemindvajsete mednarodne skupne konference o umetni inteligenci, ťCAI 2019, Macao, Kitajska, 10.–16. avgust 2019. ijcai.org, 2019.
- Peiqi Wang, et al. „HitNet: Hibridno Ternaryjevo ponavljajoče se nevronsko omrežje." Napredki v nevronskih sistemih za obdelavo informacij 31: Letna konferenca o nevronskih sistemih za obdelavo informacij 2018, NeurIPS 2018, 3.–8. december 2018, Montréal, Kanada. 2018.
- Cristian Bucila et al. „Kompresija modela.“ Postopki dvanajste mednarodne konference ACM SIGKDD o odkrivanju znanja in podatkovnem rudarstvu, Philadelphia, PA, ZDA, 20.–23. avgust 2006. ACM, 2006.
- Geoffrey E. Hinton, et al. Destilacija znanja v nevronski mreži. Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Priporočeno za učitelje
Gradivo za učne ure
Navodila za učitelje
- Zagotovite vpogled v trende in zakaj modeli rastejo
- Navedite primere in razloge, zakaj je potrebno imeti manjše modele
- Zagotovite pregled tehnik, njihovih prednosti in slabosti
- Predlagajte pop up kvize
- Poskusite se držati časovne tabele
- Če je mogoče, zagotovite več časa za sejo vprašanj in odgovorov, če je potrebno
Predavanje se lahko nanaša na tipe modelov, vrednotenje modela, namestitev modela in optimizacijo modela.
Obris
| Trajanje | Opis | Koncepti | Aktivnost |
|---|---|---|---|
| 0–10 min | Uvod v tehnike stiskanja modelov: kaj je, za kaj je, kdaj in zakaj je potrebna | Kompresija modela | Uvod v glavne koncepte |
| 10–20 min | Obrezovanje: konceptov in tehnik. Glavni pristopi k obrezovanju | Obrezovanje | Predavanja in primeri |
| 20–30 min | Količinska opredelitev: konceptov in tehnik. Glavni pristopi k količinski opredelitvi | Količinska opredelitev | Predavanja in primeri |
| 30–40 min | Destilacija znanja: konceptov in tehnik. Glavni pristopi k destilaciji znanja | Destilacija znanja | Predavanja in primeri |
| 40–45 min | Zaključek, vprašanja in odgovori | Povzetek | Sklepi |
Priznanja
Vsak avtor virov, ki so navedeni v diapozitivih.
Program Masters umetne inteligence, ki je bil vključen v človeka, je bil sofinanciran z instrumentom za povezovanje Evrope Evropske unije v okviru nepovratnih sredstev (CEF-TC-2020–1 Digital Skills 2020-EU-IA-0068).