Administrativne informacije
| Naslov | Model kompresije – Edge Computing |
| Trajanje | 45 minuta |
| Modul | C |
| Vrsta lekcija | Predavanje |
| Fokus | Tehnička – buduća umjetna inteligencija |
| Tema | Napredak u ML modelima kroz HC objektiv – Rezultat orijentirana studija |
Ključne riječi
model kompresije, obrezivanja, kvantizacije, destilacije znanja,
Ciljevi učenja
- Razumijevanje koncepta kompresije modela
- Navesti razloge za tehnike obrezivanja, kvantizacije i destilacije znanja
- Pripremite se za razumijevanje osnovnih implementacija pomoću okvira na visokoj razini kao što je TensorFlow
Očekivana priprema
Edukativni događaji koji će biti završeni prije
Obvezno za studente
- Poznavanje nadzirane teorije učenja
- Uvod u koncepte strojnog učenja i dubokog učenja iz prethodnih predavanja
Neobvezno za studente
- Poznavanje najčešćih hiper parametara uključenih u proces izgradnje neuronskih mreža
Preporuke i pozadina za studente
- Destilacija znanja – Easy
- Pjesma Han, et al. „Učenje utega i veza za učinkovite neuronske mreže”. Corr abs/1506.02626. (2015).
- Pjesma Han, et al. „Duboka kompresija: Compressing Deep Neural Network with Pruning, Trained Quantisation and Huffman Coding." Četvrta međunarodna konferencija o obrazovnim predstavništvima, ICLR 2016, San Juan, Puerto Rico, 2. – 4. svibnja 2016., Conference Track Proceedings. 2016. Yanzhi Wang, et al. „Nestrukturirani DNN utega – Je li to korisno na bilo kojoj platformi?”. Corr abs/1907.02124. (2019).
- Cheong i Daniel. „transformers.zip: Komprimirajući transformatori s klizanjem i kvantizacijom”
- Pjesma Han, et al. „Učenje utega i veza za učinkovite neuronske mreže”. Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. „What is the State of Neural Network Pruning?” Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, SAD, 2. – 4. ožujka 2020.
- https://github.com/kingreza/quantization
- Pjesma Han, et al. „Duboka kompresija: Compressing Deep Neural Network with Pruning, Trained Quantisation and Huffman Coding." Četvrta međunarodna konferencija o obrazovnim predstavništvima, ICLR 2016, San Juan, Puerto Rico, 2. – 4. svibnja 2016., Conference Track Proceedings. 2016.
- Zhi Gang Liu, et al. „Learning Low-precision Neural Networks without Straight-Through Estimator (STE).” Proceedings of the Twenty-Eightth International Joint Conference on artificial Intelligence (Učenje niskopreciznih neuronskih mreža bez ravnomjernih procjena ( STE)).
- Peiqi Wang, et al. „HitNet: Hibridna ternarna rekurentna neuronska mreža." Napredci u sustavima za obradu neuronskih informacija 31: Godišnja konferencija o sustavima za obradu neuronskih informacija 2018., NeurIPS 2018, 3. – 8. prosinca 2018., Montréal, Kanada. 2018.
- Cristian Bucila, et al. „Model kompresije.” Proceedings of the Dvanaest ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Philadelphia, PA, SAD, 20. – 23. kolovoza 2006. ACM, 2006.
- Geoffrey E. Hinton, et al. Destilacija znanja u neuronskoj mreži. Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Preporučeno nastavnicima
Nastavni materijali
Upute za učitelje
- Pružiti uvid u trendove i zašto modeli rastu
- Navedite primjere i razloge zašto je potrebno imati manje modele
- Pružiti pregled tehnika, njihovih prednosti i nedostataka
- Predložite skočne kvizove
- Pokušajte se držati rasporeda
- Ako je moguće, osigurati više vremena za sesiju pitanja i odgovora ako je potrebno
Predavanje se može odnositi na vrste modela, evaluaciju modela, ugradnju modela i optimizaciju modela.
Nacrt
| Trajanje | Opis | Koncepti | Aktivnost |
|---|---|---|---|
| 0 – 10 min | Uvod u tehnike kompresije modela: što je to, čemu služi, kada i zašto je potrebno | Kompresija modela | Uvod u glavne pojmove |
| 10 – 20 min | Obrezivanje: koncepti i tehnike. Glavni pristupi obrezivanju | Obrezivanje | Podučavanje sesije i primjeri |
| 20 – 30 min | Kvantizacija: koncepti i tehnike. Glavni pristupi kvantizaciji | Kvantizacija | Podučavanje sesije i primjeri |
| 30 – 40 min | Destilacija znanja: koncepti i tehnike. Glavni pristupi destilaciji znanja | Destilacija znanja | Podučavanje sesije i primjeri |
| 40 – 45 min | Zaključak, pitanja i odgovori | Sažetak | Zaključci |
Priznanja
Svaki autor izvora navedenih u slajdovima.
Diplomski studij umjetne inteligencije usmjeren na čovjeka sufinanciran je Instrumentom za povezivanje Europe Europske unije u okviru bespovratnih sredstava CEF-TC-2020 – 1 Digital Skills 2020-EU-IA-0068.