Hallinnolliset tiedot
| Otsikko | Malli Compression – Edge Computing |
| Kesto | 45 min |
| Moduuli | C |
| Oppitunnin tyyppi | Luento |
| Keskittyminen | Tekninen – Tulevaisuuden tekoäly |
| Aihe | ML-mallien edistyminen HC-objektiivin läpi – tulosorientoitunut tutkimus |
Avainsanoja
mallin puristus, leikkaus, kvantisointi, tietotislaus,
Oppimistavoitteet
- Ymmärrä mallikompressio-käsite
- Perustele leikkaus-, kvantifiointi- ja tietämyksen tislaustekniikat
- Valmistaudu ymmärtämään perustoteutuksia käyttämällä korkean tason kehystä, kuten TensorFlow
Odotettu valmistelu
Oppimistapahtumat valmistuvat ennen
Pakollinen opiskelijoille
- Ohjatun oppimisen teorian tuntemus
- Johdanto koneoppimiseen ja syväoppimiskonsepteihin, joita edelliset luennot antavat
Valinnainen opiskelijoille
- Neuroverkkojen rakentamiseen liittyvien yleisimpien hyperparametrien tuntemus
Referenssejä ja taustaa opiskelijoille
- Tiedon tislaus – helppo
- Laulu Han et al. Sekä painojen että yhteyksien oppiminen tehokkaille neuroverkoille. Corr abs/1506.02626. (2015).
- Laulu Han et al. ”Syvä puristus: Compressing Deep Neural Network with Pruning, Trained Quantization ja Huffman Coding.” 4. kansainvälinen konferenssi oppimisedustuksista, ICLR 2016, San Juan, Puerto Rico, 2.-4. toukokuuta 2016, Conference Track Proceedings. 2016. Yanzhi Wang ym. Ei-strukturoitu DNN-painon karsiminen – onko se hyödyllistä millä tahansa alustalla? Corr abs/1907.02124. (2019).
- Cheong ja Daniel. ”transformers.zip: Puristusmuuntajat karsimisella ja kvantifioinnilla”
- Laulu Han et al. Sekä painojen että yhteyksien oppiminen tehokkaille neuroverkoille. Corr abs/1506.02626. (2015).
- Davis W. Blalock ym. ”Mikä on Neural Network Cruningin tila?” Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, USA, 2.-4. maaliskuuta 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Laulu Han et al. ”Syvä puristus: Compressing Deep Neural Network with Pruning, Trained Quantization ja Huffman Coding.” 4. kansainvälinen konferenssi oppimisedustuksista, ICLR 2016, San Juan, Puerto Rico, 2.-4. toukokuuta 2016, Conference Track Proceedings. 2016.
- Zhi Gang Liu ym. ”Learning Low-Thrcision Neural Networks without Straight-Through Estimator (STE).” Tekoälyä käsitelleen kahdennenkymmenennenkahdeksannen kansainvälisen yhteisen konferenssin vaiheet, EETCAI 2019, Macao, Kiina, 10.–16. elokuuta 2019 ijcai.org, 2019.
- Peiqi Wang, et al. ”HitNet: Hybrid Ternary Recurrent Neural Network. ” Edistyminen Neural Information Processing Systems -järjestelmissä 31: Vuotuinen Neural Information Processing Systems 2018, NeurIPS 2018, 3.-8. joulukuuta 2018, Montréal, Kanada. 2018.
- Cristian Bucila ym. ”Mallipakkaus.” Proceedings of the Twelfth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Philadelphia, PA, Yhdysvallat, 20.-23. elokuuta 2006. ACM, 2006.
- Geoffrey E. Hinton ym. ”Tietämyksen määrittäminen neuroverkossa”. Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Suositellaan opettajille
Oppituntimateriaalit
Ohjeita opettajille
- Anna tietoa trendeistä ja siitä, miksi mallit kasvavat
- Anna esimerkkejä ja syitä, miksi pienempiä malleja tarvitaan
- Anna yleiskuva tekniikoista, niiden eduista ja haitoista
- Ehdota ponnahdustietovisoja
- Yritä pysyä aikapöydässä
- Anna mahdollisuuksien mukaan enemmän aikaa kysymykseen ja vastaa istuntoon tarvittaessa
Luennolla voidaan viitata mallityyppeihin, mallien arviointiin, mallien sovittamiseen ja mallin optimointiin.
Hahmotella
| Kesto | Kuvaus | Käsitteet | Aktiivisuus |
|---|---|---|---|
| 0–10 min | Mallin pakkaustekniikoiden johdanto: mitä se on, mitä varten se on, milloin ja miksi sitä tarvitaan | Mallin pakkaus | Johdanto pääkäsitteisiin |
| 10–20 min | Karsiminen: käsitteitä ja tekniikoita. Tärkeimmät lähestymistavat karsimiseen | Karsiminen | Opetettu istunto ja esimerkkejä |
| 20–30 min | Kvantifiointi: käsitteitä ja tekniikoita. Tärkeimmät lähestymistavat kvantifiointiin | Kvantifiointi | Opetettu istunto ja esimerkkejä |
| 30–40 min | Tietämyksen tislaus: käsitteitä ja tekniikoita. Tärkeimmät lähestymistavat tietämyksen tislaukseen | Tietämyksen tislaus | Opetettu istunto ja esimerkkejä |
| 40–45 min | Johtopäätökset, kysymykset ja vastaukset | Yhteenveto | Päätelmät |
Tunnustukset
Jokainen dioissa mainittujen lähteiden kirjoittaja.
Human-Centered AI Masters -ohjelmaa rahoitettiin Euroopan unionin Verkkojen Eurooppa -välineestä (CEF-TC-2020–1 Digital Skills 2020-EU-IA-0068).