Administratieve informatie
| Titel | Modelcompressie — Edge Computing |
| Looptijd | 45 minuten |
| Module | C |
| Type les | Lezing |
| Focus | Technisch — Toekomstige AI |
| Onderwerp | Vooruitgang in ML-modellen door middel van een HC-lens — Een resultaatgericht onderzoek |
Sleutelwoorden
modelcompressie, snoeien, kwantificering, kennisdestillatie,
Leerdoelen
- Begrijp het concept van modelcompressie
- Geef de beweegredenen achter de snoei-, kwantificerings- en kennisdistillatietechnieken
- Bereid je voor op het begrijpen van basisimplementaties met behulp van een kader op hoog niveau zoals TensorFlow
Verwachte voorbereiding
Leren van gebeurtenissen die moeten worden voltooid voordat
Verplicht voor studenten
- Kennis van de onder toezicht staande leertheorie
- Inleiding tot machine learning en deep learning concepten gegeven door eerdere lezingen
Optioneel voor studenten
- Kennis van de meest voorkomende hyperparameters die betrokken zijn bij het bouwen van neurale netwerken
Referenties en achtergronden voor studenten
- Kennisdestillatie — Gemakkelijk
- Lied Han, et al. „Het leren van zowel gewichten als verbindingen voor efficiënte neurale netwerken”. Corr abs/1506.02626. (2015).
- Lied Han, et al. Diepe compressie: Het comprimeren van Deep Neural Network met Pruning, Trained Quantization en Huffman Coding." 4e International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, 2-4 mei 2016, Conference Track Proceedings. 2016. Yanzhi Wang, et al. „Niet-Structured DNN Weight Pruning — Is het gunstig in elk platform?” Corr abs/1907.02124. (2019).
- Cheong en Daniel. „transformers.zip: Het comprimeren van transformatoren met snoeien en kwantisatie"
- Lied Han, et al. „Het leren van zowel gewichten als verbindingen voor efficiënte neurale netwerken”. Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. „Wat is de staat van Neural Network Pruning?.” Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, USA, 2-4 maart 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Lied Han, et al. Diepe compressie: Het comprimeren van Deep Neural Network met Pruning, Trained Quantization en Huffman Coding." 4e International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, 2-4 mei 2016, Conference Track Proceedings. 2016.
- Zhi Gang Liu, et al. „Learning Low-Precision Neural Networks without Straight-Through Estimator (STE)” Proceedings van de Twintigste Internationale Gezamenlijke Conferentie over Kunstmatige Intelligentie, CAI 2019, Macau, China, 10-16 augustus 2019 ijcai.org, 2019.
- Peiqi Wang, et al. „HitNet: Hybride Ternary Recurrent Neural Network." Vooruitgangen in Neural Information Processing Systems 31: Jaarlijkse conferentie over Neural Information Processing Systems 2018, NeurIPS 2018, 3-8 december 2018, Montréal, Canada. 2018.
- Cristian Bucila, et al. „Modelcompressie.” Proceedings van de Twaalfde ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Philadelphia, PA, USA, 20-23 augustus 2006. ACM, 2006.
- Geoffrey E. Hinton, et al. „De kennis destilleren in een neuraal netwerk”. Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Aanbevolen voor docenten
Lesmateriaal
Instructies voor docenten
- Inzicht geven in trends en waarom modellen groeien
- Geef voorbeelden en redenen waarom het nodig is om kleinere modellen te hebben
- Geef een overzicht van de technieken, hun voor- en nadelen
- Stel pop-up quizzen voor
- Probeer vast te houden aan de tijdtafel
- Indien mogelijk meer tijd geven voor de vraag- en antwoordsessie indien nodig
De lezing kan verwijzen naar modeltypes, modelevaluatie, modelmontage en modeloptimalisatie
Omtrek
| Looptijd | Omschrijving | Concepten | Activiteit |
|---|---|---|---|
| 0-10 min | Inleiding tot technieken voor modelcompressie: wat het is, waar het voor is, wanneer en waarom het nodig is | Modelcompressie | Inleiding tot de hoofdbegrippen |
| 10-20 min | Snoeien: concepten en technieken. Belangrijkste benaderingen van snoei | Snoeien | Geleerde sessie en voorbeelden |
| 20-30 min | Kwantificering: concepten en technieken. Belangrijkste benaderingen van kwantificering | Kwantisatie | Geleerde sessie en voorbeelden |
| 30-40 min | Kennisdistillatie: concepten en technieken. Belangrijkste benaderingen van kennisdestillatie | Kennisdestillatie | Geleerde sessie en voorbeelden |
| 40-45 min | Conclusie, vragen en antwoorden | Samenvatting | Conclusies |
Erkenningen
Elke auteur van de bronnen die in de dia’s worden genoemd.
Het Human-Centered AI Masters-programma werd mede gefinancierd door de Connecting Europe Facility van de Europese Unie in het kader van de subsidie CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.