Administrativ information
| Titel | Modellkomprimering – Edge Computing |
| Varaktighet | 45 minuter |
| Modul | C |
| Typ av lektion | Föreläsning |
| Fokus | Teknik – Framtida AI |
| Ämne | Framsteg i ML-modeller genom en HC-lins – En resultatorienterad studie |
Nyckelord
modell komprimering, beskärning, kvantisering, kunskap destillation,
Lärandemål
- Förstå begreppet modellkomprimering
- Ange skälen bakom teknikerna för beskärning, kvantisering och kunskapsdestillation.
- Förbered dig för att förstå grundläggande implementeringar med hjälp av ett ramverk på hög nivå som TensorFlow
Förväntad förberedelse
Lärande händelser som ska slutföras innan
Obligatoriskt för studenter
- Kunskap om den övervakade inlärningsteorin
- Introduktion till maskininlärning och djupinlärningskoncept som ges av tidigare föreläsningar
Valfritt för studenter
- Kunskap om de vanligaste hyperparametrarna som är involverade i neurala nätverk byggprocessen
Referenser och bakgrund för studenter
- Kunskapsdestillation – Lätt
- Sång Han, et al. ”Att lära sig både vikter och anslutningar för effektiva neurala nätverk”. Corr abs/1506.02626. (2015).
- Sång Han, et al. Djup kompression: Komprimera djupt neuralt nätverk med beskärning, utbildad kvantitet och Huffman kodning.” 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, 2–4 maj 2016, Conference Track Proceedings. 2016. Yanzhi Wang, et al. ”Icke-Structured DNN Viktbeskärning – Är det fördelaktigt i någon plattform?”. Corr abs/1907.02124. (2019).
- Cheong och Daniel. ”transformatorer.zip: Komprimera transformatorer med beskärning och kvantisering”
- Sång Han, et al. ”Att lära sig både vikter och anslutningar för effektiva neurala nätverk”. Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. ”Vad är tillståndet för Neural Network Pruning?”. Förfaranden för maskininlärning och system 2020, MLSys 2020, Austin, TX, USA, 2–4 mars 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Sång Han, et al. Djup kompression: Komprimera djupt neuralt nätverk med beskärning, utbildad kvantitet och Huffman kodning.” 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, 2–4 maj 2016, Conference Track Proceedings. 2016.
- Zhi Gang Liu, et al. ”Lärande av neurala nätverk med låg precision utan rak-genomströmning (STE).” Förfaranden vid den tjugoåttonde internationella gemensamma konferensen om artificiell intelligens, ÂCAI 2019, Macao, Kina, 10–16 augusti 2019. ijcai.org, 2019.
- Peiqi Wang, et al. ”HitNet: Hybrid Ternary Recurrent Neural Network. ” Fördelar i neurala informationsbehandlingssystem 31: Årlig konferens om neurala informationsbehandlingssystem 2018, NeurIPS 2018, 3–8 december 2018, Montréal, Kanada. 2018.
- Cristian Bucila, et al. ”Modellkomprimering.” Proceedings av den tolfte ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Philadelphia, PA, USA, 20–23 augusti 2006. ACM, 2006.
- Geoffrey E. Hinton, et al. Destillera kunskapen i ett neuralt nätverk. Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Rekommenderas för lärare
Lektionsmaterial
Instruktioner för lärare
- Ge insikt i trender och varför modeller växer
- Ge exempel och skäl till varför det är nödvändigt att ha mindre modeller
- Ge en översikt över teknikerna, deras för- och nackdelar
- Föreslå pop up frågesporter
- Försök att hålla dig till tidstabellen
- Om möjligt ge mer tid till fråge- och svarssessionen om det behövs
Föreläsningen kan avse modelltyper, modellutvärdering, modellmontering och modelloptimering
Konturer
| Varaktighet | Beskrivning | Begrepp | Verksamhet |
|---|---|---|---|
| 0–10 min | Introduktion till tekniker för modellkomprimering: vad det är, vad det är för, när och varför det behövs | Modellkomprimering | Introduktion till huvudbegreppen |
| 10–20 min | Beskärning: begrepp och tekniker. Huvudsakliga metoder för beskärning | Beskärning | Undervisade sessioner och exempel |
| 20–30 min | Kvantisering: begrepp och tekniker. Huvudsakliga metoder för kvantisering | Kvantisering | Undervisade sessioner och exempel |
| 30–40 min | Kunskapsdestillation: begrepp och tekniker. Huvudsakliga metoder för kunskapsdestillation | Kunskapsdestillation | Undervisade sessioner och exempel |
| 40–45 min | Slutsats, frågor och svar | Sammanfattning | Slutsatser |
Erkännanden
Varje författare av de källor som citeras i bilderna.
Masterprogrammet Human-Centered AI har samfinansierats av Fonden för ett sammanlänkat Europa i Europeiska unionen inom ramen för Grant CEF-TC-2020–1 Digital Skills 2020 EU-IA-0068.