Administrativ information
| Titel | Modellkomprimering |
| Varaktighet | 150 min |
| Modul | C |
| Typ av lektion | Praktiskt |
| Fokus | Teknik – Framtida AI |
| Ämne | Framsteg i ML-modeller genom en HC-lins – En resultatorienterad studie |
Nyckelord
modellkomprimering, beskärning, kvantisering, kunskapsdestillation,
Lärandemål
- Förstå hur man implementerar tekniker för modellkomprimering
- Förstå fördelarna med beskärning, kvantisering och kunskapsdestillation
- Bli bekant med ett ramverk på hög nivå som TensorFlow
Förväntad förberedelse
Lärande händelser som ska slutföras innan
Obligatoriskt för studenter
- Grundläggande förståelse för modellkompressionskoncept och tekniker
- Grundläggande förståelse för hur maskin- och djupinlärningsmodellers prestanda kan utvärderas (t.ex. noggrannhet, precision och återkallelse, F-poäng)
- Kunskaper i programmeringsspråket Python
Valfritt för studenter
- Kunskap om TensorFlow-ramverket
Referenser och bakgrund för studenter
- Kunskap om maskininlärning och neurala nätverk teori
Rekommenderas för lärare
- Minns kunskaper om TensorFlow-ramverket och Python-programmeringsspråket
- Ge en praktisk bild av de implementeringar som behövs för att utnyttja modellers komprimeringsteknik
- Föreslå popup-frågesporter
Lektionsmaterial
Instruktioner för lärare
- Ge en kort översikt av Tensorflow 2.x
- Använd Google Colab som fungerande Jupyter Notebook för praktisk tillämpning
- Eleverna måste använda den angivna tiden som tilldelats för varje uppgift.
- Uppgift 1 till uppgift 4 ska slutföras innan de återstående uppgifterna tilldelas.
Sammanfattning av lektionen
| Varaktighet | Beskrivning | Begrepp | Verksamhet | Material |
|---|---|---|---|---|
| 0–10 min | Introduktion till verktyg som används och hur man gör händer smutsiga på en sekund | Introduktion av verktyg | Introduktion till huvudverktygen | |
| 10–80 min | [Uppgift 1 – Uppgift 3] Träna en modell och sedan? Hur man applicerar beskärning och kvantisering på arbetsmodeller och jämför prestanda | Beskärning och kvantisering | Praktisk session och arbetsexempel | Anteckningsbok från CoLab |
| 80–140 min | [Uppgift 4 – Uppgift 6] När kan kunskapsdestillation vara användbar? Hur man destillera kunskap från lärare till elev | Kunskapsdestillation | Praktisk session och arbetsexempel | Anteckningsbok från CoLab |
| 140–150 min | Slutsats, frågor och svar | Sammanfattning | Slutsatser |
Erkännanden
- Rosario Catelli [CNR]
- Google Colab material för beskärning
- Google Colab-material på destillation
Masterprogrammet Human-Centered AI har samfinansierats av Fonden för ett sammanlänkat Europa i Europeiska unionen inom ramen för Grant CEF-TC-2020–1 Digital Skills 2020 EU-IA-0068.