Administratieve informatie
| Titel | Modelcompressie |
| Looptijd | 150 min |
| Module | C |
| Type les | Praktisch |
| Focus | Technisch — Toekomstige AI |
| Onderwerp | Vooruitgang in ML-modellen door middel van een HC-lens — Een resultaatgericht onderzoek |
Sleutelwoorden
modelcompressie, snoei, kwantificering, kennisdestillatie,
Leerdoelen
- Begrijp hoe u technieken van modelcompressie kunt implementeren
- Begrijp de voordelen van snoei, kwantificering en kennisdestillatie
- Vertrouwd raken met een high-level framework zoals TensorFlow
Verwachte voorbereiding
Leren van gebeurtenissen die moeten worden voltooid voordat
Verplicht voor studenten
- Basiskennis van modelcompressieconcepten en -technieken
- Basiskennis van hoe de prestaties van machine- en deep learning-modellen kunnen worden geëvalueerd (bv. nauwkeurigheid, precisie en terugroeping, F-score)
- Kennis van de programmeertaal Python
Optioneel voor studenten
- Kennis van het TensorFlow framework
Referenties en achtergronden voor studenten
- Kennis van machine learning en neurale netwerken theorie
Aanbevolen voor docenten
- Herinner kennis van het TensorFlow framework en Python programmeertaal
- Geef een praktisch beeld van de implementaties die nodig zijn om modelcompressietechnieken te benutten
- Pop-up quizzen voorstellen
Instructies voor docenten
- Geef een kort overzicht van Tensorflow 2.x
- Gebruik Google Colab als werkende Jupyter Notebook voor praktische toepassing
- Studenten moeten de aangegeven tijd gebruiken die voor elke taak is toegewezen.
- Taak 1 tot taak 4 moet worden voltooid voordat de resterende taken worden toegewezen.
Overzicht van de les
| Looptijd | Omschrijving | Concepten | Activiteit | Materiaal |
|---|---|---|---|---|
| 0-10 min | Inleiding tot gebruikte gereedschappen en hoe handen vuil te maken in een seconde | Introductie van tools | Inleiding tot de belangrijkste tools | |
| 10-80 min | [Taak 1 — Taak 3] Een model trainen en dan? Hoe snoei en kwantificering toe te passen op werkende modellen en prestaties te vergelijken | Snoeien & kwantisatie | Praktische sessie en werkvoorbeelden | CoLab-notitieboek |
| 80-140 min | [Taak 4 — Taak 6] Wanneer zou kennisdestillatie nuttig kunnen zijn? Hoe kennis van leraar naar student te distilleren | Kennisdistillatie | Praktische sessie en werkvoorbeelden | CoLab-notitieboek |
| 140-150 min | Conclusie, vragen en antwoorden | Samenvatting | Conclusies |
Erkenningen
- Rosario Catelli [CNR]
- Google Colab materialen op Snoeien
- Google Colab materialen op distillatie
Het Human-Centered AI Masters-programma werd mede gefinancierd door de Connecting Europe Facility van de Europese Unie in het kader van de subsidie CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.