Administrative oplysninger
| Titel | Model kompression |
| Varighed | 150 min. |
| Modul | C |
| Lektionstype | Praktisk |
| Fokus | Teknisk — fremtidig kunstig intelligens |
| Emne | Fremskridt i ML-modeller gennem en HC-linse — En resultatorienteret undersøgelse |
Nøgleord
modelkomprimering, beskæring, kvantisering, videndestillation
Læringsmål
- Forstå, hvordan man implementerer teknikker til modelkomprimering
- Forstå fordelene ved beskæring, kvantisering og videndestillation
- At blive fortrolig med en ramme på højt niveau som TensorFlow
Forventet forberedelse
Læringsbegivenheder, der skal fuldføres før
Obligatorisk for studerende
- Grundlæggende forståelse af modelkomprimeringskoncepter og -teknikker
- Grundlæggende forståelse af, hvordan maskin- og deep learning-modellers ydeevne kan evalueres (f.eks. nøjagtighed, præcision og tilbagekaldelse, F-score)
- Kendskab til programmeringssproget Python
Valgfrit for studerende
- Kendskab til TensorFlow-rammen
Referencer og baggrund for studerende
- Viden om machine learning og neurale netværk teori
Anbefalet til lærerne
- Tilbagekaldelse kendskab til TensorFlow ramme og Python programmeringssprog
- Give et praktisk overblik over de implementeringer, der er nødvendige for at udnytte modelkomprimeringsteknikker
- Foreslå pop-up quizzer
Undervisningsmaterialer
Instruktioner til lærerne
- Giv et kort overblik over Tensorflow 2.x
- Brug Google Colab som arbejdende Jupyter Notebook til praktisk anvendelse
- Eleverne skal bruge den angivne tid, der er afsat til hver opgave.
- Opgave 1 til opgave 4 skal være afsluttet, før de resterende opgaver tildeles.
Oversigt over lektionen
| Varighed | Beskrivelse | Koncepter | Aktivitet | Materiale |
|---|---|---|---|---|
| 0-10 min | Introduktion til værktøjer, der anvendes, og hvordan man gør hænderne beskidte på et sekund | Introduktion af værktøjer | Introduktion til de vigtigste værktøjer | |
| 10-80 min | [Opgave 1 — opgave 3] Træning af en model og derefter? Hvordan man anvender beskæring og kvantisering på arbejdsmodeller og sammenligner præstationer | Beskæring og kvantisering | Praktiske sessioner og arbejdseksempler | CoLab Notebook |
| 80-140 min | [Opgave 4 — opgave 6] Hvornår kan videndestillation være nyttig? Hvordan man destillerer viden fra lærer til elev | Destillation af viden | Praktiske sessioner og arbejdseksempler | CoLab Notebook |
| 140-150 min | Konklusion, spørgsmål og svar | Sammendrag | Konklusioner |
Anerkendelser
- Rosario Catelli [CNR]
- Google Colab-materialer på beskæring
- Google Colab materialer på Destillation
Programmet Human-Centered AI Masters blev samfinansieret af Connecting Europe-faciliteten i Den Europæiske Union under tilskud CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.