Informații administrative
| Titlu | Compresia modelului |
| Durată | 150 min |
| Modulul | C |
| Tipul lecției | Practică |
| Focalizare | Tehnică – Viitoarea IA |
| Subiect | Progresele modelelor ML printr-o lentilă HC – Un studiu orientat spre rezultate |
Cuvinte cheie
model de compresie, tăiere, cuantificare, distilare a cunoștințelor,
Obiective de învățare
- Înțelegeți cum să implementați tehnici de compresie a modelului
- Profitați de avantajele tăierii, cuantizării și distilării cunoștințelor
- Familiarizarea cu un cadru la nivel înalt, cum ar fi TensorFlow
Pregătirea preconizată
Evenimente de învățare care urmează să fie finalizate înainte
Obligatoriu pentru studenți
- Înțelegerea de bază a conceptelor și tehnicilor de compresie a modelului
- Înțelegerea de bază a modului în care poate fi evaluată performanța modelelor de învățare automată și profundă (de exemplu, acuratețe, precizie și rechemare, scor F)
- Cunoașterea limbajului de programare Python
Opțional pentru studenți
- Cunoașterea cadrului TensorFlow
Referințe și context pentru studenți
- Cunoașterea învățării automate și a teoriei rețelelor neuronale
Recomandat pentru profesori
- Cunoașterea cadrului TensorFlow și a limbajului de programare Python
- Oferiți o imagine practică asupra implementărilor necesare pentru a valorifica tehnicile de compresie ale modelului
- Propune chestionare pop-up
Materiale de lecție
Instrucțiuni pentru profesori
- Oferă o scurtă prezentare generală a Tensorflow 2.x
- Utilizați Google Colab ca Notebook Jupyter de lucru pentru aplicații practice
- Elevii trebuie să utilizeze timpul indicat alocat pentru fiecare sarcină.
- Sarcina 1 la Sarcina 4 trebuie finalizată înainte de atribuirea sarcinilor rămase.
Schița lecției
| Durată | Descriere | Concepte | Activitate | Material |
|---|---|---|---|---|
| 0-10 min | Introducere în instrumentele utilizate și cum să vă murdăriți mâinile într-o secundă | Introducerea instrumentelor | Introducere în principalele instrumente | |
| 10-80 min | [Sarcina 1 – Sarcina 3] Formarea unui model și apoi? Cum se aplică tăierea și cuantificarea modelelor de lucru și cum se compară performanțele | Tăiere și cuantificare | Sesiune practică și exemple de lucru | CoLab Notebook |
| 80-140 min | [Sarcina 4 – Sarcina 6] Când ar putea fi utilă distilarea cunoștințelor? Cum să distilezi cunoștințele de la profesor la student | Distilarea cunoștințelor | Sesiune practică și exemple de lucru | CoLab Notebook |
| 140-150 min | Concluzie, întrebări și răspunsuri | Rezumat | Concluzii |
Confirmări
- Rosario Catelli [CNR]
- Google Colab materiale despre Pruning
- Google Colab despre Distilare
Programul de masterat AI centrat pe om a fost cofinantat de Mecanismul pentru interconectarea Europei al Uniunii Europene sub Grantul CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.