Informazioni amministrative
| Titolo | Compressione del modello |
| Durata | 150 min |
| Modulo | C |
| Tipo di lezione | Pratico |
| Focus | Tecnico — Intelligenza Artificiale del Futuro |
| Argomento | Progressi nei modelli ML attraverso un obiettivo HC — Uno studio orientato ai risultati |
Parole chiave
modello di compressione, potatura, quantizzazione, distillazione della conoscenza,
Obiettivi di apprendimento
- Capire come implementare le tecniche di compressione del modello
- Cogliere i vantaggi della potatura, della quantizzazione e della distillazione della conoscenza
- Acquisire familiarità con un framework di alto livello come TensorFlow
Preparazione prevista
Eventi di apprendimento da completare prima
Obbligatorio per gli studenti
- Comprensione di base dei concetti e delle tecniche di compressione del modello
- Comprensione di base di come possono essere valutate le prestazioni dei modelli di machine e deep learning (ad esempio precisione, precisione e richiamo, punteggio F)
- Conoscenza del linguaggio di programmazione Python
Facoltativo per gli studenti
- Conoscenza del framework TensorFlow
Referenze e background per gli studenti
- Conoscenza dell'apprendimento automatico e della teoria delle reti neurali
Consigliato per gli insegnanti
- Richiamare la conoscenza del framework TensorFlow e del linguaggio di programmazione Python
- Fornire una visione pratica delle implementazioni necessarie per sfruttare le tecniche di compressione del modello
- Proporre quiz pop-up
Materiale didattico
Istruzioni per gli insegnanti
- Fornire una breve panoramica di Tensorflow 2.x
- Utilizzare Google Colab come Notebook Jupyter funzionante per l'applicazione pratica
- Gli studenti devono utilizzare il tempo indicato per ogni attività.
- Il compito da 1 a 4 deve essere completato prima che i compiti rimanenti siano assegnati.
Schema della lezione
| Durata | Descrizione | Concetti | Attività | Materiale |
|---|---|---|---|---|
| 0-10 min | Introduzione agli strumenti utilizzati e come rendere le mani sporche in un secondo | Introduzione degli strumenti | Introduzione ai principali strumenti | |
| 10-80 min | [Compito 1 — Task 3] Formazione di un modello e poi? Come applicare la potatura e la quantizzazione ai modelli di lavoro e confrontare le prestazioni | Potatura e quantificazione | Sessione pratica ed esempi di lavoro | Taccuino CoLab |
| 80-140 min | [Compito 4 — Task 6] Quando potrebbe essere utile la distillazione della conoscenza? Come distillare la conoscenza da insegnante a studente | Distillazione della conoscenza | Sessione pratica ed esempi di lavoro | Taccuino CoLab |
| 140-150 min | Conclusioni, domande e risposte | Riepilogo | Conclusioni |
Riconoscimenti
- Rosario Catelli [CNR]
- Google Colab materiali su Pruning
- Google Colab materiali sulla distillazione
Il programma Human-Centered AI Masters è stato co-finanziato dal meccanismo per collegare l'Europa dell'Unione europea nell'ambito della sovvenzione CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.