Administratívne informácie
| Názov | Kompresia modelu |
| Trvanie | 150 min. |
| Modul | C |
| Druh lekcie | Praktické |
| Zameranie | Technická – Budúca umelá inteligencia |
| Téma | Pokroky v modeloch ML prostredníctvom šošovky HC – Výsledok orientovaná štúdia |
Kľúčové slová
kompresia modelu, prerezávanie, kvantizácia, destilácia poznatkov,
Vzdelávacie ciele
- Pochopiť, ako implementovať techniky kompresie modelu
- Pochopiť výhody prerezávania, kvantifikácie a destilácie poznatkov
- Zoznámiť sa s rámcom na vysokej úrovni, ako je TensorFlow
Očakávaná príprava
Naučte sa udalosti, ktoré treba dokončiť predtým
Povinné pre študentov
- Základné pochopenie konceptov a techník kompresie modelu
- Základné pochopenie toho, ako možno hodnotiť výkonnosť modelov strojového a hĺbkového učenia (napr. presnosť, presnosť a stiahnutie, skóre F)
- Znalosť programovacieho jazyka Python
Voliteľné pre študentov
- Znalosť rámca TensorFlow
Referencie a zázemie pre študentov
- Znalosť teórie strojového učenia a neurónových sietí
Odporúčané pre učiteľov
- Spomeňte si na znalosť rámca TensorFlow a programovacieho jazyka Python
- Poskytnúť praktický pohľad na vykonávanie potrebných na využitie techník kompresie modelu
- Navrhnúť pop-up kvízy
Učebné materiály
Pokyny pre učiteľov
- Stručný prehľad Tensorflow 2.x
- Použite Google Colab ako pracovný notebook Jupyter pre praktické použitie
- Študenti musia použiť uvedený čas pridelený pre každú úlohu.
- Úloha 1 k úlohe 4 by mala byť dokončená pred priradením zostávajúcich úloh.
Náčrt lekcie
| Trvanie | Popis | Koncepty | Činnosť | Materiál |
|---|---|---|---|---|
| 0 – 10 min. | Úvod do použitých nástrojov a ako urobiť ruky špinavé za sekundu | Zavedenie nástrojov | Úvod do hlavných nástrojov | |
| 10 – 80 min. | [Úloha 1 – úloha 3] Tréning modelu a potom? Ako aplikovať prerezávanie a kvantizáciu na pracovné modely a porovnávať výkony | Prerezávanie a kvantizácia | Praktické zasadnutie a pracovné príklady | Notebook CoLab |
| 80 – 140 min | [Úloha 4 – úloha 6] Kedy by mohla byť destilácia poznatkov užitočná? Ako destilovať vedomosti od učiteľa k študentovi | Destilácia znalostí | Praktické zasadnutie a pracovné príklady | Notebook CoLab |
| 140 – 150 min | Záver, otázky a odpovede | Zhrnutie | Závery |
Uznania
- Rosario Catelli [CNR]
- Google Colab materiály na Pruning
- Google Colab materiály o destilácii
Program Masters umelej inteligencie zameraný na človeka bol spolufinancovaný z Nástroja Európskej únie na prepájanie Európy v rámci grantu CEF-TC-2020 – 1 Digitálne zručnosti 2020-EU-IA-0068.