Informacje administracyjne
| Tytuł | Kompresja modelu |
| Czas trwania | 150 min |
| Moduł | C |
| Rodzaj lekcji | Praktyczne |
| Skupienie | Techniczne – Przyszła sztuczna inteligencja |
| Temat | Postępy w modelach ML poprzez obiektyw HC – Badanie zorientowane na wynik |
Słowa kluczowe
kompresja modelu, przycinanie, kwantyzacja, destylacja wiedzy,
Cele w zakresie uczenia się
- Dowiedz się, jak wdrożyć techniki kompresji modelu
- Uchwyć zalety przycinania, kwantyzacji i destylacji wiedzy
- Zapoznanie się z frameworkiem wysokiego poziomu, takim jak TensorFlow
Oczekiwane przygotowanie
Wydarzenia edukacyjne, które należy ukończyć przed
Obowiązkowe dla studentów
- Podstawowe zrozumienie koncepcji i technik kompresji modelu
- Podstawowe zrozumienie, w jaki sposób można ocenić wydajność modeli uczenia maszynowego i głębokiego uczenia się (np. dokładność, precyzja i wycofanie, wynik F)
- Znajomość języka programowania Python
Opcjonalne dla studentów
- Znajomość ram TensorFlow
Referencje i tło dla studentów
- Znajomość uczenia maszynowego i teorii sieci neuronowych
Zalecane dla nauczycieli
- Przypomnij sobie znajomość frameworka TensorFlow i języka programowania Python
- Przedstawienie praktycznego obrazu wdrożeń potrzebnych do wykorzystania technik kompresji modeli
- Zaproponuj pop-up quizy
Materiały do lekcji
Instrukcje dla nauczycieli
- Podaj krótki przegląd Tensorflow 2.x
- Użyj Google Colab jako działającego notebooka Jupyter do praktycznego zastosowania
- Uczniowie muszą wykorzystać wskazany czas przeznaczony na każde zadanie.
- Zadanie 1 do zadania 4 należy wykonać przed przydzieleniem pozostałych zadań.
Zarys lekcji
| Czas trwania | Opis | Koncepcje | Działalność | Materiał |
|---|---|---|---|---|
| 0-10 min. | Wprowadzenie do używanych narzędzi i jak ubrudzić ręce w sekundę | Wprowadzenie narzędzi | Wprowadzenie do głównych narzędzi | |
| 10-80 min | [Zadanie 1 – Zadanie 3] Szkolenie modelu, a następnie? Jak zastosować przycinanie i kwantyzację do modeli roboczych i porównać wydajność | Przycinanie i kwantyzacja | Sesja praktyczna i przykłady pracy | Notatnik CoLab |
| 80-140 min | [Zadanie 4 – Zadanie 6] Kiedy może być użyteczna destylacja wiedzy? Jak destylować wiedzę od nauczyciela do ucznia | Destylacja wiedzy | Sesja praktyczna i przykłady pracy | Notatnik CoLab |
| 140-150 min | Wnioski, pytania i odpowiedzi | Podsumowanie | Wnioski |
Potwierdzenia
- Rosario Catelli [CNR]
- Materiały Google Colab na Pruningu
- Materiały Google Colab dotyczące destylacji
Program Masters zorientowany na człowieka został współfinansowany przez instrument „Łącząc Europę” Unii Europejskiej w ramach grantu CEF-TC-2020-1 Umiejętności cyfrowe 2020-EU-IA-0068.