Informacje administracyjne
| Tytuł | Model kompresji – Edge Computing |
| Czas trwania | 45 minut |
| Moduł | C |
| Rodzaj lekcji | Wykład |
| Skupienie | Techniczne – Przyszła sztuczna inteligencja |
| Temat | Postępy w modelach ML poprzez obiektyw HC – Badanie zorientowane na wynik |
Słowa kluczowe
kompresja modelu, przycinanie, kwantyzacja, destylacja wiedzy,
Cele w zakresie uczenia się
- Zrozumieć koncepcję kompresji modelu
- Podać uzasadnienie technik przycinania, kwantyzacji i destylacji wiedzy
- Przygotuj się do zrozumienia podstawowych wdrożeń za pomocą ram wysokiego poziomu, takich jak TensorFlow
Oczekiwane przygotowanie
Wydarzenia edukacyjne, które należy ukończyć przed
Obowiązkowe dla studentów
- Znajomość nadzorowanej teorii uczenia się
- Wprowadzenie do uczenia maszynowego i koncepcji uczenia głębokiego podanych w poprzednich wykładach
Opcjonalne dla studentów
- Znajomość najczęstszych hiperparametrów zaangażowanych w proces budowania sieci neuronowych
Referencje i tło dla studentów
- Destylacja wiedzy – łatwa
- Song Han, et al. Nauka zarówno ciężarów, jak i połączeń dla wydajnych sieci neuronowych. Corr abs/1506.02626. (2015).
- Song Han, et al. „Głęboka kompresja: Compressing Deep Neural Network with Pruning, Trained Quantization and Huffman Coding." IV Międzynarodowa Konferencja na temat Reprezentacji Naukowych, ICLR 2016, San Juan, Puerto Rico, 2-4 maja 2016, Konferencja Proceedings. 2016. Yanzhi Wang, et al. Non-Structured DNN Weight Pruning – czy to korzystne w każdej platformie? Corr abs/1907.02124. (2019).
- Cheong i Daniel. „transformers.zip: Kompresja transformatorów z przycinaniem i kwantyzacją
- Song Han, et al. Nauka zarówno ciężarów, jak i połączeń dla wydajnych sieci neuronowych. Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. „What is the State of Neural Network Pruning?” Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, USA, 2-4 marca 2020 r.
- https://github.com/kingreza/quantization
- Song Han, et al. „Głęboka kompresja: Compressing Deep Neural Network with Pruning, Trained Quantization and Huffman Coding." IV Międzynarodowa Konferencja na temat Reprezentacji Uczenia się, ICLR 2016, San Juan, Puerto Rico, 2-4 maja 2016, Conference Track Proceedings. 2016.
- Zhi Gang Liu, et al. „Learning Low-precision Neural Networks without Straight-Through Estimator (STE)” Proceedings of the Twenty-Eight Joint Conference on Artificial Intelligence [„Uczenie się niskoprecyzyjnych sieci neuronowych bez prostego estymatora”], Makau, Chiny, 10-16 sierpnia 2019 r.
- Peiqi Wang, et al. „HitNet: Hybrydowa ternary nawracająca sieć neuronowa." Postępy w systemach przetwarzania informacji neuronowych 31: Doroczna konferencja na temat systemów przetwarzania informacji neuronowych 2018, NeurIPS 2018, 3-8 grudnia 2018, Montréal, Kanada. 2018.
- Cristian Bucila, et al. „Kompresja modelu.” Proceedings of Twelfth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Philadelphia, PA, USA, 20-23 sierpnia 2006 r. ACM, 2006 R.
- Geoffrey E. Hinton, et al. „Destilling the Knowledge in a Neural Network” (ang.). Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Zalecane dla nauczycieli
Materiały do lekcji
Instrukcje dla nauczycieli
- Zapoznaj się z trendami i dlaczego modele się rozwijają
- Podaj przykłady i powody, dla których konieczne jest posiadanie mniejszych modeli
- Podaj przegląd technik, ich zalet i wad
- Zaproponuj pop up quizzes
- Postaraj się trzymać się tabeli czasu
- Jeśli to możliwe, zapewnij więcej czasu na sesję pytań i odpowiedzi w razie potrzeby
Wykład może odnosić się do typów modeli, oceny modelu, dopasowania modelu i optymalizacji modelu
Zarys
| Czas trwania | Opis | Koncepcje | Działalność |
|---|---|---|---|
| 0-10 min. | Wprowadzenie do technik kompresji modelu: co to jest, do czego służy, kiedy i dlaczego jest potrzebne | Kompresja modelu | Wprowadzenie do głównych pojęć |
| 10-20 min. | Przycinanie: koncepcje i techniki. Główne podejścia do przycinania | Przycinanie | Sesja wykładowa i przykłady |
| 20-30 min | Kwantyzacja: koncepcje i techniki. Główne podejścia do kwantyzacji | Kwantyzacji | Sesja wykładowa i przykłady |
| 30-40 min | Destylacja wiedzy: koncepcje i techniki. Główne podejścia do destylacji wiedzy | Destylacja wiedzy | Sesja wykładowa i przykłady |
| 40-45 min | Wnioski, pytania i odpowiedzi | Podsumowanie | Wnioski |
Potwierdzenia
Każdy autor źródeł cytowanych w slajdach.
Program Masters zorientowany na człowieka został współfinansowany przez instrument „Łącząc Europę” Unii Europejskiej w ramach grantu CEF-TC-2020-1 Umiejętności cyfrowe 2020-EU-IA-0068.