Административна информация
| Дял | Модел компресия — Edge Computing |
| Продължителност | 45 минути |
| Модул | В |
| Вид на урока | Лекция |
| Фокус | Технически — бъдещ ИИ |
| Тема | Напредък в моделите на ML чрез HC обектив — Резултатно ориентирано проучване |
Ключови думи
модел компресия, подрязване, количествено определяне, дестилация на знания,
Учебни цели
- Разбиране на концепцията за компресиране на модела
- Посочете обосновката на техниките за резитба, квантуване и дестилация на знания
- Подгответе се за разбиране на основните реализации с помощта на рамка на високо ниво като TensorFlow
Очаквана подготовка
Обучение на събития, които трябва да бъдат завършени преди
Задължително за студентите
- Познаване на контролираната теория на обучението
- Въведение в концепциите за машинно обучение и задълбочено обучение, дадени от предишни лекции
Незадължително за студенти
- Познаване на най-често срещаните хипер параметри, участващи в процеса на изграждане на невронни мрежи
Референции и фон за студенти
- Дестилация на знания — Лесна
- Песен Хан, и др. Обучение както на теглилки, така и на връзки за ефективни невронни мрежи. Corr abs/1506.02626. (2015).
- Песен Хан, и др. „Дълбока компресия: Компресиране на дълбока невронна мрежа с резитба, тренирано количество и кодиране на Хъфман." Четвърта международна конференция за представителства за обучение, ICLR 2016, Сан Хуан, Пуерто Рико, 2—4 май 2016 г., Conference Track Proceedings. 2016. Yanzhi Wang, et al. „Неструктурирана DNN подрязване на теглото — полезно ли е във всяка платформа?“. Corr abs/1907.02124. (2019).
- Чонг и Даниел. "transformers.zip: Компресиращи трансформатори с резитба и количествена обработка"
- Песен Хан, и др. Обучение както на теглилки, така и на връзки за ефективни невронни мрежи. Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. „What is the State of Neural Network Pruning?.“ Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, USA, 2—4 март 2020 г., mlsys.org, 2020 г.
- https://github.com/kingreza/quantization
- Песен Хан, и др. „Дълбока компресия: Компресиране на дълбока невронна мрежа с резитба, тренирано количество и кодиране на Хъфман. " Четвърта международна конференция за представителства за обучение, ICLR 2016, Сан Хуан, Пуерто Рико, 2—4 май 2016 г., Conference Track Proceedings. 2016.
- Zhi Gang Liu, et al. „Learning Low-precision Neural Networks without Straight-Through Estimator (STE).„ Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence („Учене на нископрецизни невронни мрежи без директно оценяване (STE)“. Процедури на двадесет и осмата международна съвместна конференция по въпросите на изкуствения интелект, 2019 г., Макао, Китай, 10—16 август 2019 г. ijcai.org, 2019 г.
- Peiqi Wang, et al. "HitNet: Hybrid Ternary Recurrent Neural Network. Advances in Neural Information Processing Systems 31: Годишна конференция по невронни информационни системи 2018 г., NeurIPS 2018, 3—8 декември 2018 г., Монреал, Канада. 2018.
- Кристиан Буцила, et al. „Модел компресия.“ Производства на дванадесетата международна конференция на ACM SIGKDD за откриване на знания и извличане на данни, Филаделфия, PA, САЩ, 20—23 август 2006 г. ACM, 2006 Г.
- Джефри Е. Хинтън, et al. „Дестилиране на знанието в невронна мрежа“. Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Препоръчва се за учители
Материали за уроци
Инструкции за учители
- Дайте представа за тенденциите и защо моделите се разрастват
- Дайте примери и причини, поради които е необходимо да имате по-малки модели
- Представете преглед на техниките, техните плюсове и минуси
- Предложи изскачащи викторини
- Опитайте се да се придържате към времевата маса
- Ако е възможно, дайте повече време за сесията за въпроси и отговори, ако е необходимо.
Лекцията може да се отнася до типове модели, оценка на модела, монтаж на модела и оптимизиране на модела
Очертаване
| Продължителност | Описание | Концепции | Дейност |
|---|---|---|---|
| 0—10 мин. | Въведение в техниките за компресиране на модела: какво е, за какво е, кога и защо е необходимо | Компресиране на модел | Въведение в основните понятия |
| 10—20 мин. | Подрязване: концепции и техники. Основни подходи за подрязване | Резитба | Преподавана сесия и примери |
| 20—30 мин. | Количествено определяне: концепции и техники. Основни подходи към квантуването | Количествено определяне | Преподавана сесия и примери |
| 30—40 мин. | Дестилация на знания: концепции и техники. Основни подходи към дестилацията на знания | Дестилация на знания | Преподавана сесия и примери |
| 40—45 мин. | Заключение, въпроси и отговори | Обобщение | Изводи |
Потвърждения
Всеки автор на източниците, цитирани в слайдовете.
Магистърската програма по ИИ, насочена към човека, беше съфинансирана от Механизма за свързване на Европа на Европейския съюз под формата на безвъзмездни средства № CEF-TC-2020—1 Digital Skills 2020-EU-IA-0068.