Verwaltungsinformationen
| Titel | Modellkompression – Edge Computing |
| Dauer | 45 Minuten |
| Modulen | C |
| Unterrichtstyp | Vortrag |
| Fokussierung | Technisches – Zukunfts-KI |
| Themenbereich | Fortschritte bei ML-Modellen durch eine HC-Linse – Eine ergebnisorientierte Studie |
Suchbegriffe
Modellkompression, Beschneiden, Quantisierung, Wissensdestillation,
Lernziele
- Verstehen Sie das Konzept der Modellkomprimierung
- Liefern Sie die Gründe für die Techniken der Beschneidung, Quantisierung und Wissensdestillation
- Bereiten Sie sich auf das Verständnis grundlegender Implementierungen mit einem High-Level-Framework wie TensorFlow vor
Erwartete Vorbereitung
Lernveranstaltungen, die vorab abgeschlossen werden müssen
Obligatorisch für Studenten
- Kenntnisse der betreuten Lerntheorie
- Einführung in maschinelles Lernen und Deep-Learning-Konzepte in früheren Vorträgen
Optional für Studenten
- Kenntnis der häufigsten Hyperparameter, die am Aufbau von neuronalen Netzen beteiligt sind
Referenzen und Hintergründe für Studierende
- Wissensdestillation – Einfach
- Song Han, et al. Lernen sowohl Gewichte als auch Verbindungen für effiziente neuronale Netze. Corr abs/1506.02626. (2015).
- Song Han, et al. „Tiefe Kompression: Komprimierung von Deep Neural Network mit Pruning, Trained Quantization und Huffman Coding." 4. Internationale Konferenz über Lernrepräsentationen, ICLR 2016, San Juan, Puerto Rico, 2.-4. Mai 2016, Conference Track Proceedings. 2016. Yanzhi Wang, et al. Non-Structured DNN Weight Pruning – Ist es in jeder Plattform von Vorteil? Corr abs/1907.02124. (2019).
- Cheong und Daniel. „transformers.zip: Transformatoren mit Beschneidung und Quantisierung komprimieren
- Song Han, et al. Lernen sowohl Gewichte als auch Verbindungen für effiziente neuronale Netze. Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. „What is the State of Neural Network Pruning?“ Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, USA, 2.-4. März 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Song Han, et al. „Tiefe Kompression: Komprimierung von Deep Neural Network mit Pruning, Trained Quantization und Huffman Coding. " 4. Internationale Konferenz über Lernrepräsentationen, ICLR 2016, San Juan, Puerto Rico, 2.-4. Mai 2016, Conference Track Proceedings. 2016.
- Zhi Gang Liu, et al. „Learning Low-Precision Neural Networks without Straight-Through Estimator (STE)“ Proceedings of the Twenty-Eightth International Joint Conference on Artificial Intelligence, CAI 2019, Macao, China, 10.-16. August 2019 ijcai.org, 2019.
- Peiqi Wang, et al. „HitNet: Hybrid Ternary Recurrent Neural Network." Fortschritte in neuronalen Informationsverarbeitungssystemen 31: Jahreskonferenz über neuronale Informationsverarbeitungssysteme 2018, NeurIPS 2018, 3.-8. Dezember 2018, Montréal, Kanada. 2018.
- Cristian Bucila, et al. „Modellkompression.“ Proceedings of the Twelfth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Philadelphia, PA, USA, 20.-23. August 2006. ACM, 2006.
- Geoffrey E. Hinton, et al. Destillieren des Wissens in einem neuronalen Netzwerk. Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Empfohlen für Lehrer
Unterrichtsmaterialien
Anleitung für Lehrer
- Geben Sie Einblick in Trends und warum Modelle wachsen
- Beispiele und Gründe, warum es notwendig ist, kleinere Modelle zu haben
- Geben Sie einen Überblick über die Techniken, ihre Vor- und Nachteile
- Pop-Up-Quize vorschlagen
- Versuchen Sie, sich an den Zeitplan zu halten
- Wenn möglich, geben Sie mehr Zeit für die Frage- und Antwortsitzung, falls erforderlich
Die Vorlesung kann sich auf Modelltypen, Modellauswertung, Modellanpassung und Modelloptimierung beziehen.
Gliederung
| Dauer | Beschreibung | Konzepte | Aktivität |
|---|---|---|---|
| 0-10 min | Einführung in Techniken zur Modellkomprimierung: was es ist, wofür es ist, wann und warum es benötigt wird | Modellkompression | Einführung in die Hauptkonzepte |
| 10-20 min | Beschneidung: Konzepte und Techniken. Hauptansätze zum Beschneiden | Beschneidung | Unterrichtseinheit und Beispiele |
| 20-30 min | Quantisierung: Konzepte und Techniken. Hauptansätze zur Quantisierung | Quantisierung | Unterrichtseinheit und Beispiele |
| 30-40 min | Wissensdestillation: Konzepte und Techniken. Hauptansätze zur Wissensdestillation | Wissensdestillation | Unterrichtseinheit und Beispiele |
| 40-45 min | Fazit, Fragen und Antworten | Zusammenfassung | Schlussfolgerungen |
Danksagung
Jeder Autor der in den Folien zitierten Quellen.
Das Human-Centered AI Masters-Programm wurde von der Fazilität „Connecting Europe“ der Europäischen Union im Rahmen des Zuschusses „CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068“ kofinanziert.