Verwaltungsinformationen
| Titel | Modellkompression |
| Dauer | 150 min |
| Modulen | C |
| Unterrichtstyp | Praktisch |
| Fokussierung | Technisches – Zukunfts-KI |
| Themenbereich | Fortschritte bei ML-Modellen durch eine HC-Linse – Eine ergebnisorientierte Studie |
Suchbegriffe
Modellverdichtung, Beschneiden, Quantisierung, Wissensdestillation,
Lernziele
- Verstehen, wie man Techniken der Modellkomprimierung implementiert
- Nutzen Sie die Vorteile von Beschneiden, Quantisierung und Wissensdestillation
- Sich mit einem High-Level-Framework wie TensorFlow vertraut machen
Erwartete Vorbereitung
Lernveranstaltungen, die vorab abgeschlossen werden müssen
Obligatorisch für Studenten
- Grundlegendes Verständnis von Modellkompressionskonzepten und -techniken
- Grundlegendes Verständnis dafür, wie die Leistung von Machine- und Deep-Learning-Modellen bewertet werden kann (z. B. Genauigkeit, Präzision und Rückruf, F-Score)
- Kenntnisse der Programmiersprache Python
Optional für Studenten
- Kenntnisse des TensorFlow Frameworks
Referenzen und Hintergründe für Studierende
- Kenntnisse des maschinellen Lernens und der Theorie neuronaler Netze
Empfohlen für Lehrer
- Zurückrufen von Kenntnissen des TensorFlow-Frameworks und der Programmiersprache Python
- Geben Sie einen praktischen Überblick über die Implementierungen, die für die Nutzung von Modellkomprimierungstechniken erforderlich sind.
- Pop-up-Quize vorschlagen
Unterrichtsmaterialien
Anleitung für Lehrer
- Geben Sie einen kurzen Überblick über Tensorflow 2.x
- Verwenden Sie Google Colab als funktionierendes Jupyter Notebook für die praktische Anwendung
- Die Schüler müssen die angegebene Zeit für jede Aufgabe verwenden.
- Aufgabe 1 bis Aufgabe 4 sollte abgeschlossen werden, bevor die verbleibenden Aufgaben zugewiesen werden.
Überblick über die Lektion
| Dauer | Beschreibung | Konzepte | Aktivität | Werkstoffe |
|---|---|---|---|---|
| 0-10 min | Einführung in die verwendeten Werkzeuge und wie man die Hände in einer Sekunde schmutzig macht | Einführung von Werkzeugen | Einführung in die wichtigsten Werkzeuge | |
| 10-80 min | [Aufgabe 1 – Aufgabe 3] Ein Modell trainieren und dann? Wie man Beschneidung und Quantisierung auf Arbeitsmodelle anwendet und Leistungen vergleicht | Beschneiden & Quantisierung | Praxissitzung und Arbeitsbeispiele | CoLab Notebook |
| 80-140 min | [Aufgabe 4 – Aufgabe 6] Wann könnte Wissensdestillation sinnvoll sein? Wie man Wissen von Lehrer zu Schüler destilliert | Wissensdestillation | Praxissitzung und Arbeitsbeispiele | CoLab Notebook |
| 140-150 min | Fazit, Fragen und Antworten | Zusammenfassung | Schlussfolgerungen |
Danksagung
- Rosario Catelli [CNR]
- Google Colab-Materialien auf Pruning
- Google Colab Materialien zur Destillation
Das Human-Centered AI Masters-Programm wurde von der Fazilität „Connecting Europe“ der Europäischen Union im Rahmen des Zuschusses „CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068“ kofinanziert.