Διοικητικές πληροφορίες
| Τίτλος | Μοντέλο συμπίεσης — Υπολογισμός ακρών |
| Διάρκεια | 45 λεπτά |
| Ενότητα | Γ |
| Είδος μαθήματος | Διάλεξη |
| Εστίαση | Τεχνική — Μελλοντική ΤΝ |
| Θέμα | Εξελίξεις στα μοντέλα ML μέσω ενός φακού HC — Μια μελέτη προσανατολισμένη στα αποτελέσματα |
Λέξεις-κλειδιά
πρότυπη συμπίεση, κλάδεμα, ποσοτικοποίηση, απόσταξη γνώσης,
Μαθησιακοί στόχοι
- Κατανοήστε την έννοια της συμπίεσης μοντέλων
- Παρέχετε το σκεπτικό πίσω από τις τεχνικές κλαδέματος, κβαντικοποίησης και απόσταξης γνώσεων
- Προετοιμαστείτε για την κατανόηση των βασικών υλοποιήσεων χρησιμοποιώντας ένα πλαίσιο υψηλού επιπέδου όπως το TensorFlow
Αναμενόμενη προετοιμασία
Μαθησιακές εκδηλώσεις που πρέπει να ολοκληρωθούν πριν
Υποχρεωτικό για τους φοιτητές
- Γνώση της εποπτευόμενης θεωρίας μάθησης
- Εισαγωγή στη μηχανική μάθηση και τις έννοιες βαθιάς μάθησης που δόθηκαν από προηγούμενες διαλέξεις
Προαιρετικό για Φοιτητές
- Γνώση των πιο κοινών υπερπαράμετρων που εμπλέκονται στη διαδικασία οικοδόμησης νευρωνικών δικτύων
Αναφορές και υπόβαθρο για τους μαθητές
- Απόσταξη γνώσης — Εύκολη
- Τραγούδι Χαν, κ.ά. «Μαθαίνοντας τόσο τα βάρη όσο και τις συνδέσεις για αποτελεσματικά νευρωνικά δίκτυα». Corr abs/1506.02626. (2015).
- Τραγούδι Χαν, κ.ά. «Βαθιά συμπίεση: Συμπιέζοντας το βαθύ νευρωνικό δίκτυο με το κλάδεμα, την εκπαίδευση και την κωδικοποίηση Huffman.» 4ο Διεθνές Συνέδριο για τις Αντιπροσωπείες Μάθησης, ICLR 2016, Σαν Χουάν, Πουέρτο Ρίκο, 2-4 Μαΐου 2016, Πρακτικά διαδρομής συνεδρίων. 2016. Yanzhi Wang, et al. «Μη δομημένο κλάδεμα βάρους DNN — Είναι ευεργετικό σε οποιαδήποτε πλατφόρμα;» Corr abs/1907.02124. (2019).
- Τσονγκ και Ντάνιελ. «μετασχηματιστές.zip: Συμπιέζοντας μετασχηματιστές με κλάδεμα και ποσοτικοποίηση»
- Τραγούδι Χαν, κ.ά. «Μαθαίνοντας τόσο τα βάρη όσο και τις συνδέσεις για αποτελεσματικά νευρωνικά δίκτυα». Corr abs/1506.02626. (2015).
- Ντέιβις Μπλάλοκ, κ.ά. «What is the State of Neural Network Pruning?.» Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, ΗΠΑ, 2-4 Μαρτίου 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Τραγούδι Χαν, κ.ά. «Βαθιά συμπίεση: Συμπιέζοντας το βαθύ νευρωνικό δίκτυο με το κλάδεμα, την εκπαίδευση και την κωδικοποίηση Huffman." 4ο Διεθνές Συνέδριο για τις Αντιπροσωπείες Μάθησης, ICLR 2016, Σαν Χουάν, Πουέρτο Ρίκο, 2-4 Μαΐου 2016, Πρακτικά Διασκέψεων. 2016.
- Zhi Gang Liu, et al. «Μαθαίνοντας νευρωνικά δίκτυα χαμηλής ακρίβειας χωρίς ευθύ-Through Estimator (STE)». Πρακτικά της Εικοστής Όγδοης Διεθνούς Κοινής Διάσκεψης για την Τεχνητή Νοημοσύνη, ÁCAI 2019, Μακάο, Κίνα, 10-16 Αυγούστου 2019 ijcai.org, 2019.
- Peiqi Wang, et al. «HitNet: Υβριδικό τριμερές επαναλαμβανόμενο νευρωνικό δίκτυο.» Προχωρεί στα συστήματα επεξεργασίας νευρωνικών πληροφοριών 31: Ετήσιο Συνέδριο για τα Συστήματα Επεξεργασίας Νευρωνικών Πληροφοριών 2018, NeurIPS 2018, 3-8 Δεκεμβρίου 2018, Μόντρεαλ, Καναδάς. 2018.
- Cristian Bucila, et al. «Μοντέλο συμπίεσης.» Πρακτικά του δωδέκατου Διεθνούς Συνεδρίου της ACM SIGKDD για την ανακάλυψη γνώσης και την εξόρυξη δεδομένων, Φιλαδέλφεια, PA, ΗΠΑ, 20-23 Αυγούστου 2006. ACM, 2006.
- Geoffrey E. Hinton, et al. «Απόσταγμα της γνώσης σε ένα νευρωνικό δίκτυο». Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Συνιστάται για εκπαιδευτικούς
Υλικό μαθήματος
Οδηγίες για τους εκπαιδευτικούς
- Κατανοήστε τις τάσεις και γιατί αναπτύσσονται τα μοντέλα
- Δώστε παραδείγματα και λόγους για τους οποίους είναι απαραίτητο να υπάρχουν μικρότερα μοντέλα
- Δώστε μια επισκόπηση των τεχνικών, των πλεονεκτημάτων και των μειονεκτημάτων τους
- Προτείνετε pop up quizzes
- Προσπαθήστε να παραμείνετε στο χρονοδιάγραμμα
- Εάν είναι δυνατόν, δώστε περισσότερο χρόνο στη συνεδρία ερώτησης και απάντησης, εάν χρειάζεται
Η διάλεξη μπορεί να αναφέρεται σε τύπους μοντέλων, αξιολόγηση μοντέλων, τοποθέτηση μοντέλων και βελτιστοποίηση μοντέλων
Σχεδιάγραμμα
| Διάρκεια | Περιγραφή | Έννοιες | Δραστηριότητα |
|---|---|---|---|
| 0-10 λεπτά | Εισαγωγή στις τεχνικές για τη συμπίεση μοντέλων: τι είναι, τι είναι, πότε και γιατί χρειάζεται | Πρότυπο συμπίεσης | Εισαγωγή στις κύριες έννοιες |
| 10-20 λεπτά | Κλάδεμα: έννοιες και τεχνικές. Κύριες προσεγγίσεις για το κλάδεμα | Κλάδεμα | Διδακτική συνεδρία και παραδείγματα |
| 20-30 λεπτά | Ποσοτικοποίηση: έννοιες και τεχνικές. Κύριες προσεγγίσεις για την ποσοτικοποίηση | Κβαντοποίηση | Διδακτική συνεδρία και παραδείγματα |
| 30-40 λεπτά | Απόσταξη γνώσης: έννοιες και τεχνικές. Κύριες προσεγγίσεις για την απόσταξη γνώσης | Απόσταξη γνώσης | Διδακτική συνεδρία και παραδείγματα |
| 40-45 λεπτά | Συμπέρασμα, ερωτήσεις και απαντήσεις | Περίληψη | Συμπεράσματα |
Αναγνωρίσεις
Κάθε συγγραφέας των πηγών που αναφέρονται στις διαφάνειες.
Το πρόγραμμα Μάστερ τεχνητής νοημοσύνης με επίκεντρο τον άνθρωπο συγχρηματοδοτήθηκε από τον μηχανισμό «Συνδέοντας την Ευρώπη» της Ευρωπαϊκής Ένωσης στο πλαίσιο της επιχορήγησης CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.