Informazzjoni Amministrattiva
| Titlu | Kompressjoni Mudell — Edge Computing |
| Tul ta’ żmien | 45 minuta |
| Modulu | C |
| Tip ta’ lezzjoni | Lekċer |
| Fokus | Teknoloġija — IA tal-futur |
| Suġġett | Avvanzi fil-mudelli ML permezz ta’ lenti HC — Studju Orjentat lejn ir-riżultat |
Kliem prinċipali
mudell ta’ kompressjoni, pranzu,kwantizzazzjoni, distillazzjoni tal-għarfien,
Għanijiet ta’ Tagħlim
- Jifhmu l-kunċett ta ‘kompressjoni mudell
- Ipprovdi r-raġunament wara t-tekniki taż-żbir, il-kwantifikazzjoni u d-distillazzjoni tal-għarfien
- Tħejjija għall-fehim tal-implimentazzjonijiet bażiċi bl-użu ta’ qafas ta’ livell għoli bħal TensorFlow
Preparazzjoni mistennija
Avvenimenti ta’ Tagħlim li għandhom jiġu Mlestija Qabel
Obbligatorju għall-Istudenti
- Għarfien tat-teorija tat-tagħlim sorveljata
- Introduzzjoni għat-tagħlim awtomatiku u kunċetti ta’ tagħlim profond mogħtija minn lekċers preċedenti
Fakultattiv għall-Istudenti
- Għarfien dwar l-aktar parametri iper komuni involuti fil-proċess tal-bini tan-netwerks newrali
Referenzi u sfond għall-istudenti
- Distillazzjoni tal-għarfien — Faċli
- Kanzunetta Han, et al. “Tagħlim kemm tal-Piżijiet kif ukoll tal-Konnessjonijiet għal Netwerks Neurali Effiċjenti”. Corr abs/1506.02626. (2015).
- Kanzunetta Han, et al. “Kompressjoni Deep: l-4 Konferenza Internazzjonali dwar ir-Rappreżentazzjonijiet tat-Tagħlim, San Juan, Puerto Rico, 2–4, 2016, Konferenza Proċedimenti Track. 2016. Yanzhi Wang, et al. “Il-Piż tad-DNN mhux Strutturat — Huwa Benefiċjali fi Kwalunkwe Pjattaforma?”. Corr abs/1907.02124. (2019).
- Cheong u Daniel. “trasformaturi.zip: Transformers Kompressazzjoni ma Pruning u Kwantizzazzjoni "
- Kanzunetta Han, et al. “Tagħlim kemm tal-Piżijiet kif ukoll tal-Konnessjonijiet għal Netwerks Neurali Effiċjenti”. Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. “X’inhu l-Istat tal-Pruning tan-Netwerk Neurali?.” Proċedimenti ta’ Tagħlim Awtomatiku u Sistemi 2020, MLSys 2020, Austin, TX, USA, 2–4, 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Kanzunetta Han, et al. “Kompressjoni Deep: l-4 Konferenza Internazzjonali dwar ir-Rappreżentazzjonijiet tat-Tagħlim, San Juan, Puerto Rico, 2–4, 2016, Konferenza Track Proċedimenti. 2016.
- Zhi Gang Liu, et al. “Tagħlim ta’ Networks Neurali ta’ Preċiżjoni Baxxa mingħajr Stima Straight-Through (STE).” Proċedimenti tat-Tmienja u Għoxrin Konferenza Konġunta Internazzjonali dwar l-Intelliġenza Artifiċjali, (CAI 2019, Macao, iċ-Ċina, 10–16, 2019 ijcai.org, 2019.
- Peiqi Wang, et al. “HitNet: Hybrid Ternary Recurrent Neural Network." Advances in Neural Information Processing Systems 31: Konferenza Annwali dwar is-Sistemi tal-Ipproċessar ta’ Informazzjoni Neurali 2018, NeurIPS 2018, Diċembru 3–8, 2018, Montréal, il-Kanada. 2018.
- Cristian Bucila, et al. “Kompressjoni mudell.” Proċedimenti tat-Tnax-il Konferenza Internazzjonali ACM SIGKDD dwar Skoperta Għarfien u Data Minjieri, Philadelphia, PA, USA, Awwissu 20–23, 2006. ACM, 2006.
- Geoffrey E. Hinton, et al. “Id-Distillazzjoni tal-Għarfien f’Netwerk Newrali”. Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Rakkomandat għall-Għalliema
Materjali tal-lezzjoni
Struzzjonijiet għall-Għalliema
- Ipprovdi għarfien dwar ix-xejriet u għaliex il-mudelli qed jikbru
- Agħti eżempji u raġunijiet għaliex huwa meħtieġ li jkun hemm mudelli iżgħar
- Ipprovdi ħarsa ġenerali lejn it-tekniki, il-vantaġġi u l-iżvantaġġi tagħhom
- Ipproponi kwiżżijiet pop up
- Ipprova jeħel mal-mejda tal-ħin
- Jekk ikun possibbli agħti aktar ħin lis-sessjoni ta’ mistoqsija u tweġiba jekk ikun meħtieġ
Il-lekċer jista’ jirreferi għal tipi ta’ mudelli, evalwazzjoni tal-mudell, twaħħil tal-mudell u ottimizzazzjoni tal-mudell
Deskrizzjoni fil-qosor
| Tul ta’ żmien | Deskrizzjoni | Kunċetti | Attività |
|---|---|---|---|
| 0–10 minuti | Introduzzjoni għal tekniki għall-kompressjoni mudell: X’inhu, dak li huwa għal, meta u għaliex huwa meħtieġ | Mudell ta’ kompressjoni | Introduzzjoni għall-kunċetti ewlenin |
| 10–20 minuta | Iż-żbir: kunċetti u tekniki. Approċċi ewlenin għaż-żbir | Żbir | Sessjoni mgħallma u eżempji |
| 20–30 minuta | Kwantifikazzjoni: kunċetti u tekniki. Approċċi ewlenin għall-kwantifikazzjoni | Kwantifikazzjoni | Sessjoni mgħallma u eżempji |
| 30–40 minuta | Distillazzjoni tal-għarfien: kunċetti u tekniki. Approċċi ewlenin għad-distillazzjoni tal-għarfien | Distillazzjoni tal-għarfien | Sessjoni mgħallma u eżempji |
| 40–45 min | Konklużjoni, mistoqsijiet u tweġibiet | Sommarju | Konklużjonijiet |
Rikonoxximenti
Kull awtur tas-sorsi msemmija fi ħdan l-islajds.
Il-programm Masters tal-IA Ċentrata mill-Bniedem ġie kofinanzjat mill-Faċilità Nikkollegaw l-Ewropa tal-Unjoni Ewropea Taħt l-Għotja CEF-TC-2020–1 Ħiliet Diġitali 2020-EU-IA-0068.