Administrativní informace
| Název | Model Komprese – Edge Computing |
| Trvání | 45 minut |
| Modul | C |
| Typ lekce | Přednáška |
| Soustředění | Technické – Budoucí UI |
| Téma | Pokroky v modelech ML prostřednictvím objektivu HC – Studie orientovaná na výsledky |
Klíčová slova
model komprese, prořezávání,kvantizace, znalost destilace,
Vzdělávací cíle
- Porozumět konceptu komprese modelu
- Poskytnout odůvodnění technik prořezávání, kvantifikace a destilace znalostí
- Připravte se na pochopení základních implementací pomocí rámce na vysoké úrovni, jako je TensorFlow
Očekávaná příprava
Vzdělávací akce, které mají být dokončeny před
Povinné pro studenty
- Znalost teorie dohlíženého učení
- Úvod do strojového učení a konceptů hlubokého učení uvedených v předchozích přednáškách
Volitelné pro studenty
- Znalost nejběžnějších hyperparametrů zapojených do procesu budování neuronových sítí
Reference a zázemí pro studenty
- Znalostní destilace – snadná
- Píseň Han, et al. Učení závaží a připojení pro efektivní neuronové sítě. Corr abs/1506.02626. (2015).
- Píseň Han, et al. „Hluboká komprese: Komprese hluboké neuronové sítě s běháním, trénovanou kvantizací a Huffmanovým kódováním." 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, 2.-4. května 2016, Conference Track Sceedings. 2016. Yanzhi Wang, et al. „Non-Structured DNN Weight Pruning – Je to výhodné v jakékoli platformě?“. Corr abs/1907.02124. (2019).
- Cheong a Daniel. „transformers.zip: Kompresní transformátory s vypouštěním a kvantizací"
- Píseň Han, et al. Učení závaží a připojení pro efektivní neuronové sítě. Corr abs/1506.02626. (2015).
- Davis W. Blalock, et al. „What is the State of Neural Network Pruning?.“ Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, USA, 2.-4. března 2020. mlsys.org, 2020.
- https://github.com/kingreza/quantization
- Píseň Han, et al. „Hluboká komprese: Komprese hluboké neuronové sítě s běháním, trénovanou kvantizací a Huffmanovým kódováním." 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, 2.-4. května 2016, Conference Track Sceedings. 2016.
- Zhi Gang Liu, et al. „Learning Low-precision Neural Networks without straight-Through Estimator (STE).“ Sborník z dvacáté osmé mezinárodní společné konference o umělé inteligenci, CAI 2019, Macao, Čína, 10.–16. srpna 2019. ijcai.org, 2019.
- Peiqi Wang, et al. „HitNet: Hybridní ternary opakující se neuronová síť." Postupy v systémech zpracování neuronových informací 31: Výroční konference o systémech zpracování neuronových informací 2018, NeurIPS 2018, 3.-8. prosince 2018, Montréal, Kanada. 2018.
- Cristian Bucila a kol. „Model komprese.“ Sborník dvanácté ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Philadelphia, PA, USA, 20.–23. srpna 2006. ACM, 2006.
- Geoffrey E. Hinton a kol. Přidat štítky pro „Dstilling the Knowledge in a Neuural Network“. Corr abs/1503.02531. (2015).
- https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
- https://www.ttic.edu/dl/dark14.pdf
- https://josehoras.github.io/knowledge-distillation/
Doporučeno pro učitele
Materiály pro výuku
Pokyny pro učitele
- Přehled o trendech a proč se modely rozrůstají
- Uveďte příklady a důvody, proč je nutné mít menší modely
- Poskytnout přehled o technikách, jejich kladech a záporech
- Navrhnout pop up kvízy
- Snažte se držet se časového rozvrhu
- Pokud je to možné, poskytněte v případě potřeby více času na relaci otázek a odpovědí
Přednáška může odkazovat na typy modelů, modelové hodnocení, modelovou montáž a optimalizaci modelu
Obrys
| Trvání | Popis | Koncepty | Aktivity |
|---|---|---|---|
| 0–10 min | Úvod do technik pro kompresi modelu: co to je, k čemu je, kdy a proč je potřeba | Modelová komprese | Úvod do hlavních konceptů |
| 10–20 min | Prořezávání: koncepty a techniky. Hlavní přístupy k prořezávání | Prořezávání | Vyučování a příklady |
| 20–30 min | Kvantifikace: koncepty a techniky. Hlavní přístupy ke kvantifikaci | Kvantování | Vyučování a příklady |
| 30–40 min | Znalostní destilace: koncepty a techniky. Hlavní přístupy k destilaci znalostí | Destilace znalostí | Vyučování a příklady |
| 40–45 min | Závěr, otázky a odpovědi | Shrnutí | Závěry |
Potvrzení
Každý autor zdrojů citovaných v prezentacích.
Program Human-Centered AI Masters byl spolufinancován Nástrojem Evropské unie pro propojení Evropy v rámci grantu CEF-TC-2020–1 Digitální dovednosti 2020-EU-IA-0068.