[tato stránka na wiki][index][EN][BG][CS][DA][DE][EL][ES][ET][FI][FR][GA][HR][HU][IT][MT][NL][PL][PT][RO][SK][SL][SV]

Přednáška: Model Komprese – Edge Computing

Administrativní informace

Název Model Komprese – Edge Computing
Trvání 45 minut
Modul C
Typ lekce Přednáška
Soustředění Technické – Budoucí UI
Téma Pokroky v modelech ML prostřednictvím objektivu HC – Studie orientovaná na výsledky

Klíčová slova

model komprese, prořezávání,kvantizace, znalost destilace,

Vzdělávací cíle

Očekávaná příprava

Vzdělávací akce, které mají být dokončeny před

Povinné pro studenty

  • Znalost teorie dohlíženého učení
  • Úvod do strojového učení a konceptů hlubokého učení uvedených v předchozích přednáškách

Volitelné pro studenty

  • Znalost nejběžnějších hyperparametrů zapojených do procesu budování neuronových sítí

Reference a zázemí pro studenty

  • Znalostní destilace – snadná
  • Píseň Han, et al. Učení závaží a připojení pro efektivní neuronové sítě. Corr abs/1506.02626. (2015).
  • Píseň Han, et al. „Hluboká komprese: Komprese hluboké neuronové sítě s běháním, trénovanou kvantizací a Huffmanovým kódováním." 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, 2.-4. května 2016, Conference Track Sceedings. 2016. Yanzhi Wang, et al. „Non-Structured DNN Weight Pruning – Je to výhodné v jakékoli platformě?“. Corr abs/1907.02124. (2019).
  • Cheong a Daniel. „transformers.zip: Kompresní transformátory s vypouštěním a kvantizací"
  • Píseň Han, et al. Učení závaží a připojení pro efektivní neuronové sítě. Corr abs/1506.02626. (2015).
  • Davis W. Blalock, et al. „What is the State of Neural Network Pruning?.“ Proceedings of Machine Learning and Systems 2020, MLSys 2020, Austin, TX, USA, 2.-4. března 2020. mlsys.org, 2020.
  • https://github.com/kingreza/quantization
  • Píseň Han, et al. „Hluboká komprese: Komprese hluboké neuronové sítě s běháním, trénovanou kvantizací a Huffmanovým kódováním." 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, 2.-4. května 2016, Conference Track Sceedings. 2016.
  • Zhi Gang Liu, et al. „Learning Low-precision Neural Networks without straight-Through Estimator (STE).“ Sborník z dvacáté osmé mezinárodní společné konference o umělé inteligenci, CAI 2019, Macao, Čína, 10.–16. srpna 2019. ijcai.org, 2019.
  • Peiqi Wang, et al. „HitNet: Hybridní ternary opakující se neuronová síť." Postupy v systémech zpracování neuronových informací 31: Výroční konference o systémech zpracování neuronových informací 2018, NeurIPS 2018, 3.-8. prosince 2018, Montréal, Kanada. 2018.
  • Cristian Bucila a kol. „Model komprese.“ Sborník dvanácté ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Philadelphia, PA, USA, 20.–23. srpna 2006. ACM, 2006.
  • Geoffrey E. Hinton a kol. Přidat štítky pro „Dstilling the Knowledge in a Neuural Network“. Corr abs/1503.02531. (2015).
  • https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
  • https://www.ttic.edu/dl/dark14.pdf
  • https://josehoras.github.io/knowledge-distillation/

Doporučeno pro učitele

Materiály pro výuku

Pokyny pro učitele

Přednáška může odkazovat na typy modelů, modelové hodnocení, modelovou montáž a optimalizaci modelu

Obrys

Trvání Popis Koncepty Aktivity
0–10 min Úvod do technik pro kompresi modelu: co to je, k čemu je, kdy a proč je potřeba Modelová komprese Úvod do hlavních konceptů
10–20 min Prořezávání: koncepty a techniky. Hlavní přístupy k prořezávání Prořezávání Vyučování a příklady
20–30 min Kvantifikace: koncepty a techniky. Hlavní přístupy ke kvantifikaci Kvantování Vyučování a příklady
30–40 min Znalostní destilace: koncepty a techniky. Hlavní přístupy k destilaci znalostí Destilace znalostí Vyučování a příklady
40–45 min Závěr, otázky a odpovědi Shrnutí Závěry

Potvrzení

Každý autor zdrojů citovaných v prezentacích.

Program Human-Centered AI Masters byl spolufinancován Nástrojem Evropské unie pro propojení Evropy v rámci grantu CEF-TC-2020–1 Digitální dovednosti 2020-EU-IA-0068.