Informații administrative
| Titlu | Derivarea și aplicarea backpropagation |
| Durată | 60 |
| Modulul | B |
| Tipul lecției | Prelegere |
| Focalizare | Tehnică – Învățare profundă |
| Subiect | Derivarea și punerea în aplicare a backpropagation |
Cuvinte cheie
Retropropagare, funcții de activare, divizare,
Obiective de învățare
- Dezvoltarea unei înțelegeri a gradientului și a ratei de învățare
- Derivați backpropagation pentru straturile ascunse și exterioare
- Implimentarea Backpropagation deconectată și conectată utilizând diferite funcții de activare
Pregătirea preconizată
Evenimente de învățare care urmează să fie finalizate înainte
Obligatoriu pentru studenți
- Revizuirea calculului (derivative, derivate parțiale, regula lanțului)
Opțional pentru studenți
Nici unul.
Referințe și context pentru studenți
- John D Kelleher și Brain McNamee. (2018), Fundamentals of Machine Learning for Predictive Data Analytics, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning (Rețele neuronale și învățare profundă), 1. Presa de determinare, San Francisco CA SUA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning (Rețele neuronale și învățare profundă), 1. Springer
- Antonio Gulli, Sujit Pal. Deep Learning cu Keras, Packt, [ISBN: 9781787128422].
Recomandat pentru profesori
Nici unul.
Materiale de lecție
Instrucțiuni pentru profesori
Această prelegere va introduce studenții la fundamentele algoritmului backpropagation. Această prelegere va începe cu noțiunea de blestem al dimensionalității care va duce la necesitatea unei abordări euristice – urmată de o prezentare generală a modului în care gradientul poate fi folosit pentru a ajusta greutățile. Acest lucru introduce apoi algoritmul backpropagation. Apoi introducem, de asemenea, hiperparametrul ratei de învățare și o scurtă vedere asupra impactului valorilor mari și mici (acest lucru va fi extins în Lectura 3). Apoi, folosind aceeași rețea introductivă din Lecture 1, obținem formula de backpropagare a stratului exterior, și apoi, în cele din urmă, vom deriva algoritmul de backpropagare a stratului interior. Această prelegere se încheie cu exemple de diferite funcții de activare și cum poate fi aplicat algoritmul. Tutorialul corespunzător va include derivații suplimentare de stilou și hârtie, exemple practice și utilizarea codului (doar Numpy și KERAS) pentru a implementa algoritmul de backpropagation.
- Conceptul inițial de selecție a greutății forței brute și blestemul dimensionalității
- Introducere în gradient și modul în care aceasta abordează problema ajustărilor iterative, euristice ale greutății
- De ce este necesară rata de învățare și impactul alegerii valorilor mici și mari
- Derivarea gradientului (prin urmare algoritmul backpropagation) pentru stratul de ieșire cu Sigmoid ca funcție de activare exterioară
- Derivarea gradientului (prin urmare algoritmul backpropagation) pentru stratul de ascundere cu Sigmoid ca funcție de activare exterioară
- Prezentarea formulei finale de backpropagation
- Utilizarea diferitelor funcții de activare (Outer Layer: Liniar, sigmoid și Softmax; Strat ascuns: ReLU, sigmoid și TanH) în algoritmul backpropagation
Contur
| Durată (min) | Descriere |
|---|---|
| 5 | Introducere în învățare, gradient și rata de învățare |
| 20 | Derivarea algoritmului backpropagation pentru stratul exterior (Sigmoid) |
| 20 | Derivarea algoritmului backpropagation pentru stratul ascuns (Sigmoid) |
| 10 | Implementarea algoritmului de backpropagation și utilizarea diferitelor funcții de activare pentru fiecare strat |
| 5 | Recapitularea algoritmului backpropagation |
Confirmări
Programul de masterat AI centrat pe om a fost cofinantat de Mecanismul pentru interconectarea Europei al Uniunii Europene sub Grantul CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.