Adminisztratív információk
| Cím | A backpropagation levezetése és alkalmazása |
| Időtartam | 60 |
| Modul | B |
| Lecke típusa | Előadás |
| Fókusz | Technikai – Mély tanulás |
| Téma | A backpropagation levezetése és végrehajtása |
Kulcsszó
Backpropagation, aktiválási funkciók, dieiváció,
Tanulási célok
- A gradiens és a tanulási arány megértésének fejlesztése
- A rejtett és külső rétegek backpropagation-jének levezetése
- Implimenting Backpropagation kihúzva és csatlakoztatva különböző aktiválási funkciókkal
Várható előkészítés
Az előtt befejezendő tanulási események
Kötelező a diákok számára
- Kalkulus revízió (származékok, részleges derivatívák, láncszabály)
Választható diákok számára
Egy sem.
Referenciák és háttér a diákok számára
- John D Kelleher és Brain McNamee. (2018), A gépi tanulás alapjai a prediktív adatelemzéshez, MIT Press.
- Michael Nielsen vagyok. (2015), Neural Networks and Deep Learning, 1. Eltökélt sajtó, San Francisco CA USA.
- Charu C. Aggarwal vagyok. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Mély tanulás Keras, Packt, [ISBN: 9781787128422].
Ajánlott tanároknak
Egy sem.
Leckeanyagok
Utasítások tanároknak
Ez az előadás bemutatja a hallgatóknak a backpropagation algoritmus alapjait. Ez az előadás a dimenzionalitás átka fogalmával kezdődik, amely heurisztikus megközelítés szükségességéhez vezet – majd áttekintést ad arról, hogy a gradiens hogyan használható a súlyok beállítására. Ezután bevezeti a backpropagation algoritmust. Ezután bemutatjuk a tanulási arány hiperparaméterét és egy rövid áttekintést a nagy és kis értékek hatásáról (ez a 3. előadásban bővül). Ezután ugyanazt a bevezető hálózatot használjuk az 1. előadásból, levezetjük a külső réteg backpropagation formuláját, és végül levezetjük a belső réteg backpropagation algoritmust. Ez az előadás a különböző aktiválási funkciók példáival és az algoritmus alkalmazásával zárul. A megfelelő oktatóanyag tartalmaz további toll- és papírszármazékokat, gyakorlati példákat és a kód (csak Numpy és a KERAS) használatát a backpropagation algoritmus végrehajtásához.
- A nyers erősúly kiválasztásának kezdeti koncepciója és a dimenziósság átka
- Bevezetés a gradiensbe és ez hogyan kezeli az iteratív, heurisztikus súlymódosítások problémáját
- Miért van szükség a tanulási arányra és a kis és nagy értékek kiválasztásának hatásaira
- A kimeneti réteg gradiensének (így a backpropagation algoritmusnak) a Sigmoid mint külső aktiválási funkcióval rendelkező kimeneti rétegének levezetése
- A rejtett réteg gradiensének (így a backpropagation algoritmusnak) a Sigmoid mint külső aktiválási funkcióval rendelkező rétegének levezetése
- A végső backpropagation formula bemutatása
- Különböző aktiválási funkciók használata (Outer Layer: Lineáris, Sigmoid és Softmax; Rejtett réteg: ReLU, szigmoid és TanH) a backpropagation algoritmusban
Vázlat
| Időtartam (min) | Leírás |
|---|---|
| 5 | Bevezetés a tanulási, gradiens és tanulási arányba |
| 20 | A backpropagation algoritmus levezetése a külső rétegre (Sigmoid) |
| 20 | A rejtett réteg backpropagation algoritmusának levezetése (Szigmoid) |
| 10 | A backpropagation algoritmus megvalósítása és különböző aktiválási funkciók használata minden rétegnél |
| 5 | Összefoglaló a backpropagation algoritmusról |
Visszaigazolások
A Human-Centered AI Masters programot az Európai Unió Európai Hálózatfinanszírozási Eszköze (CEF-TC-2020–1 Digitális készségek 2020 EU-IA-0068) társfinanszírozta.