Adminisztratív információk
| Cím | A backpropagation levezetése és alkalmazása |
| Időtartam | 60 |
| Modul | B |
| Lecke típusa | Bemutató |
| Fókusz | Technikai – Mély tanulás |
| Téma | A backpropagation levezetése és végrehajtása |
Kulcsszó
Backpropagation, aktiválási funkciók, eltérés,
Tanulási célok
- A gradiens és a tanulási arány megértésének fejlesztése
- A rejtett és külső rétegek backpropagation-jének levezetése
- Implimenting Backpropagation kihúzva és csatlakoztatva különböző aktiválási funkciókkal
Várható előkészítés
Az előtt befejezendő tanulási események
Kötelező a diákok számára
- Kalkulus revízió (származékok, részleges derivatívák, láncszabály)
Választható diákok számára
Egy sem.
Referenciák és háttér a diákok számára
- John D Kelleher és Brain McNamee. (2018), A gépi tanulás alapjai a prediktív adatelemzéshez, MIT Press.
- Michael Nielsen vagyok. (2015), Neural Networks and Deep Learning, 1. Eltökélt sajtó, San Francisco CA USA.
- Charu C. Aggarwal vagyok. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Mély tanulás Keras, Packt, [ISBN: 9781787128422].
Ajánlott tanároknak
Egy sem.
Utasítások tanároknak
- Ez a bemutató bemutatja a hallgatókat a mesterséges neurális hálózat backpropagation tanulási algoritmusának alapjaihoz. Ez a bemutató áll a derivation a backpropagation algoritmus segítségével toll és papír, majd az alkalmazása a backpropagation algoritmus három különböző rejtett réteg aktiválási funkciók (Sigmoid, Tan H és ReLu), Python csak a Numpy könyvtár (mátrix manipuláció), majd a KERAS.. Ez a változó aktiválási funkciók alapvető megértésére épül, amikor egy neurális hálózat megtanulja, és hogyan különböznek az aktiválási funkciók a számítási összetettségben és az alkalmazásban a tolltól és a papírtól, a kódolás a semmitől a Numpy használatával, majd egy magas szintű modul használatával -> Keras.
- Megjegyzés: A topológia ugyanaz, mint a Lecture 1/Tutorial 1, de a súlyok és bemenetek eltérőek, természetesen ugyanazokat a súlyokat használhatja.
- A hallgatók négy problémával kerülnek bemutatásra (az első opcionális vagy kiegészítő anyagként):
- Probléma: A backpropagation algoritmus (a Sigmoid függvény használata a belső és a külső aktiválási funkciók és az MSE mint veszteség függvény) levezetése a backpropagation formula (a 20 perc befejezéséig).
- Probléma: A diákok három aktiválási funkciót alkalmaznak egyetlen súlyfrissítéshez (SGD backpropagation), toll és papír használatával (20 perc):
- Szigmoid (Rejtett réteg), Sigmoid (külső réteg) és MSE
- Tan H (Rejtett réteg), szigmoid (külső réteg) és MSE
- ReLU (Rejtett réteg), szigmoid (külső réteg) és MSE
- Probléma: A hallgatókat felkérik (az előzetes kódolási tapasztalattól függő útmutatással), hogy csak a Numpy modul használatával fejlesszenek ki egy neurális hálózatot a semmiből, és a súlyokat és az aktiválási funkciókat, ahol az egyetlen rejtett réteg aktiválási funkció közül választhatnak, hogy frissítsék a súlyokat az SGD segítségével (20 perc a befejezésig).
- Probléma: A hallgatók felkérést kapnak (az előzetes kódolási tapasztalattól függően) egy neurális hálózat fejlesztésére a Tensorflow 2.X modul segítségével az inbuild Keras modullal, valamint a súlyok és aktiválási funkciókkal, majd véletlenszerű súlyokkal egy vagy több súlyfrissítés befejezéséhez. Kérjük, ne, mivel a Keras kissé eltérő MSE veszteséget használ, a veszteség gyorsabban csökken a Keras példában.
- Keras MSE = veszteség = négyzet(y_true – y_pred)
- Bemutató MSE = veszteség = (négyzet(y_true – y_pred))*0.5
- Ennek a három problémának az alcéljai az, hogy a diákok megértsék a backpropagation algoritmust, alkalmazzák, hogy a hiperméter tuningnál a diákok jobban megértsék a hiperparaméter hatásait.
Vázlat
| Időtartam (min) | Leírás |
|---|---|
| 20 (opcionális) | Probléma: a backpropagation formula levezetése a belső és a külső aktiválási funkciók Sigmoid függvényével és az MSE veszteségfüggvényként (opcionális) |
| 20 | Probléma: A diákok három aktiválási funkciót alkalmaznak egyetlen súlyfrissítéshez (SGD backpropagation), toll és papír használatával (20 perc): |
| 20 | Probléma: A diákok egy neurális hálózatot fejlesztenek ki a semmiből, csak a Numpy modul használatával, ahol a felhasználó választhat a három rejtett réteg aktiválási funkció közül, ahol a kód előformálhatja a backpropagation-t |
| 10 | Probléma: A diákok a Tensorflow 2.X modult használják az inbuild Keras modullal, az SGD-vel történő előform backpropagation segítségével. |
| 10 | Összefoglaló az előrehaladási folyamatról |
Visszaigazolások
A Human-Centered AI Masters programot az Európai Unió Európai Hálózatfinanszírozási Eszköze (CEF-TC-2020–1 Digitális készségek 2020 EU-IA-0068) társfinanszírozta.