Adminisztratív információk
| Cím | Előre történő szaporítás |
| Időtartam | 60 |
| Modul | B |
| Lecke típusa | Előadás |
| Fókusz | Technikai – Mély tanulás |
| Téma | Előrehaladott bérlet |
Kulcsszó
Előre passz, veszteség,
Tanulási célok
- Ismerje meg az előremenet folyamatát
- Értsd meg, hogyan lehet kiszámítani az előremeneti előrejelzést, valamint a veszteséget kihúzva
- A Pythonban lévő modulok nélkül (kivéve a Numpy-t) dolgozzon ki egy forward pass-ot.
- Dolgozzon ki egy előre bérletet a Keras segítségével
Várható előkészítés
Az előtt befejezendő tanulási események
Egy sem.
Kötelező a diákok számára
Egy sem.
Választható diákok számára
- Mátrixok szorzata
- Kezdés a Numpy- val
- A lineáris és logisztikai regresszió ismerete (az A időszak gépi tanulásából): Előadás: Lineáris regresszió, GLR-ek, GAD-ok)
Referenciák és háttér a diákok számára
- John D Kelleher és Brain McNamee. (2018), A gépi tanulás alapjai a prediktív adatelemzéshez, MIT Press.
- Michael Nielsen vagyok. (2015), Neural Networks and Deep Learning, 1. Eltökélt sajtó, San Francisco CA USA.
- Charu C. Aggarwal vagyok. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Mély tanulás Keras, Packt, [ISBN: 9781787128422].
Ajánlott tanároknak
Egy sem.
Leckeanyagok
Utasítások tanároknak
Ez az előadás bemutatja a hallgatókat a mesterséges neurális hálózat előreterjedésének alapjaira. Ez bemutatja a diákokat a topológiába (súlyok, szinapszisok, aktiválási funkciók és veszteségfunkciók). A diákok ezután képesek lesznek előrelépni toll és papír használatával, Python használatával csak a Numpy könyvtárral (mátrix manipulációhoz), majd a KERAS-t a LE-hez kapcsolódó bemutató részeként. Ez megalapozza annak alapvető megértését, hogy milyen aktiválási függvények vonatkoznak az adott problémakörnyezetre, és hogyan különböznek az aktiválási funkciók a számítási összetettségben. Az előadásban megvizsgáljuk a külső réteg aktiválási funkcióját és a megfelelő veszteségfüggvényeket olyan felhasználási esetekben, mint a binomiális osztályozás, a regresszió és a többosztályú osztályozás.
- A neurális hálózat áttekintése
- A kifejezések/összetevők meghatározása
- Súlyok és aktiválási funkciók
- Veszteségfüggvények, amelyekhez a probléma kontextusa
- Mátrixok használata előre passzoláshoz
Megjegyzés:
- A Sigmoid használata a külső rétegben és az MSE veszteség funkcióként.
- A kapa korlátaival egy egyedi megközelítést/topológiát/problémakörnyezetet választottak ki. Általában egy előremenet regressziójával (az MSE mint veszteségfüggvény) és a backpropagation (így lineáris aktiválási funkcióval a kimeneti rétegben, ahol ez csökkenti a backpropagation függvény származékának összetettségét), akkor jellemzően egy bináris osztályozási függvényre, a kimeneti rétegben lévő szigmoidra és egy bináris cross-entropy veszteségfüggvényre kerülne. Az időkorlátokkal ez az előadás három különböző példa rejtett aktiválási függvényt fog használni, de regressziós problémakörnyezetet fog használni. A kimeneti rétegben a szigmoid aktiválási függvény komplexitásának hozzáadásához, a két első előadásban használt regressziós probléma, a probléma példa a normalizált célértéken alapul (0–1 a 0–100%) százalékos fokozatú probléma alapján, így a szigmoidot aktiváló funkcióként használják a kimeneti rétegben. Ez a megközelítés lehetővé teszi a diákok számára, hogy könnyen migráljanak a regresszió és a bináris osztályozási problémák között, egyszerűen csak a veszteségfüggvény megváltoztatásával, ha bináris osztályozási probléma merül fel, vagy ha nem normalizált regressziós problémát használnak, a hallgató egyszerűen eltávolítja a külső réteg aktiválási funkciót.
- Az alapkomponensek a magas szintű könyvtár, ebben az esetben a KERAS alkalmazása a TensorFlow 2.X könyvtáron keresztül.
- A toll és a papír opcionális, és csak az előrehaladott passz és a backpropagation származékának és alkalmazásának bemutatására használják (az előadási diák példáit használva).
- A Python kódot magas szintű könyvtárak használata nélkül arra használják, hogy megmutassák, milyen egyszerű egy neurális háló (az előadási diák példáit használva). Ez lehetővé teszi a gyors numerikus/mátrix szorzás megvitatását is, és bemutatja, hogy miért használjuk a GPU-kat/TPU-kat opcionális elemként.
- A Keras és a TensorFlow 2.X minden jövőbeli példához használható.
Vázlat
| Időtartam (min) | Leírás |
|---|---|
| 10 | A neurális hálózati komponensek meghatározása |
| 15 | Súlyok és aktiválási funkciók (Sigmoid, TanH és ReLu) |
| 15 | Veszteségfüggvények (Regresszió, binomiális besorolás és többosztályú aktiválás) |
| 15 | Mátrixok használata az előrehaladott bérlethez |
| 5 | Összefoglaló az előrehaladott bérletről |
Visszaigazolások
A Human-Centered AI Masters programot az Európai Unió Európai Hálózatfinanszírozási Eszköze (CEF-TC-2020–1 Digitális készségek 2020 EU-IA-0068) társfinanszírozta.