Upravne informacije
| Naslov | Širjenje naprej |
| Trajanje | 60 |
| Modul | B |
| Vrsta lekcije | Predavanje |
| Osredotočenost | Tehnično – poglobljeno učenje |
| Tema | Prednja prepustnica |
Ključne besede
Naprej prelaz, Izguba,
Učni cilji
- Razumevanje procesa naprej prepustnice
- Razumeti, kako izračunati napoved naprej prehoda, kot tudi izgubo odklopljeno
- Razvoj naprej prehod z uporabo modulov v Python (razen Numpy)
- Razvoj naprej prelaz z uporabo Keras
Pričakovana priprava
Učenje Dogodki, ki jih je treba dokončati pred
Nobenega.
Obvezno za študente
Nobenega.
Neobvezno za študente
- Množenje matrik
- Začetek z Numpyjem
- Poznavanje linearne in logistične regresije (iz obdobja A strojnega učenja: Predavanje: Linearna regresija, GLR, GAD)
Reference in ozadje za študente
- John D Kelleher in Brain McNamee. (2018), Osnove strojnega učenja za napovedno podatkovno analitiko, MIT Press.
- Michael Nielsen. (2015), Neural Networks and Deep Learning, 1. Odločni tisk, San Francisco CA ZDA.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning, 1. Springer
- Antonio Gulli, Sujit Pal. Globoko učenje s Kerasom, Packt, [ISBN: 9781787128422].
Priporočeno za učitelje
Nobenega.
Gradivo za učne ure
Navodila za učitelje
Predavanje bo učencem predstavilo osnove nadaljnjega širjenja umetne nevronske mreže. To bo študentom predstavilo topologijo (težave, sinapse, aktivacijske funkcije in funkcije izgube). Študenti bodo nato lahko naredili naprej prehod z uporabo peresa in papirja, z uporabo Python s samo Numpy knjižnico (za matrice manipulacije) in nato uporabo KERAS kot del vadnice, povezane s tem LE. To bo ustvarilo temeljno razumevanje, katere funkcije aktiviranja veljajo za specifične problematične kontekste in kako se funkcije aktivacije razlikujejo v računalniški kompleksnosti. V predavanju bomo preučili funkcijo aktivacije zunanjega sloja in ustrezne funkcije izgube za primere uporabe, kot so binomska klasifikacija, regresija in klasifikacija več razredov.
- Pregled nevronske mreže
- Opredelitev pojmov/sestavin
- Uteži in aktivacijske funkcije
- Funkcije izgube, za katere je problemski kontekst
- Uporaba matrik za izvedbo prednjega prehoda
Opomba:
- Uporaba Sigmoida v zunanji plasti in MSE kot funkcije izgube.
- Z omejitvami tina je bil izbran edinstven pristop/topologija/problemski kontekst. Običajno se začne z regresijo za naprej (z MSE kot funkcijo izgube) in za izpeljavo nazaj propagacije (tako da ima linearno aktivacijsko funkcijo v izhodni plasti, kjer to zmanjša kompleksnost izpeljave funkcije backpropagation), nato pa se običajno premakne na binarno klasifikacijsko funkcijo, s sigmoidom v izhodni plasti in binarno funkcijo navzkrižne entropije. S časovnimi omejitvami bo ta niz predavanj uporabil tri različne primere skritih aktivacijskih funkcij, vendar bo uporabil kontekst regresijskega problema. Če želite dodati kompleksnost sigmoidne aktivacijske funkcije v izhodni plasti, regresijsko težavo, uporabljeno v dveh prvih predavanjih tega niza, problemski primer temelji na normalizirani ciljni vrednosti (0–1, ki temelji na odstotku problema 0–100 %), zato se sigmoid uporablja kot aktivacijsko funkcijo v izhodni plasti. Ta pristop omogoča študentom, da enostavno migrirajo med regresijo in binarnimi klasifikacijskimi problemi, tako da preprosto spremenijo funkcijo izgube le, če je problem binarne klasifikacije, ali če se uporablja nenormalizirana regresijska težava, študent preprosto odstrani funkcijo aktivacije zunanjega sloja.
- Ključne komponente so uporaba, z uporabo knjižnice na visoki ravni, v tem primeru KERAS prek knjižnice TensorFlow 2.X.
- Pero in papir sta neobvezna in se uporabljata samo za prikaz izpeljave in uporabe naprej in nazaj (z uporabo primerov iz diapozitivov za predavanje).
- Pythonova koda brez uporabe knjižnic na visoki ravni se uporablja za prikaz, kako preprosta nevronska mreža (z uporabo primerov iz diapozitivov za predavanja). To omogoča tudi razpravo o hitrem množenju številčnih/matrik in predstavimo, zakaj uporabljamo GPU/TPU kot neobvezen element.
- Keras in TensorFlow 2.X se uporabljata za vse prihodnje primere.
Obris
| Trajanje (mini) | Opis |
|---|---|
| 10 | Opredelitev komponent nevronskega omrežja |
| 15 | Uteži in aktivacijske funkcije (Sigmoid, TanH in ReLu) |
| 15 | Funkcije izgube (regresija, binomska klasifikacija in aktivacija več razredov) |
| 15 | Uporaba matrik za prednji prehod |
| 5 | Recap na prednji prelaz |
Priznanja
Program Masters umetne inteligence, ki je bil vključen v človeka, je bil sofinanciran z instrumentom za povezovanje Evrope Evropske unije v okviru nepovratnih sredstev (CEF-TC-2020–1 Digital Skills 2020-EU-IA-0068).