Administrativne informacije
| Naslov | Izvođenje i primjena backpropagacije |
| Trajanje | 60 |
| Modul | B |
| Vrsta lekcija | Predavanje |
| Fokus | Tehničko – dubinsko učenje |
| Tema | Izvođenje i provedba backpropagacije |
Ključne riječi
Backpropagation, aktivacijske funkcije, dieivacija,
Ciljevi učenja
- Razviti razumijevanje gradijenta i stope učenja
- Izvucite backpropagation za skrivene i vanjske slojeve
- Implimentiranje Backpropagation isključeno i priključeno pomoću različitih aktivacijskih funkcija
Očekivana priprema
Edukativni događaji koji će biti završeni prije
Obvezno za studente
- Revizija izračuna (izvedenice, djelomične izvedenice, pravilo lanca)
Neobvezno za studente
Nijedan.
Preporuke i pozadina za studente
- John D Kelleher i Brain McNamee. (2018.), Fundamentals of Machine Learning for Predictive Data Analytics (Osnove strojnog učenja za prediktivnu analizu podataka), MIT Press.
- Michael Nielsen. (2015.), Neuralne mreže i duboko učenje, 1. Resorni tisak, San Francisco CA SAD.
- Charu C. Aggarwal. (2018.), Neuralne mreže i duboko učenje, 1. Springer
- Antonio Gulli, Sujit Pal. Dubinsko učenje s Kerasom, Packtom, [ISBN: 9781787128422].
Preporučeno nastavnicima
Nijedan.
Nastavni materijali
Upute za učitelje
Ovo predavanje će upoznati studente s osnovama algoritma backpropagacije. Ovo predavanje započet će s idejom kletve dimenzionalnosti koja dovodi do potrebe heurističkog pristupa – nakon čega slijedi pregled načina na koji se gradijent može koristiti za prilagodbu utega. Time se uvodi algoritam za backpropagation. Zatim uvodimo i hiperparametar stope učenja i kratak pogled na utjecaj velikih i malih vrijednosti (to će biti prošireno na 3. predavanje). Zatim koristeći istu uvodnu mrežu iz Predavanja 1, izvodimo formulu za pozadinsku propagaciju vanjskog sloja, a zatim ćemo konačno izvući algoritam unutarnjeg sloja backpropagation. Ovo predavanje završava primjerima različitih aktivacijskih funkcija i kako se algoritam može primijeniti. Odgovarajući vodič će uključivati dodatne izvedenice olovke i papira, praktične primjere i korištenje koda (samo Numpy i KERAS) za implementaciju algoritma backpropagation.
- Početni koncept odabira grube sile i prokletstvo dimenzionalnosti
- Uvod u gradijent i kako se to bavi problemom iterativnih, heurističkih prilagodbi težine
- Zašto je potrebna stopa učenja i utjecaj odabira malih i velikih vrijednosti
- Izvođenje gradijenta (tada algoritam pozadinske propagacije) za izlazni sloj sa Sigmoidom kao vanjskom aktivacijskom funkcijom
- Izvođenje gradijenta (tada algoritam za pozadinsku propagaciju) za skriveni sloj sa Sigmoidom kao vanjskom aktivacijskom funkcijom
- Predstavljanje konačne formule za nazadnu propagaciju
- Korištenje različitih aktivacijskih funkcija (vanjski sloj: Linearni, sigmoidni i Softmax; Skriveni sloj: ReLU, sigmoid i TanH) u algoritmu backpropagation
Nacrt
| Trajanje (min) | Opis |
|---|---|
| 5 | Uvod u učenje, gradijent i stopu učenja |
| 20 | Izvođenje algoritma pozadinske propagacije za vanjski sloj (Sigmoid) |
| 20 | Izvođenje algoritma backpropagacije za skriveni sloj (Sigmoid) |
| 10 | Implementacija algoritma backpropagacije i korištenje različitih aktivacijskih funkcija za svaki sloj |
| 5 | Recap na backpropagation algoritam |
Priznanja
Diplomski studij umjetne inteligencije usmjeren na čovjeka sufinanciran je Instrumentom za povezivanje Europe Europske unije u okviru bespovratnih sredstava CEF-TC-2020 – 1 Digital Skills 2020-EU-IA-0068.