Administrativne informacije
| Naslov | Propagiranje prema naprijed |
| Trajanje | 60 |
| Modul | B |
| Vrsta lekcija | Predavanje |
| Fokus | Tehničko – dubinsko učenje |
| Tema | Propusnica prema naprijed |
Ključne riječi
Naprijed prolaz, gubitak,
Ciljevi učenja
- Razumjeti proces naprijed propusnice
- Razumjeti kako izračunati predviđanje unaprijed prolaza, kao i gubitak isključen
- Razviti napredni prolaz bez modula u Pythonu (osim Numpyja)
- Razviti naprijed prolaz pomoću Keras
Očekivana priprema
Edukativni događaji koji će biti završeni prije
Nijedan.
Obvezno za studente
Nijedan.
Neobvezno za studente
- Množenje matrica
- Započnite s Numpyjem
- Poznavanje linearne i logističke regresije (iz razdoblja A strojnog učenja: Predavanje: Linearna regresija, GLR-ovi, GAD-ovi)
Preporuke i pozadina za studente
- John D Kelleher i Brain McNamee. (2018.), Fundamentals of Machine Learning for Predictive Data Analytics (Osnove strojnog učenja za prediktivnu analizu podataka), MIT Press.
- Michael Nielsen. (2015.), Neuralne mreže i duboko učenje, 1. Resorni tisak, San Francisco CA SAD.
- Charu C. Aggarwal. (2018.), Neuralne mreže i duboko učenje, 1. Springer
- Antonio Gulli, Sujit Pal. Dubinsko učenje s Kerasom, Packtom, [ISBN: 9781787128422].
Preporučeno nastavnicima
Nijedan.
Nastavni materijali
Upute za učitelje
Ovo predavanje će upoznati studente s osnovama propagacije prema naprijed za umjetnu neuronsku mrežu. Time će se učenici upoznati s topologijom (težine, sinapse, aktivacijske funkcije i funkcije gubitka). Studenti će tada moći napraviti naprijed prolaz pomoću olovke i papira, koristeći Python samo s Numpy bibliotekom (za manipulaciju matricama), a zatim pomoću KERAS-a kao dijela vodiča povezanog s ovim LE-om. Time će se izgraditi temeljno razumijevanje o tome koje se funkcije aktivacije primjenjuju na specifične problematične kontekste i kako se funkcije aktivacije razlikuju u računskoj složenosti. U predavanju će se ispitati aktivacijska funkcija vanjskog sloja i odgovarajuće funkcije gubitka za slučajeve uporabe kao što su binomska klasifikacija, regresija i višeklasna klasifikacija.
- Pregled neuronske mreže
- Definicija pojmova/sastavnih dijelova
- Utezi i aktivacijske funkcije
- Funkcije gubitka, za koje je problem kontekst
- Korištenje matrica za provođenje naprijed prolaza
Napomena:
- Primjena Sigmoida u vanjskom sloju i MSE-a kao funkcije gubitka.
- S ograničenjima kosine odabran je jedinstveni pristup/topologija/problem kontekst. Tipično, počet će s regresijom za naprijed prolaz (s MSE kao funkcijom gubitka), a za izvođenje backpropagation (stoga ima linearnu funkciju aktivacije u izlaznom sloju, gdje to smanjuje složenost izvedenosti funkcije backpropagacije), Tada bi se obično prebacio na binarnu klasifikacijsku funkciju, sa sigmoidom u izlaznom sloju, i binarnom funkcijom gubitka križne entropije. S vremenskim ograničenjima ovaj skup predavanja koristit će tri različite primjere skrivenih aktivacijskih funkcija, ali će koristiti kontekst problema regresije. Da bi se u izlaznom sloju dodala složenost funkcije aktivacije sigmoida, regresijski problem korišten u dva prva predavanja ovog skupa, primjer problematike temelji se na normaliziranoj ciljnoj vrijednosti (0 – 1 na temelju postotnog razreda problema 0 – 100 %), čime se sigmoid koristi kao aktivacijska funkcija u izlaznom sloju. Ovaj pristup omogućuje studentima da lako migriraju između regresije i binarnih klasifikacijskih problema, jednostavno mijenjajući funkciju gubitka samo ako je binarni klasifikacijski problem ili ako se koristi nenormalizirani regresijski problem, student jednostavno uklanja funkciju aktivacije vanjskog sloja.
- Osnovne komponente su primjena, koristeći biblioteku visoke razine, u ovom slučaju KERAS putem TensorFlow 2.X biblioteke.
- Olovka i papir su neobavezni i koriste se samo za prikazivanje naprijed i backpropagation derivacije i primjene (koristeći primjere iz slajdova predavanja).
- Python kod bez korištenja biblioteka visoke razine koristi se kako bi se pokazalo koliko je jednostavna neuronska mreža (koristeći primjere iz slajdova predavanja). Time se omogućuje i rasprava o brzom umnožavanju brojčanika/matricesa te se navodi zašto upotrebljavamo GPU-ove/TPU-ove kao neobavezni element.
- Keras i TensorFlow 2.X koriste se i koristit će se za sve buduće primjere.
Nacrt
| Trajanje (min) | Opis |
|---|---|
| 10 | Definicija sastavnih dijelova neuronske mreže |
| 15 | Funkcije utega i aktivacije (Sigmoid, TanH i ReLu) |
| 15 | Funkcije gubitka (regresija, binomna klasifikacija i aktivacija više razreda) |
| 15 | Korištenje matrica za prolaz naprijed |
| 5 | Recap na naprijed propusnicu |
Priznanja
Diplomski studij umjetne inteligencije usmjeren na čovjeka sufinanciran je Instrumentom za povezivanje Europe Europske unije u okviru bespovratnih sredstava CEF-TC-2020 – 1 Digital Skills 2020-EU-IA-0068.