Урок: Извличане и прилагане на обратно размножаване

Административна информация

Ключови думи

Обратно размножаване, функции за активиране, отклонение,

Учебни цели

• Разработване на разбиране за градиент и степен на учене
• Извличане на обратно размножаване за скрити и външни слоеве
• Имплициране на обратно размножаване изключен и включен с помощта на различни функции за активиране

Очаквана подготовка

Материали за уроци

• Проблем 1 (Изображение)
• Проблем 2 и проблем 3 (HTML)
• Проблем 2 и проблем 3 (.ipynb)

Инструкции за учители

• Този урок ще запознае студентите с основите на алгоритъма за обучение на обратно размножаване за изкуствена невронна мрежа. Този урок ще се състои от извличането на алгоритъма за обратно размножаване с помощта на писалка и хартия, след това прилагането на алгоритъма за обратно размножаване за три различни скрити функции за активиране на слоя (Sigmoid, Tan H и ReLu), използвайки Python само с библиотеката Numpy (за матрици матрици) и след това с помощта на KERAS. Това ще се основава на фундаменталното разбиране на различните функции за активиране, когато невронната мрежа научи и как функциите за активиране се различават в изчислителната сложност и приложението от писалка и хартия, до код от нулата с помощта на Numpy и след това с помощта на модул от високо ниво -> Keras.
• Бележка: Топологията е същата като Лекция 1/Туториален 1, но теглата и входовете са различни, разбира се, можете да използвате едни и същи тежести.
• Студентите ще бъдат представени с четири проблема (първият е по избор или като допълнителен материал):
  • Проблем 1: Извличането на алгоритъма за обратно размножаване (използвайки функцията Sigmoid за вътрешните и външните функции за активиране и MSE като функция за загуба), учениците ще бъдат помолени да извлекат формулата за обратно размножаване (20 минути до завършване).
  • Проблем 2: Студентите ще прилагат три функции за активиране за една актуализация на теглото (SGD обратно размножаване), като използват писалка и хартия за (20 минути):
    • Сигмоид (скрит слой), сигмоид (външен слой) и MSE
    • Tan H (скрит слой), Sigmoid (външен слой) и MSE
    • ReLU (скрит слой), Sigmoid (външен слой) и MSE
  • Проблем 3: Студентите ще бъдат помолени (с насоки в зависимост от предишния опит за кодиране) да разработят невронна мрежа от нулата, като използват само модула Numpy, и функциите за тежести и активиране, където е предвидена опцията за избор от която и да е скрита функция за активиране на слой, за да се актуализират тежестите с помощта на SGD (20 минути за завършване).
  • Проблем 4: Студентите ще бъдат помолени (с насоки в зависимост от предишния опит за кодиране) да разработят невронна мрежа, използвайки модула Tensorflow 2.X с вградения модул Keras и тежестите и функциите за активиране, а след това да използват случайни тежести, за да завършат една или няколко актуализации на теглото. Моля, не тъй като Keras използва малко по-различна загуба на MSE, загубата намалява по-бързо в примера на Keras.
    • Keras MSE = загуба = квадрат(y_true — y_pred)
    • Урок MSE = загуба = (квадратна(y_true — y_pred))*0.5
• Подцелите за тези три проблема, е да накарат учениците да разберат алгоритъма за обратно размножаване, да го приложат така, че за настройка на хиперметъра учениците да могат по-добре да разберат ефектите на хиперпараметъра.

Очертаване

Потвърждения

Магистърската програма по ИИ, насочена към човека, беше съфинансирана от Механизма за свързване на Европа на Европейския съюз под формата на безвъзмездни средства № CEF-TC-2020—1 Digital Skills 2020-EU-IA-0068.

Учебен план на SURF

Страница на Wikiwijs