Как обучить нейронную сеть?

Как обучить нейронную сеть? Что такое Loss, Градиентный Спуск и Backpropagation? Узнайте в этом видео!

Нейронные сети обучаются с помощью метода обучения с учителем (обучение на прецедентах, Supervised Learning). Для обучения нейросети нам понадобится обучающая выборка (набор данных, датасет), состоящая из пар [входной объект, известный правильный ответ].

Неявная задача нейронной сети – научиться обобщать, искать закономерности в данных. В противном случае будет переобучение (overfitting).

У сети есть обучаемые параметры (веса) и гиперпараметры, которые не обучаются (например, количество слоёв, количество нейронов и т. д.).

Введём понятие функция потерь (функция ошибок, Loss функция), которая характеризует то, как сильно нейронная сеть ошибается. Задача обучения – найти такие параметры (веса) нейронной сети, при которых функция ошибок минимальна. Другими словами, необходимо решить задачу оптимизации (минимизации ошибки относительно весов).

Для регрессии можно использовать Mean Squared Error (MSE), а для классификации (где используются распределения вероятностей) – кросс-энтропию (Cross Entropy).

Для поиска минимума функции можно использовать градиентный спуск. В этом методе итерационно вычисляется вектор градиента ошибки (частные производные ошибки по всем параметрам) и корректируются параметры по направлению антиградиента. Коэффициент при антиградиенте называется скорость обучения (Learning Rate).

Для обучения нейронных сетей используется стохастический градиентный спуск (SGD) и его модификации. Ошибка в нём вычисляется не по всей выборке, а по батчу (batch) – небольшой группе обучающих образцов.

Для вычисления градиента (частных производных) используется правило дифференцирования сложной функции (цепное правило, chain rule). При вычислении производной ошибки по весам нейросети мы движемся от ошибки назад (используя chain rule), поэтому такой алгоритм называется Обратное Распространение Ошибки (Backpropagation).

Меня зовут Дмитрий Коробченко, и на моём канале будет много чего интересного, так что подписывайтесь и нажимайте на колокольчик, чтобы ничего не пропустить: https://www.youtube.com/channel/UCh1n4S8xnt6glf3wZb0Rq7w?sub_confirmation=1

#Нейросети #ГлубокоеОбучение #ДмитрийКоробченко #НейронныеСети #МашинноеОбучение #ИскусственныйИнтеллект #ОбучениеНейросетей #ГрадиентныйСпуск #Backpropagation

Видео Как обучить нейронную сеть? канала Дмитрий Коробченко