Свёрточные нейронные сети: валидационный набор данных, image augmentation, dropout.

⚡⚡⚡ На прошлых занятиях мы изучали точность работы наших свёрточных нейронных сетей используя метрику accuracy на тестовом наборе данных. Когда мы разрабатывали свёрточную нейронную сеть для классификации изображений из набора данных FASHION MNIST, то получили 97% точность на тренировочном наборе данных и всего лишь 92% точность на тестовом наборе данных. Всё это происходило потому, что наша модель переобучалась. Другими словами, наша свёрточная нейронная сеть начинала запоминать тренировочный набор данных. Однако о переобучении мы смогли узнать только после того, как провели обучение и тестирование модели на имеющихся данных сравнив точности работы на обучающем наборе данных и тестовом наборе данных.

Для избежания подобной проблемы мы, достаточно часто, используем набор данных для валидации - валидационный набор данных.

...

Если вам достаточно сильно повезло и у вас имеется большой набор обучающих данных, то можно с уверенностью сказать, что вам повезло и ваша нейронная сеть с малой вероятностью переобучится. Однако, что достаточно часто бывает, нам предстоит работать с ограниченным набором изображений (тренировочных данных), что, в свою очередь, приведёт нашу свёрточную нейронную сеть с большой вероятностью к переобучению и снизит её способность обобщать и выдавать нужный результат на данных, которая она не "видела" ранее.

Эту проблему можно решить воспользовавшись техникой называемой "расширением" (image augmentation). Расширение изображений (данных) работает путём создания (генерации) новых изображений для обучения посредством применения произвольных преобразований исходного набора изображений из обучающей выборки.

Например, мы можем взять одно из исходных изображений из нашего обучающего набора данных и применить к нему несколько произвольных преобразований — перевернуть на Х градусов, отзеркалить по горизонтали и произвести произвольное увеличение.

...

В этой части мы изучим новую технику — отключение (dropout), которая так же поможет нам избежать переобучения модели. Как мы уже знаем из ранних частей нейронная сеть оптимизирует внутренние параметры (веса и смещения) для минимизации функции потерь.

Одна из проблем с которой можно столкнуться во время обучения нейронной сети — огромные значения в одной части нейронной сети и маленькие значение в другой части нейронной сети.

...

Хабр: https://habr.com/ru/post/458170/

Полный курс доступен тут: https://www.youtube.com/playlist?list=PLfdVzZl6HHg9y9l6U5xUjqKS13rWoQPF4

💡 Меня интересуют следующие темы, а значит про них ты здесь и найдёшь больше всего информации:
- Технологии (разработка, программное обеспечение, МЛ, ИИ)
- Дизайн (железный, мобайл)
- Обучение (структура обучения, формат подачи информации, значимое и не значимое в обучении)
- Спорт (мото, ролики, бег, плавание)
- Финансы / экономика
- Переговоры (продажи, холодные звонки)
- Рекрутинг (тесты, прогнозирование, срезы, поиск)

Подписывайся 🎯, смотри еженедельно видео и включайся в обсуждения!

💥Вконтакте: https://vk.com/ashmig
💥Facebook: https://www.facebook.com/yatsukoyin
💥 Telegram: https://t.me/ashmig
💥Email: shmig@ojok.ru

#tensorflow #python #js #javascript #intro #machine #learning #ai #ии #машинное #обучение #глубокое #обучение #andrew #shmig

Видео Свёрточные нейронные сети: валидационный набор данных, image augmentation, dropout. канала Андрей Шмиг