#ЦМФ #Нейронные_сети from 0 to HERO | Поражение Каспарова | Разоблачение Перцептрона | Магия DNN

Илья Езепов, Data Scientist и Software Engineer в Google, преподаватель и выпускник ЦМФ — лекция по нейронным сетям на программе «Количественная аналитика» ЦМФ (2016 год)

Лекция Ильи не стала менее интересной, несмотря на то, что с момента выступления (в марте 2016 года) многое изменилось и стало неактуально, как говорилось в фильме 1939 года: ‘it is no more than a dream remembered, a Civilization gone with the wind...’

0:35 План лекции
1:36 Белые начинают и выигрывают! (Deep Blue - Гарри Каспаров*)
2:50 Как машины победили людей в настольные игры (шашки, шахматы, го)
4:33 DeepMind (за 2 дня до победы AlphaGo в го над Ли Седолом **)
5:30 Как машины победили людей: 1. Линейные модели
6:46 Типы задач машинного обучения: регрессия, как метод классификации (сигмойд), детектирования и ранжирования
8:58 Как тренировать модель
10:01 Функции потерь
11:05 МНК
11:40 500 миллионов наблюдений и 130 миллионов фичей
12:20 Градиентный спуск
15:56 Стохастический градиентный спуск
20:42 XOR problem
21:35 Перцептрон
24:30 ReLU
25:30 Как тренировать перцептрон: сложная производная (но не очень сложная)
27:45 Теорема Розенблата: перцептрон может решить любую задачу классификации
30:28 Разоблачение перцептрона!
32:25 Распознование лица
33:33 Как тренировать несколько слоёв
34:26 Цепное правило (дифференцирования сложной функции)
37:35 Современная визуализация слоёв нейронных сетей
39:16 Эминем не боится выпуклых функций (Ян Лекун: почему много слоёв — хорошо)
43:05 Deep Learning: причём здесь видео игры (hint: GPU)
46:46 Тщетные попытки улучшить ReLU
47:47 Когда сигмойд лучше ReLU
50:25 Распознавание образов: как человек распознаёт образы (тестируем на студентах)
52:28 Запоминание пикселей
56:01 Свёртка!
1:08:03 Сокращение размерности свёрток: пулинг
1:13:03 Типичная DNN
1:18:50 Свёртка 1x1
1:22:00 Мнемоническое правило для обучения нейронных сетей (кошки!)
1:23:20 Как бороться с переобучением
1:24:28 Dropout — самое красивое, что было в нейронных сетях в 2016 году
1:27:40 Связка бананов свисает с потолка
1:29:29 Как улучшить SGD
1:33:25 Нейронки — это Лего
1:34:00 Когда использовать нейронные сети
1:35:35 Как дальше изучать нейронки (в 2016 году)

Подкаст с Ильёй: https://www.youtube.com/watch?v=xZpgScLakE8

Лекция Ильи по Big Data: https://www.youtube.com/watch?v=izw5HMhVoVA

* 20 лет спустя Гарри Кимович вспоминает эту партию с Deep Blue, как 1 из 4 наиболее запомнившихся в его карьере (4:30):
https://www.youtube.com/watch?v=6vYJyOGKCHE

** Фильм Deep Mind об AlphaGo и матче с Ли Седолом:
https://www.youtube.com/watch?v=WXuK6gekU1Y

Студенческие проекты ЦМФ 2021:
https://www.youtube.com/playlist?list=PLBMgVdAlqlwypXtAJZ4bjnny72KPcFstc

Регистрация на программы «Количественная аналитика», «Анализ данных» и «Web3: DeFi & NFT-разработка»:
https://vk.com/@cmf_russia-cmf-2022

#Нейронныйсети #нейронки #DeepMind
#Шахматы #Каспаров #Гарри_Каспаров #Kasparov #Garry_Kasparov #Го
#BIGDATA #BIG_DATA #бигдата #биг_дата #Большие_данные #дата_центр #Хранение_данных #Amazon #Yandex #Google #Амазон #Яндекс #Гугл #MapReduce #Map #Reduce #3V #Вопросы_на_собеседованиях #WordCount #TenzorFlow #нейронные_сети #корреляции #Volume #Variety #Velocity
#DeepMind #Yandex #Google #Dropout #Дропаут #Сигмойд #DNN
#XOR_problem
#Перцептрон
#ReLU

#Центр_математических_финансов #ЦМФ #Финансовая_эконометрика #Финансовая_математика #Случайные_процессы #Количественная_аналитика #Data_Science #Анализ_данных #1_уровень #2_уровень #проекты #Риск_менеджмент #Финансовая_аналитика #Факультет_информатики #Факультет_финансов #УNVRSTY #YNVRSTY

Видео #ЦМФ #Нейронные_сети from 0 to HERO | Поражение Каспарова | Разоблачение Перцептрона | Магия DNN канала CMF