Idea of automatic differentiation. Autograd in Jax, PyTorch. Optimization methods. MSAI @ MIPT.
Комментарии отсутствуют
Информация о видео
Другие видео канала
8. Двойственная задача. Two-way partitioning problem. Проекция на вероятностный симплекс. МФТИ 2023
7. Условия оптимальности. Функция и множители Лагранжа. Теорема Каруша - Куна - Таккера. МФТИ 2023
6. Субградиент. Субдифференциал. Теоремы Моро-Рокафеллара, Дубовицкого-Милютина. МФТИ 2023
5. Сопряженные функции. Преобразование Лежандра. Сопряженная норма. МФТИ 2023
4.1 Выпуклые функции. Неравенство Йенсена. μ-Сильно выпуклые функции. Условие PL. МФТИ 2023
3. Выпуклость. Выпуклые, афинные множества. Выпуклые конусы. Сумма Минковского. МФТИ 2023
2.2 Автоматическое дифференцирование. Forward\Reverse Mode. Вычислительный граф. МФТИ 2023
2.1 Спектр матрицы. SVD. Skeleton.∇ f. Гессиан. Матрично-векторное дифференцирование. МФТИ 2023
1. Базовые понятия линейной алгебры. Векторы. Матрицы. Нормы. Скалярные произведения. МФТИ 2023
Семинар 22. Введение в стохастические градиентные методы. Батч, эпоха. Сходимость SGD. МФТИ 2023.
Семинар 21. Методы адаптивной метрики. Метод сопряженных градиентов, метод Ньютона. МФТИ 2023.
Семинар 20. Методы сопряженных направлений, сопряженных градиентов (меняем нормальность). МФТИ 2023.
Семинар 19. GD с ограничениями. Методы проекции субградиента, Франка - Вульфа, идея MD. МФТИ 2023.
Семинар 17. Сход-ть градиентного спуска. (Сильно) выпуклый случай. Усл. Поляка-Лоясевича. МФТИ 2023.
Семинар 18. Сходимость субградиентного метода. Негладкие задачи. l1 регуляризация. МФТИ 2023.
Семинар 15. Линейный поиск. Дихотомия. Метод золотого сечения. Гольдштейн, Армихо, Вульф. МФТИ 2023.
Семинар 16. Методы 0 порядка. Безградиентные методы. Глобальная\невыпуклая оптимизация. МФТИ 2023.
🛝 Поговорим о градиентном спуске. Лекция. МФТИ. Февраль 2023.
Семинар 14. Введение в итерационные методы оптимизации. Скорости сходимости. МФТИ 2023.
Семинар 13. Симплекс метод. МФТИ 2022.
Семинар 12. Приложения лин. программирования: транспорт, диета, смешение. Двойственность. МФТИ 2022.