Как работает оптимизатор Adam в глубоком обучении?

По шагам рассматривается принцип работы оптимизатора Adam в нейронных сетях. Используется фреймворк PyTorch, но TensorFlow и Keras используют похожую формулу. Важно понять две составляющие Adam:
1) Предыдущие и текущие градиенты взвешиваются.
2) Для каждого параметра используется свой коэффициент обучения, который уменьшается с каждым вызовом оптимизатора.
Принцип работы оптимизатора Adam простой и вы без труда поймете как он работает.

Видео Как работает оптимизатор Adam в глубоком обучении? канала andreiliphd