Autoformer and Autoregressive Denoising Diffusion Models for Time Series Forecasting [in Russian]

Презентация: https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml_sem/2022/Gushchin_Autoformer%20and%20Autoregressive%20Denoising%20Diffusion%20Models%20for%20Time%20Series%20Forecasting.pdf
Докладчик: Никита Гущин, ШАД, МГУ им. М.В. Ломоносова

В докладе представлен разбор двух статей посвящённых предсказанию временных рядов. В "Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting" (NeurIPS 2021) упор делается на использование зарекомендовавших себя трансформеров для предсказания временных рядов на как можно большее число шагов вперёд, для чего авторы предложили новый эффективный (не квадратичный по асимптотике) вариант на замену self-attention блоку и использование разложения временного ряда на тренд и сезонность внутри декодера. В "Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting" (ICML 2021), основной мотиваций является получение модели для вероятностного предсказания многомерных временных рядов, для того чтобы иметь возможность оценить неопределённость получаемых предсказаний. Авторы предлагают это сделать путём обуславливания диффузионной модели на hidden state рекуррентной нейронной сети.

Видео Autoformer and Autoregressive Denoising Diffusion Models for Time Series Forecasting [in Russian] канала BayesGroup.ru