On Power Laws in Deep Ensembles [in Russian]

Slides: https://bayesgroup.github.io/bmml_sem/2020/Lobacheva_Power%20Laws.pdf
Chat: https://drive.google.com/file/d/157G8h0vltoqz9wuHydg-HD9uErDpqxZm/view?usp=sharing

Ансамбли нейронных сетей широко применяются на практике, особенно для задач, в которых важна устойчивая оценка неопределенности модели. В докладе мы посмотрим как ведет себя качество ансамбля в терминах NLL/CNLL как функция от количества сетей в ансамбле, размера этих сетей и общего числа параметров в модели. Мы увидим, что во многих случаях качество ведет себя как степенной закон, что само по себе любопытно, плюс позволяет предсказывать возможную прибавку в качестве при увеличении моделей. Также мы рассмотрим случай фиксированного бюджета по памяти и поймем как лучше его распределять - брать мало больших сетей или много маленьких - и как это распределение предсказывать для конкретных задач с помощью обнаруженных степенных законов.

Видео On Power Laws in Deep Ensembles [in Russian] канала BayesGroup.ru