Что мы знаем про Transformer в 2020 году / Даниил Гаврилов

VK Lab Talks. 11 марта 2020. ФПМИ, Долгопрудный.

Даниил Гаврилов, разработчик ВКонтакте из Команды исследований, решает множество задач, где для достижения хороших результатов приходится использовать архитектуру Transformer. Однако уже давно ему перестало хватать вычислительных ресурсов для обучения больших моделей. В докладе «Что мы знаем про Transformer в 2020 году» Даниил расскажет, как можно оптимизировать Transformer, чтобы их можно было обучать даже на скромных мощностях.

Больше информации о VK Lab Talks в официальном сообществе VK Lab ВКонтакте: https://vk.com/lab

Видео Что мы знаем про Transformer в 2020 году / Даниил Гаврилов канала Команда ВКонтакте