LLM Inside: выжимаем максимум из decoder attention на GPU / Андрей Шукшов

На конференции «Я про бэкенд» Андрей Шукшов, старший разработчик в команде оптимизаций инференса Яндекс R&D, рассказал, как выжать максимум из decoder attention на GPU. Он разобрал архитектуру современных графических процессоров и объяснил, как добиться максимальной производительности при реализации ключевого примитива LLM: механизма внимания в декодере.

Доклад будет особенно полезен разработчикам, которые уже работали с CUDA и хотят глубже понять устройство GPU и внутренние процессы больших языковых моделей.

Больше полезных материалов про бэкенд: https://t.me/+aN8Rc-4YJtVlZWZi
#япробэкенд #яндекс #backend #бэкенд #архитектура #highload #инфраструктура #ml #ai #llm #yandextech #разработка #инженерия #devops #ydb #автотранспорт #алиса #рекомендации

Видео LLM Inside: выжимаем максимум из decoder attention на GPU / Андрей Шукшов канала Yandex for Backend