Открытая лекция «Как измерять качество ChatGPT и других авторегрессионных языковых моделей?» 31 мая

Мария рассмотрела проблему определения того, что такое «хорошо» и что такое «плохо» в мире ChatGPT, Гигачата и других больших нейросетей типа Трансформер, способных понимать и порождать высказывания на естественном языке. Рассказала про «способности» больших языковых моделей — от математики до этики и здравого смысла — необходимо оценивать, каким образом составляются контрольные задания для оценки и что является мерой качества выполнения этих заданий. Также Мария рассказала о бенчмарке MERA, крупнейшем открытом проекте по автоматической оценке различных русскоязычных LLM, одним из ключевых разработчиков которого она является.

Видео Открытая лекция «Как измерять качество ChatGPT и других авторегрессионных языковых моделей?» 31 мая автора Магистратура ML & BD | ММФ НГУ