Токенизация данных: зачем и как?

29 августа в 12:00 по МСК Владимир Крылов, доктор технических наук и научный консультант по применению ИИ в разработке ПО, рассказал о важной ступени конвейера обработки данных в генеративных предобученных трансформерных моделях – преобразования последовательности входных данных в последовательность токенов. Вы узнаете: - что такое токены; - как работает токенизатор; - почему входной поток данных трансформера перед эмбеддингом представляют токенами, а не символами или словами; - как конструируются токены в больших мультимодальных моделях, работающих с изображениями и аудиопотоками. Если вы хотите работать в ИТ и в Artezio, отправляйте своё резюме по ссылке https://artezio.ru/openings Подписывайтесь на телеграм-канал AI4Dev: https://t.me/LLM4dev 00:00 Введение 00:52 Лекция 56:40 Вопросы

Видео Токенизация данных: зачем и как? автора AI4Dev — AI for development /Artezio