BPE-токенизация и её улучшения / Антон Земеров
VK Lab Talks · Summer Edition, 1 июля 2021, онлайн.
Студент третьего курса ФПМИ Антон Земеров рассказывает о BPE-токенизации и её улучшениях.
Доклад посвящён state-of-the-art методам поиска оптимального разбиения текста на токены. Антон делится его подробностями: «Сначала рассмотрим классический алгоритм токенизации — Byte Pair Encoding. Затем — его улучшения: BPE-Dropout и Variational BPE-Dropout. Последний был разработан в VK Lab. Этот алгоритм использует вариационные методы и обучение с подкреплением, чтобы оптимально токенизировать текст. В докладе мы разберём сильные и слабые стороны каждого из методов, а также сравним их качество для задачи текстовой классификации».
Следите за нашими новостями в сообществе VK Lab: https://vk.com/lab
Видео BPE-токенизация и её улучшения / Антон Земеров канала Команда ВКонтакте
Студент третьего курса ФПМИ Антон Земеров рассказывает о BPE-токенизации и её улучшениях.
Доклад посвящён state-of-the-art методам поиска оптимального разбиения текста на токены. Антон делится его подробностями: «Сначала рассмотрим классический алгоритм токенизации — Byte Pair Encoding. Затем — его улучшения: BPE-Dropout и Variational BPE-Dropout. Последний был разработан в VK Lab. Этот алгоритм использует вариационные методы и обучение с подкреплением, чтобы оптимально токенизировать текст. В докладе мы разберём сильные и слабые стороны каждого из методов, а также сравним их качество для задачи текстовой классификации».
Следите за нашими новостями в сообществе VK Lab: https://vk.com/lab
Видео BPE-токенизация и её улучшения / Антон Земеров канала Команда ВКонтакте
Показать
Комментарии отсутствуют
Информация о видео
Другие видео канала
![EdCrunch. Ира Шубина об Образовательной платформе ВКонтакте](https://i.ytimg.com/vi/0j4P08U4Bns/default.jpg)
![Как объяснить экономику проекта школьникам // Введение в управление IT-проектами](https://i.ytimg.com/vi/FQlOn6OCM28/default.jpg)
![Управление временем. Часть 2](https://i.ytimg.com/vi/JWpce3-RKqE/default.jpg)
![Команда #1 «Спортивный агрегатор для ментального здоровья бумеров» // Вездекод](https://i.ytimg.com/vi/3RKnf6dhTnI/default.jpg)
![Как сделать универсальную модель для fake recognition? / Станислав Дерека](https://i.ytimg.com/vi/56Z8GOzrf6c/default.jpg)
![Что мы знаем про Transformer в 2020 году / Даниил Гаврилов](https://i.ytimg.com/vi/qGgLJePLleg/default.jpg)
![Что хотят подростки? // Soft skills и детская психология](https://i.ytimg.com/vi/7CfveZ682RE/default.jpg)
![Стоит ли покупать VR-шлем? Обсуждаем Half-Life: Alyx, Beat Saber и другие возможности VR](https://i.ytimg.com/vi/FIr9I8YEktQ/default.jpg)
![VK Welcome Kit](https://i.ytimg.com/vi/JjtvwV7L5rE/default.jpg)
![Ускоряем UI-автотесты на Android и подбираем эффективную конфигурацию под ваши нужды / Иван Левиков](https://i.ytimg.com/vi/Woo_Qr00z7A/default.jpg)
![Универсальные попапы или UIKit против / Антон Спивак](https://i.ytimg.com/vi/jQC_jxtf500/default.jpg)
![Обучение нейросетей // Введение в нейронные сети](https://i.ytimg.com/vi/M2ng0jt6dSY/default.jpg)
![Кирилл Талалаев — «Curriculum Learning в NLP-задачах»](https://i.ytimg.com/vi/JkAoGgpKMWA/default.jpg)
![Хакатон ВКонтакте 2017](https://i.ytimg.com/vi/ECKbV-4C1vU/default.jpg)
![Распространённые проблемы (разбор кейсов) // Soft skills и детская психология](https://i.ytimg.com/vi/nFQdJldnBWw/default.jpg)
![O QA VK / Анастасия Бобелева (Семенюк)](https://i.ytimg.com/vi/VZ_ScN-xzNA/default.jpg)
![Что будет с онлайн-образованием после пандемии, или Что общего у школы и камеры хранения](https://i.ytimg.com/vi/IRxwBm0PJgQ/default.jpg)
![Наш подход к управлению автотестами Android-приложения VK / Николай Шевцов](https://i.ytimg.com/vi/amtbORXVSVY/default.jpg)
![Проектирование и прототипирование / Андрей Ошанин](https://i.ytimg.com/vi/fd7bQyUcnKE/default.jpg)
![Внутренние инструменты: как мы упрощаем себе жизнь и ускоряем тестирование / Даниил Смирнов](https://i.ytimg.com/vi/Fu8hnQntgMU/default.jpg)