Как разбить русский текст на токены | Обработка естественного языка

Библиотеки для токенизации текста на Python

00:00 - Токенизация теста
01:56 - Токенизация с NLTK
03:03 - Токенизация с TensorFlow
05:44 - Токенизация со spaCy

Ссылка на нойтбук из видео – https://colab.research.google.com/drive/1tJktKYeLcgGAhEw6fB-keO1QsI3-49Y4?usp=sharing

Библиотеки для токенизации текста:
- Natural Language Toolkit (NLTK) – https://www.nltk.org/
- TensorFlow Text – https://www.tensorflow.org/text/guide/tokenizers
- spaCy – https://spacy.io

SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing – https://aclanthology.org/D18-2012/

Проект реализуется победителем Конкурса на предоставление грантов преподавателям магистратуры благотворительной программы "Стипендиальная программа Владимира Потанина" Благотворительного фонда Владимира Потанина"

вКонтакте - https://vk.com/avsozykin
telegram - https://t.me/a_sozykin
Мой сайт - https://www.asozykin.ru

Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках - http://www.youtube.com/c/AndreySozykinCS

Видео Как разбить русский текст на токены | Обработка естественного языка канала Andrey Sozykin