LLM-РОУТЕР убивает 90% мусора в RAG!

Показываю мощную технику улучшения RAG-систем с помощью LLM-роутера, который автоматически определяет домен вопроса и направляет поиск только по релевантным документам. Вместо поиска по всей базе знаний, система сначала понимает, к какой области относится вопрос, а потом ищет ответ только в соответствующих документах. Результат: кратно повышается точность ответов и снижаются затраты на токены.

Таймкоды:
00:00 - Проблема поиска в больших разнородных базах знаний
00:33 - Демонстрация работы LLM-роутера на живом примере
01:10 - Разбор архитектуры умного роутинга
01:54 - Как правильно размечать документы метаданными
02:35 - Настройка чат-триггера для тестирования системы
03:41 - Анализ результатов поиска по астрофизике vs машинное обучение
04:11 - Системный промпт для роутера: JSON-ответы и примеры
05:21 - Почему GPT-4.1 Nano идеально подходит для роутинга
06:13 - Output Parser и схема валидации ответов роутера
06:42 - Улучшения: добавление истории сообщений для контекста
07:41 - Настройка Switch-ноды и фильтрации по метаданным
08:37 - Демонстрация фильтрации векторного поиска в Quadrant
09:43 - Практические сценарии: юридический консультант
10:58 - Каскадный роутинг: от грубого к точному разделению
12:15 - Принципы архитектуры: сужение области поиска
13:05 - Философия минимальных ресурсов и максимальной эффективности

Эта техника позволяет создавать RAG-системы, которые работают с документами из совершенно разных доменов знаний, автоматически понимая, где искать ответ. Особенно эффективно для больших корпоративных баз знаний, юридических систем, технической документации.
📸 Следите за мной в Instagram: https://www.instagram.com/timur.yessenov/

Видео LLM-РОУТЕР убивает 90% мусора в RAG! канала Timur Yessenov