«Хотим бота, который отвечает по нашим документам и ничего не выдумывает». Это самый частый запрос, который мы слышим про ИИ за последний год. Технически он называется RAG. Ниже без жаргона: что это, кому окупается, что придётся подготовить и почему половина таких проектов буксует вовсе не из-за модели.
Что такое RAG простыми словами
Языковая модель отвечает из памяти. Она читала интернет до какой-то даты и ничего не знает про ваш регламент возвратов, прайс на сентябрь и инструкцию для склада. Спросите напрямую, и она либо честно скажет, что не знает, либо уверенно придумает.
RAG меняет порядок действий. Сначала система ищет в ваших документах куски, относящиеся к вопросу. Потом отдаёт их модели вместе с вопросом и просит ответить только по этим кускам. Модель перестаёт быть источником знаний и становится пересказчиком найденного. Отсюда и название: retrieval augmented generation, генерация с опорой на поиск.
Практическая разница всего в одном. Нормальный RAG-бот показывает, откуда взял ответ. Сотрудник видит ссылку на пункт регламента и может проверить за десять секунд. Бот без ссылок на источники остаётся тем же угадайщиком, за которого вы ещё и заплатили.
Кому это окупается
Признак простой. Если в компании регулярно спрашивают одно и то же, а ответ лежит в документе, который никто не помнит наизусть, окупится.
Первая линия поддержки, где большая часть вопросов повторяется из недели в неделю. Отдел продаж, который лезет в договоры за условиями по конкретному клиенту. Новые сотрудники, которые первый месяц дёргают коллег по мелочам. Сервисные инженеры, у которых инструкции по оборудованию разбросаны по десяткам PDF.
И признак обратного. Если документов мало и они помещаются в голову одного человека, бот не нужен, нужен этот человек. Если документы устарели и противоречат друг другу, бот вернёт вам ваш же бардак, только быстрее и с уверенной интонацией.
Что подготовить до старта
Чем точнее ответы на эти четыре вопроса, тем дешевле выйдет проект.
Где лежат документы и в каком виде. Общая папка, Google Drive, Битрикс24, 1С, почта. Форматы: PDF, docx, таблицы, сканы. Сканы без текстового слоя придётся распознавать отдельно, и качество распознавания задаст потолок для всего остального.
Кто отвечает за актуальность. У базы знаний должен быть живой владелец. Иначе через полгода бот будет уверенно цитировать прошлогодний прайс, и виноват окажется бот.
Кому что можно видеть. Если часть документов закрыта для рядовых сотрудников, права доступа продумывают до запуска, а не после первого неловкого ответа.
Двадцать реальных вопросов с правильными ответами. Это ваш тест. Без него невозможно сказать, стало лучше или хуже после очередной правки.
Где такие проекты ломаются
Почти всегда упираются в данные, а до настройки модели дело обычно даже не доходит.
Сканы без текстового слоя. Модель не видит картинку как текст. Нужен отдельный этап распознавания, и это отдельные деньги и отдельные риски.
Противоречия внутри базы. Два регламента говорят разное, бот выбирает тот, который нашёлся первым. Лечится не настройкой модели, а наведением порядка в документах.
Таблицы. Сложные таблицы с объединёнными ячейками модели читают плохо. Прайс из Excel почти всегда требует отдельной обработки, и это стоит заложить в смету сразу.
Отсутствие теста. Без набора проверочных вопросов каждая правка превращается в лотерею: починили одно, сломали другое, заметили через месяц от клиента.
Сколько это занимает
Пилот на одном наборе документов и одном сценарии реально собрать за две-три недели. Из них примерно неделя уходит на приведение документов в порядок, а не на код. Это нормально и это надо знать заранее.
Мы намеренно начинаем с узкого куска: одна база, один канал, двадцать тестовых вопросов. Если на этом объёме точность устраивает, расширяться дальше дёшево. Если не устраивает, потеряны три недели, и это самый дешёвый способ узнать плохую новость.
Что обычно происходит дальше
Бот по документам редко остаётся просто ботом. Как только он начинает нормально отвечать, следующий вопрос звучит одинаково: а пусть он ещё и заявку заводит. С этого момента речь уже про ИИ-агента, и архитектура там другая. Агент не просто ищет, он выбирает действия и меняет данные в ваших системах, а значит нужны права, лимиты и возвраты при ошибках.
Как выглядит такой контур на работающем коммерческом продукте, мы разобрали в кейсе Dantiva: три интерфейса, один аккаунт, реестр токенов и защита от двойных списаний.
Более подробный разбор с примерами из европейских проектов автор выкладывал в личном блоге: RAG-бот по базе знаний компании.