Типовая первая линия поддержки отвечает на 15–20 повторяющихся вопросов: где заказ, как вернуть, как зайти в личный кабинет. Мы подключили к открытым линиям Битрикс24 LLM-ассистента с retrieval-подходом (RAG) — и 70% обращений стали закрываться без человека. Главное условие — ассистент отвечает строго по базе знаний компании и никогда не «фантазирует».
Почему не «просто ChatGPT»
«Голая» LLM не знает вашу базу знаний и с удовольствием выдумает срок возврата, которого нет в политике магазина. RAG (Retrieval-Augmented Generation) решает это: перед ответом модель получает релевантные фрагменты вашей документации и строит ответ только на них. Если релевантных фрагментов нет — ассистент честно передаёт диалог оператору.
Архитектура
База знаний — разделы «Частые вопросы», регламенты и история решённых тикетов — режется на фрагменты по 300–500 токенов, обогащается контекстом клиента (статус заказа из CRM, последние диалоги) и складывается в Qdrant. В открытом режиме у нас 94% попаданий в релевантный фрагмент с первого раза.
Guardrails: страховка от галлюцинаций
Ответ модели проходит три проверки: (1) цитируемость — каждый факт должен трассироваться к фрагменту базы; (2) запрещённые темы — юриспруденция, медицина, обещания сроков и скидок уходят оператору; (3) тональность — нейтральный деловой стиль без извинений через слово. Не прошёл любую проверку — эскалация человеку.