Почему твой AI-агент отвечает уверенно, но невпопад — и как это починить

Скорее всего, ты уже пробовал написать что-то вроде: «ты опытный менеджер по продажам с 10 годами стажа». И агент действительно стал звучать увереннее. Только вот уверенность — это тон, не знание. Модель имитирует стиль эксперта, но знает ровно столько, сколько знала до этой фразы.

Это как нанять актёра на роль врача. Он будет говорить уверенно, использовать правильные слова, держаться профессионально. Но диагноз ставить не стоит.

Когда инструкция расплывчатая, а данных нет — агент не угадывает твою задачу. Он выбирает ближайший знакомый паттерн и отвечает на него. Уверенно и гладко.

Это и называется галлюцинация контекста. Не техническая поломка — поведенческая. Агент не знает, что он не знает. У него нет механизма сказать «стоп, у меня недостаточно данных». Если ты не задал ему такую рамку явно — он заполнит пробел сам. Чем угодно.

Именно это убивает доверие к автоматизации быстрее любой технической ошибки. Потому что неожиданная поломка — это понятно. А уверенная неправота — это уже страшно.

Первое — конкретный формат ответа. Не «отвечай полезно», а «ответ должен содержать: одну рекомендацию, причину, следующий шаг». Чем меньше свободы в структуре, тем меньше импровизации.

Второе — примеры правильного и неправильного вывода прямо в промпте. Это не лишнее — это якорь. Агент ориентируется на образец куда точнее, чем на абстрактное описание желаемого результата.

Третье — явный запрет на домысливание. Простая фраза в инструкции: «если точных данных нет — сообщи об этом прямо, не предлагай версии» меняет поведение радикально. Агент перестаёт заполнять пробелы. Начинает сигнализировать о них.

Самая частая причина невпопадных ответов — не плохой промпт. Это отсутствие нужных данных в зоне доступа агента.

Ты спрашиваешь про статус клиента — агент ищет в базе знаний, где этого нет. Не потому что он тупит. Потому что ты дал ему не тот источник. Он не может ответить правильно на вопрос, который выходит за пределы того, к чему у него есть доступ. И если ты не запретил ему угадывать — он угадает.

Проверь: агент отвечает на основе реальных документов и данных или генерирует из общих знаний модели? Это два принципиально разных режима работы.

Есть два режима работы агента: он либо генерирует из общих знаний модели, либо отвечает на основе конкретных документов которые ты ему дал. Разница принципиальная.

Первый режим — это и есть источник большинства невпопадных ответов. Модель знает про твою отрасль в среднем по больнице. Она не знает твои цены, твои исключения, твою терминологию.

Второй режим — это база знаний. Wiki, документы, инструкции, примеры ответов. Агент не угадывает — он ищет. Я для этого использую Obsidian как внутреннюю wiki и кормлю ею агента. Ответ становится другим не потому что промпт лучше, а потому что у агента появилось реальное знание, а не имитация экспертизы.

Языковые модели ошибаются даже на чистых тестах — в реальных бизнес-процессах с живыми клиентами и нестандартными запросами таких ситуаций заметно больше. Это не повод отказываться от агентов. Это повод выстроить архитектуру, где агент автономен там, где это безопасно, и эскалирует туда, где цена ошибки высока.

Простой принцип: чем выше ставки — тем уже автономия. Стандартный ответ клиенту — пусть решает сам. Нестандартная ситуация, жалоба, деньги — человек в петле.

Это не ограничение автоматизации. Это то, что делает её устойчивой.

Если хочешь разобраться, где именно твой агент теряет задачу и что конкретно поменять в настройке — давай разберёмся вместе.