Почему бот забывает правила и как AI-агент использует память
«Дольше тебя будет помнить, маразм позже наступает». Так пошутил собственник консалтингового агентства на встрече, когда мы обсуждали забывчивость программ при долгой работе над текстами.
На встрече мы разбирали частую проблему в консалтинге. Специалист пишет материалы для клиентов и анализирует аудиторию через нейросеть. Перед началом работы он загружает правила и дает подробные вводные о бизнесе.
Через пару десятков сообщений бот начинает отвечать общими фразами. Стартовые инструкции вылетают из головы, программа выдает шаблонный результат. Работу приходится начинать заново. Чтобы починить процесс, нужно посмотреть, как AI-агент использует память.
Если я отредактирую файл, он будет с ним работать?
Собственник был уверен, что программа постоянно синхронизируется с его документами на диске. Пришлось объяснять механику. Обычный чат не видит изменений в текстовом файле на компьютере. Он опирается только на тот кусок текста, который успел прочитать и запомнить в момент загрузки. Если позиционирование компании обновилось, старый диалог этого не учтет.
У любого чата есть жесткий предел объема информации. Программисты называют это контекстным окном. Вы пишете длинные запросы, программа выдает объемные ответы на несколько страниц. Память переполняется. Система просто сжимает или отбрасывает начало переписки ради освобождения места для новых слов.
Поэтому самые важные инструкции стираются первыми.
Чем изолированный проект отличается от ассистента?
«Почему нейросеть начинает забывать информацию?»
В стандартном диалоге задачи, куски текстов и правила перемешаны в одну кучу. Я предложил разделить эти потоки и использовать бота с расширенной памятью. Изолированный проект работает иначе. Вы создаете отдельное рабочее пространство. Там один раз прописываете жесткие инструкции и загружаете актуальные регламенты.
Вся эта база знаний хранится отдельно от текущего разговора с пользователем. То, как AI-агент использует память, меняет весь процесс. Базовые правила лежат в защищенном отсеке. Текущая переписка их никогда не вытесняет. Программа обращается к ним при каждом новом вопросе и всегда держит нужный контекст.
Настраивать постоянную базу знаний нужно не всем. Если задача разовая, собрать идеи для поста или быстро перевести письмо партнеру, городить сложную систему нет смысла. С этим справится и обычный бот без дополнительных настроек. Память нужна для долгой системной работы.