SLICE-Mem сокращает расход токенов памяти ИИ-агентов на 92% без потери качества

Исследователи из Гонконгского политехнического университета, Южно-Китайского технологического университета и смежных подразделений решили проблему, знакомую всем, кто строит ИИ-агентов с долгой памятью: чтобы агент помнил пользователя между сессиями, каждую его фразу нужно оценить, разобрать и сохранить — а это почти всегда делают с помощью большой языковой модели. Чем дольше общение, тем чаще приходится её вызывать, и счёт за токены растёт быстрее, чем польза от запомненного.

Команда предложила систему SLICE-Mem, которая убирает языковую модель из самого частого — онлайн — этапа работы с памятью и оставляет её только для редкой фоновой «уборки».

Как устроен отбор воспоминаний

Вместо того чтобы спрашивать большую модель «стоит ли запоминать эту фразу», SLICE-Mem обучила маленький классификатор — «фильтр значимости». Он смотрит на фразу пользователя вместе с несколькими предыдущими сообщениями диалога и выдаёт вероятность того, что информацию стоит сохранить: предпочтения, факты, планы, обещания. Обучали его на разметке, где три разные большие модели-«учителя» голосовали, важна фраза или нет, плюс на готовых пометках из открытых датасетов. Порог отбора подбирали экспериментально — из девяти вариантов отбора авторы выбрали тот, который давал лучший итоговый результат на тесте Memora Weekly.

Если фраза прошла фильтр, её не отправляют в модель для пересказа — вместо этого обычный лингвистический анализатор находит в предложении сказуемое и связанные с ним слова: кто действующее лицо, что произошло, когда, зачем, где. Из этих кусков собирается компактная запись, которая максимально близко повторяет исходные слова пользователя — без перефразирования моделью. Если алгоритм не может выделить ничего полезного, он просто сохраняет очищенную версию исходной фразы, чтобы не потерять информацию совсем.

Что происходит с памятью позже

Работа с уже сохранёнными записями — поиск дубликатов, устаревших фактов (например, человек переехал или сменил работу) — происходит отдельно, в фоновом режиме, и вот здесь модель всё-таки подключают. Она сравнивает новую запись с похожими старыми и решает: оставить обе как есть, пометить одну как дубликат более поздней, пометить старую как устаревшую (с ссылкой на замену) или отметить, что обе записи просто дополняют друг друга. При этом исходный текст записей никогда не переписывается и не удаляется — меняется только их статус для поиска.

Результаты тестов

На бенчмарке Memora Weekly (тест на память агента, который наказывает за использование информации, которую пора забыть) при конфигурации с моделью Qwen 30B SLICE-Mem набрал 46,60 балла против 46,68 у системы-аналога MemOS — разница на уровне погрешности. При этом SLICE-Mem потратил 0,536 млн токенов против 7,009 млн у MemOS — сокращение на 92,4%, а время построения памяти упало с 2,378 часа до 0,362 часа (на 84,8% быстрее).

На LongMemEval-S (тест с вопросами про многосессионные факты, обновление знаний и временные рассуждения) разрыв в точности заметнее: 56,8% у SLICE-Mem против 59,3% у MemOS. Но и экономия токенов здесь максимальная — 99,5%.

Фоновая «уборка» памяти неоднозначно влияет на итог. На Memora Weekly она подняла точность до 46,74 (с моделью 30B) и до 47,29 (с моделью 8B), но суммарный расход токенов при этом вырос до 3,34–3,36 млн — почти в шесть раз больше, чем у «чистого» онлайн-режима без уборки. То есть прибавка в качестве есть, но она стоит ощутимых дополнительных токенов.

Что это значит на практике

Для команд, которые строят персональных ИИ-ассистентов с памятью о пользователе, SLICE-Mem показывает рабочий компромисс: можно сократить расход токенов на порядок, почти не потеряв в качестве памяти, если заменить модель лёгким классификатором и синтаксическим разбором на самом частом — записывающем — этапе. Модель стоит оставлять только для редкой фоновой чистки, где нужно сравнивать записи между собой и разрешать противоречия — там её вклад оправдан статистически заметным, хоть и не огромным, приростом точности.