Современные системы искусственного интеллекта, такие как ALTK-Evolve и ACE (Agentic Context Engineering), предоставляют агентам возможность обучаться на собственных траекториях. Однако ключевое отличие между ними заключается в том, как они используют полученные знания, что напрямую влияет на затраты на токены.

Задачи и ошибки агентов

Когда агенту поручают выполнить сложную многошаговую задачу, такую как разделение счета, поиск песни или согласование заказа через девять симулированных приложений, его неудачи чаще всего не связаны с нехваткой знаний. Ошибки могут проявляться в неправильной пагинации API, неверном определении пользователя или возврате значения, когда это не требуется. Модель знает, как взаимодействовать с API, но не усвоила, как делать это надежно. Этот опыт можно извлечь из истории агента.

Агентская память: ALTK-Evolve и ACE

Обе системы представляют собой формы агентской памяти, превращая прошлые траектории агента в повторно используемые уроки и возвращая их в процессе вывода, без обновления весов и без человеческой разметки. Несмотря на то, что обе системы согласны в своих подходах к обучению, они различаются в способах доставки полученных знаний.

Уроки и их организация

ACE организует свои уроки в одну всеобъемлющую, развивающуюся книгу, в то время как ALTK-Evolve консолидирует их в индивидуально извлекаемые руководства. Основное согласие между системами заключается в том, что они отказываются от компрессии знаний. ACE точно определяет режимы ошибок, такие как "пристрастие к краткости" и "коллапс контекста", и предлагает сохранять подробную, детализированную книгу, позволяя модели выделять релевантную информацию в момент чтения. ALTK-Evolve придерживается аналогичного подхода, сохраняя количество поддерживающих эпизодов для каждого отдельного руководства. Урок, который был обнаружен в пяти разных задачах, представляет собой другой объект по сравнению с тем, который появился лишь однажды, и оба заслуживают сохранения.

Различия в построении и доставке памяти

Системы различаются в двух аспектах: как строится память и как она доставляется. Эти различия влияют на затраты на токены.

Построение памяти

ACE создает одну книгу через цикл Генератор → Рефлектор → Куратор, применяя инкрементальные дельта-обновления и устраняя дубликаты. Она группирует почти дублирующие уроки и объединяет их, сохраняя общее количество поддерживающих эпизодов. ALTK-Evolve также извлекает типизированные руководства с причинной атрибуцией и происхождением, что позволяет переносить уроки между приложениями.

Доставка знаний

Доставка знаний — это аспект, который влияет на затраты. ACE всегда отправляет полную книгу на каждом шаге, независимо от модели или задачи. В то время как ALTK-Evolve рассматривает доставку как настройку: небольшое фиксированное ядро высокоподдерживающих руководств, расширяемое в зависимости от задачи. Это означает, что ALTK-Evolve отправляет столько руководств, сколько может использовать данная модель.

Влияние на эффективность

На платформе AppWorld, используя один и тот же базовый агент ReAct, обе системы были протестированы. Результаты показывают, что ALTK-Evolve демонстрирует лучшие показатели как по точности, так и по затратам на токены по сравнению с ACE. Например:

DeepSeek-V3.2: ALTK-Evolve — 89.3 / 80.4 токенов на задачу, ACE — 80.4 / 73.2 токенов.

gpt-oss-120b: ALTK-Evolve — 56.0 / 37.5 токенов на задачу, ACE — 54.8 / 35.7 токенов.

На сильной модели ALTK-Evolve показывает лучшие результаты при примерно 40% от затрат ACE. На слабой модели результаты близки, что позволяет считать их равными по точности, но ALTK-Evolve использует лишь одну седьмую от стоимости ACE.

Заключение: важность подхода к доставке

Обе системы согласны в том, что не следует сжимать опыт агента в аккуратное резюме. Однако разница заключается в том, как осуществляется доставка: ACE отправляет всю книгу на каждом шаге, тогда как ALTK-Evolve адаптирует количество отправляемых руководств в зависимости от возможностей модели. Эта настройка и привела к лучшим результатам ALTK-Evolve при значительно меньших затратах на токены. Для более детального изучения можно ознакомиться с библиотекой ALTK-Evolve или полным техническим отчетом.