ALTK-Evolve представляет собой инновационное решение, использующее возможности модели GPT-4.1 для создания эффективного плейбука, который позволяет агенту по обслуживанию клиентов достигать выдающихся результатов на тесте τ²-bench. Этот тест, разработанный компанией Sierra, оценивает, как хорошо агент справляется с задачами обслуживания клиентов в условиях реальных ограничений. В отличие от традиционных методов, ALTK-Evolve не требует обновления весов модели, что делает его более доступным и гибким инструментом.

Преимущества ALTK-Evolve

Используя GPT-4.1, базовый агент по обслуживанию клиентов достигает 67.5% Pass^4 на τ²-bench в области розничной торговли. Это означает, что агент успешно решает задачи на всех четырех попытках в 67.5% случаев, что ставит его выше всех конкурентов на лидерборде, обновленном 12 октября 2026 года. Агент работает на основе стандартной структуры ReAct, к которой добавлены обученные рекомендации, что позволяет ему адаптироваться к различным ситуациям, таким как аутентификация клиентов, подтверждение транзакций и обработка возвратов.

Как работает ALTK-Evolve

ALTK-Evolve анализирует попытки агента в обучающих задачах и использует модель для извлечения успешных и неудачных действий, превращая их в краткие поведенческие правила. Эти правила затем добавляются в системный запрос агента для последующих взаимодействий. Важно отметить, что для извлечения рекомендаций и работы агента используется одна и та же модель, что исключает необходимость в обновлении весов или человеческой аннотации.

Тестирование на τ²-bench

τ²-bench измеряет, насколько хорошо агент справляется с задачами обслуживания клиентов, взаимодействуя с симулированным клиентом, который имеет конкретную цель и набор инструментов, таких как проверка заказа или выдача возврата. Каждая задача требует от агента извлечения правильных деталей, соблюдения политики и выполнения корректных действий. Успех задачи определяется строгим бинарным вознаграждением, где задача считается решенной только в случае, если конечное состояние базы данных соответствует ожидаемому результату.

Структура задач

В рамках τ²-bench используются две области обслуживания клиентов: розничная торговля и авиаперевозки. Мы запускаем стандартную реализацию базового агента ReAct с двухфазным циклом THINK → ACT, используя GPT-4.1 в качестве модели агента и GPT-5.5 в качестве модели-симулятора клиента. Каждая задача выполняется в четырех попытках, и единственное изменение заключается в добавлении блока обученных рекомендаций к системному запросу.

Примеры обученных рекомендаций

Примеры рекомендаций, извлеченных из попыток агента, включают:

Аутентификация пользователя перед выполнением любых действий, связанных с заказом.

Подтверждение всех предполагаемых изменений с четким структурированным резюме и требование явного одобрения пользователя перед выполнением действий, изменяющих базу данных.

Обработка возвратов с предоставлением детализированного отчета о возврате и разъяснением сроков возврата.

Выполнение одного действия за раз, ожидая результата инструмента перед ответом пользователю.

Эффективность рекомендаций

В предыдущих исследованиях было показано, что разные модели и задачи требуют различной степени руководства. Мы оценили различные объемы рекомендаций, предоставляемых модели. Каждая рекомендация имеет счет поддержки — количество различных обучающих задач, из которых она была извлечена. Мы сравнили три конфигурации: базовую (без рекомендаций), sup3 (только рекомендации с поддержкой ≥ 3) и lossless (все рекомендации с поддержкой ≥ 1).

Результаты тестирования

Результаты показывают, что использование рекомендаций значительно улучшает как способность, так и надежность агента. Например, в области розничной торговли средняя точность увеличилась на 4.4% (с 78.1% до 82.5%), а надежность (Pass^4) выросла на 10% (с 57.5% до 67.5%). В авиаперевозках средняя точность возросла на 7.5% (с 57.5% до 65.0%), а Pass^4 увеличился на 5% (с 35.0% до 40.0%). Эти улучшения были достигнуты за счет более информированных вызовов, а не за счет увеличения длины разговоров.

Стоимость и эффективность

Хотя рекомендации не бесплатны, их стоимость в основном связана с токенами ввода, а не с увеличением длины разговора. Например, стоимость разговора с использованием полной конфигурации рекомендаций в области розничной торговли возросла с ~$0.084 до ~$0.139, но при этом длина разговоров сократилась, что также снизило общую задержку.

Применение на современных моделях

Мы также протестировали ALTK-Evolve с использованием более новой модели GPT-5.5, и результаты показали, что рекомендации улучшают производительность даже в этом случае. Например, добавление рекомендаций к запросу увеличило точность на 10% (с 72.5% до 82.5%) и Pass^4 на 15% (с 55.0% до 70.0%). Это подтверждает, что обучение рекомендациям вокруг модели может улучшить агента, даже если он изначально основан на более сильной базе.

Лидерборд и достижения

На лидерборде τ²-bench ALTK-Evolve с использованием GPT-4.1 достиг Pass^4 = 67.5%, опередив все модели на рынке. В авиаперевозках агент с использованием GPT-5.5 занял первое место, в то время как агент с GPT-4.1 занял восьмое место, что подчеркивает эффективность подхода ALTK-Evolve. Таким образом, ALTK-Evolve демонстрирует, что агенты могут улучшаться без обновления весов, используя только извлеченные рекомендации, что делает этот подход более доступным и эффективным для практического применения.