В мире языковых моделей отслеживание состояния становится все более важным аспектом, особенно когда речь идет о работе с длинными документами. В этой статье мы рассмотрим новый бенчмарк под названием StateBench, который был разработан для оценки способности языковых моделей отслеживать информацию о сущностях в длинных текстах по мере их изменения.

Значение отслеживания состояния

Отслеживание состояния — это ключевая задача, которая охватывает множество приложений, от чтения кода до анализа сюжетов в литературе. Например, в детективном романе, если говорится, что "Джон передал Мэри нож" перед убийством, важно понимать, что состояние каждого персонажа изменилось. Однако не все задачи по отслеживанию состояния одинаковы: некоторые требуют лишь нахождения последнего обновления, в то время как более сложные требуют отслеживания цепочки изменений, где одна пропущенная деталь может привести к неправильному ответу. Например, если Джон передал Мэри предмет из своего рюкзака, и известно, что Эдвард положил нож в рюкзак Джона, задача становится значительно сложнее.

Уровни сложности в StateBench

StateBench включает четыре уровня сложности, которые позволяют выполнять операции обновления состояния с различной степенью сложности:

R-тривиальные проблемы: Используют неизменяемое присвоение. Значение переменной никогда не меняется, и модель должна лишь восстановить первоначальное значение. Пример: `let x = 4;`.

Аперодические проблемы: Позволяют переопределение по значению. Модель должна находить самое последнее значение, игнорируя более ранние. Пример: `x = 4` и затем `x = 2`.

Решаемые проблемы: Добавляют самоссылочные обновления, где каждое обновление основывается на текущем значении. Пример: `x = x + 5`.

Общие конечные проблемы: Включают присвоение по ссылке, где одна переменная может принимать текущее значение другой переменной. Пример: `x = y` или обмен значениями двух переменных.

Эти уровни можно интуитивно понять через переменные, но они также представляют собой теоретически обоснованные различия в отслеживании состояния, основанные на теории Крона-Родса.

Результаты тестирования предобученных моделей

Мы протестировали ряд открытых предобученных моделей на уровнях R-тривиальных, а также аперодических и общих конечных задач StateBench. Под стандартными теоретическими предположениями трансформеры могут надежно обрабатывать R-тривиальные задачи, но предсказывается, что они потерпят неудачу на общих задачах. В отличие от них, Gated DeltaNet с более гибким обновлением памяти, в принципе, может справляться со всеми четырьмя уровнями. Мы начали с предобученных моделей, включая две модели с 7 миллиардами параметров: Olmo 3 (трансформер) и Olmo Hybrid (добавляющий слои Gated DeltaNet). Все эти модели были предобучены на одних и тех же данных и не имели опыта работы с контекстами длиннее 64,000 токенов. Результаты показали, что почти все модели хорошо справлялись с R-тривиальными задачами, но теряли точность на аперодических задачах по мере увеличения длины входных данных.

Тестирование передовых моделей

Затем мы протестировали четыре передовые модели — Gemini 3.8 Flash, Claude Opus 5.5 и GPT-6 Sol и Luna. Все они показали хорошие результаты на R-тривиальных и аперодических задачах, но на решаемых и общих конечных задачах точность резко падала, достигая 13% или ниже на самых длинных задачах. Это может быть связано с тем, что на более сложных уровнях много шагов могут повлиять на окончательный ответ, оставляя меньше возможностей для модели пропустить обновление без ошибок.

Модели, обученные непосредственно на задаче

Мы также исследовали, отражает ли трудность моделей на более сложных уровнях ограничения самих архитектур или же предобучение просто не учит модели их решать. Мы обучили несколько моделей с 275 миллионами параметров с нуля на StateBench, включая два варианта трансформеров и два варианта Gated DeltaNet с различными ограничениями обновления памяти. Эти модели обучались на последовательностях до 256 присвоений и тестировались на последовательностях длиной до 64,000 присвоений. Архитектуры начали расходиться по мере увеличения длины последовательностей. Модели Gated DeltaNet и гибридные модели почти идеально обобщали на R-тривиальных, а также аперодических и решаемых задачах до самых длинных последовательностей, которые мы тестировали. Трансформеры обучались на более простых уровнях, но ухудшались на более длинных последовательностях и никогда не обучались общим конечным задачам.

Открытые вопросы и будущее StateBench

Несмотря на полученные результаты, остаются открытые вопросы. Наше новое доказательство показывает, что Gated DeltaNet с более ограниченным обновлением памяти может решать все аперодические задачи и некоторые периодические задачи. Однако его точное место в иерархии остается открытым вопросом. StateBench также предполагает фиксированное количество переменных, в то время как реальные задачи часто вводят новые сущности по мере их развития. С появлением новых вариантов рекуррентных и гибридных архитектур понимание того, какие виды отслеживания состояния каждая из них может обрабатывать, может помочь в разработке и обучении будущих систем. Мы надеемся, что StateBench предоставит исследователям более детализированный способ выявления слабых мест моделей и поможет в создании данных для обучения и оценки возможностей, которые все еще остаются недостаточными.