Недавнее исследование, опубликованное Google, выявило интересные аспекты работы современных языковых моделей (LLM), таких как Gemini-3-Pro и GPT-5. Исследование показало, что эти модели кодируют 95–98% фактов, но не могут напрямую воспроизвести 26–34% из них в ответах на запросы. Это открытие ставит под сомнение традиционные представления о том, что языковые модели не обучены достаточному количеству информации.

Параметрическая информация

Параметрическая информация — это данные, которые языковые модели запоминают в процессе обучения. Она включает в себя информацию из веб-страниц, текстов песен, книг, инструкций, кода и других источников. Исследователи стремились выяснить, почему LLM не могут воспроизвести часть информации, на которой они обучались. Ранее считалось, что причиной может быть недостаток данных для обучения, но исследование показало, что это не всегда так для современных моделей.

Проблема воспоминания

Исследователи отметили, что кодирование информации в языковых моделях достигло насыщения. Это означает, что необходимая информация для ответов на вопросы, как правило, уже присутствует в моделях. Однако воспоминание о фактах остается проблемой. В частности, исследование показало, что сбои в воспоминании составляют более 70% ошибок в GPT-5.2 и еще больше в более мощных моделях. Это указывает на то, что проблема заключается не в недостатке фактов, а в доступе к ним.

Субъект и объект

Одним из интересных открытий исследования стало то, что трудности с воспоминанием фактов могут быть связаны с порядком, в котором субъекты и объекты были изучены. Когда запрос содержит обратный порядок, LLM испытывает трудности с воспоминанием факта, так как он был усвоен в другом порядке. В исследовании объясняется, что роли субъекта и объекта определяются исходным текстом, из которого был извлечен факт. Например, в предложении "Oasis сыграли свой первый концерт в клубе Boardwalk" "Oasis" является субъектом, а "клуб Boardwalk" — объектом. Если запрос сформулирован так, что объект идет первым, LLM может не вспомнить факт.

Множественный выбор как решение

Интересно, что LLM способны распознавать факты, когда они представлены в формате множественного выбора, даже если порядок субъектов и объектов обратный. Это свидетельствует о том, что информация закодирована в модели и распознаваема, хотя и не может быть воспроизведена в прямом ответе.

Переоформление вопросов

Исследователи также проверили, влияет ли переоформление вопросов на способность LLM воспроизводить факты. Результаты показали, что это незначительно сказывается на способности модели, в то время как изменение порядка субъектов и объектов имеет значительное влияние.

Долгие факты и их воспоминание

Еще одно интересное открытие заключается в том, что LLM испытывают трудности с воспоминанием редких фактов. Хотя разница в кодировании популярных и редких фактов невелика, разрыв в воспоминании более значителен. Невозможность воспоминания о редких фактах часто не связана с тем, что LLM не усвоили информацию, а с проблемами на этапе воспоминания.

Решение: больше размышлений

Исследователи протестировали метод "больше размышлений" для воспоминания фактов и обнаружили, что LLM смогли вспомнить 40–65% закодированных фактов, которые ранее не могли быть воспроизведены. Однако этот подход требует значительных вычислительных ресурсов и возникает вопрос о том, когда именно следует активировать дополнительное размышление.

Масштабирование обучения LLM не решает проблему

Наконец, исследователи отметили, что масштабирование обучения современных LLM не является решением проблемы воспоминания. Это открытие подчеркивает необходимость более глубокого понимания механизмов, лежащих в основе работы языковых моделей.

SEO и порядок субъектов/объектов

Интуитивно можно предположить, что порядок субъектов и объектов может быть полезен для оптимизации запросов. Хотя исследование не подтверждает эту гипотезу, это может быть разумным предположением с точки зрения SEO. Исследование называется "Пустые полки или потерянные ключи? Воспоминание как узкое место для параметрической фактической информации".