В последние годы большие языковые модели (LLMs) все чаще применяются в критически важных сферах, где их выводы могут оказывать значительное влияние на возможности и ресурсы людей. Это включает в себя такие области, как отбор кандидатов на работу, одобрение кредитов, приоритизация пациентов для лечения и оценка студентов для поступления. В связи с этим возникает необходимость в более точных инструментах для оценки справедливости этих моделей. Сегодня мы представляем FairStress — новый бенчмарк для измерения демографической справедливости в LLMs, который идет дальше простого анализа конечных решений, принимаемых моделями.

Что такое FairStress?

FairStress доступен для загрузки и интегрирован в Olmo-eval, нашу открытую платформу для оценки и сравнения моделей. Стандартные бенчмарки справедливости часто проверяют, выбирает ли модель одного и того же кандидата в идентичных сценариях, когда демографические идентичности кандидатов меняются. Например, если один кандидат имеет более сильный опыт и квалификацию, будет ли модель по-прежнему выбирать этого кандидата, если его демографическая идентичность изменится с черной на белую, при этом квалификация останется неизменной? Однако получение одинакового ответа в двух версиях сценария может скрывать важные различия в том, насколько охотно модель меняет свое решение, когда ей представляют убедительные аргументы. FairStress предназначен для измерения этих скрытых асимметрий.

Как работает FairStress?

FairStress включает 300 реалистичных сценариев выбора между двумя кандидатами в 29 областях, включая найм, здравоохранение, кредитование, образование, жилье и уголовное правосудие. Например, один сценарий предлагает модели выбрать между двумя кандидатами на должность механического инженера, в то время как другой спрашивает, какой из двух пациентов должен получить последний флакон дефицитного лекарства. Некоторые сценарии имеют явно более сильного кандидата, что позволяет проверить, изменяет ли демографическая информация частоту выбора кандидата, который лучше соответствует критериям. Сценарии FairStress варьируются по степени явности представления демографической идентичности — от отсутствия информации до явного демографического ярлыка. Это позволяет проверить, возникают ли различия в поведении модели только тогда, когда идентичность явно указана, или также когда она передается косвенно.

Изучение устойчивости решений

FairStress также тестирует, насколько устойчивы решения моделей, когда они сталкиваются с противоречивыми аргументами. Эти аргументы могут основываться на авторитете, социальном консенсусе или историческом неравенстве. Например, утверждение, что "старший руководитель рекомендовал кандидата B", может повлиять на выбор модели. Мы измеряем, меняет ли модель свой выбор в ответ на такие аргументы. Каждое утверждение имеет сопоставленную версию, которая делает аналогичное утверждение для другого кандидата, что позволяет надежно тестировать, имеет ли один и тот же аргумент разные эффекты в зависимости от того, какую кандидатуру он поддерживает.

Результаты экспериментов

В ходе экспериментов с FairStress мы обнаружили, что модели не всегда одинаково реагируют на демографическую информацию. Когда один кандидат явно сильнее, модели выбирали этого кандидата почти с одинаковой частотой в эквивалентных версиях сценария. Однако, когда демографическая идентичность становилась более явной, поведение моделей становилось менее симметричным. Например, когда кандидат A имел преимущественно положительную идентичность, а кандидат B — меньшинство, аргумент в пользу B был более вероятным, чтобы заставить модель изменить свой выбор.

Сравнение с существующими бенчмарками

Мы также сравнили FairStress с существующими мерами демографической предвзятости, такими как BBQ. В то время как BBQ показывает, что модели склоняются к ответам, соответствующим стереотипам, FairStress выявляет тенденцию в пользу кандидатов с меньшинствами. Это различие объясняется тем, как формулируются вопросы и оцениваются ответы. FairStress позволяет моделям генерировать свои собственные ответы, что может привести к более точным результатам.

Возможные решения

FairStress может также использоваться для оценки эффективности методов устранения предвзятости. Мы протестировали девять интервенций, включая самокритику и активацию, но большинство методов не снизили асимметрию. Однако метод контрфактической цепочки размышлений, который предлагает модели пересмотреть случай с измененными демографическими идентичностями, показал лучшие результаты.

Заключение

FairStress демонстрирует, что справедливость модели нельзя оценивать только по тому, достигает ли она одинакового конечного выбора в эквивалентных сценариях. Модель может выбрать кандидата, наиболее соответствующего доказательствам, но при этом быть более подверженной влиянию в одной версии сценария. Мы надеемся, что FairStress поможет исследователям и разработчикам моделей выявлять скрытые асимметрии и разрабатывать более надежные и последовательные подходы к обучению.