Оптимизация моделей с помощью RL: как адаптация под конкретные задачи повышает эффективность


В последние годы обучение с подкреплением (RL) стало важным инструментом для улучшения производительности моделей в различных задачах. Однако многие модели не полностью оптимизированы для конкретных задач и окружений, что приводит к потере производительности и эффективности. В этой статье мы рассмотрим, как использование RL для создания адаптеров под конкретные задачи может значительно повысить точность и эффективность моделей, используя в качестве примера модель Qwen3.8-27B.

Обучение внутри агентских окружений

Для оптимизации модели мы использовали интеграцию Harbor в OpenEnv и руководство TRL по OpenEnv для обучения модели внутри выбранных окружений. Мы создали готовые образы Docker для всех наших задач RL, которые уже содержат целевые окружения. В финальных образах мы использовали версии Pi 1.5.2, OpenCode 2.2.7 и Hermes Agent v0.22.6. Это позволяет тренеру учиться на токенах, которые модель действительно производит, что значительно улучшает результаты.

Генерация пользовательских задач RL на Hugging Face

Для создания адаптера мы разработали пользовательский набор данных для агентного кодирования, используя Hugging Face, OpenEnv и Repo2RLEnv. Мы объединили задачи из существующих RL окружений, генерируемые задачи и валидацию задач в единую цепочку обработки данных. Это дало нам качественный набор валидированных и релевантных задач для улучшения Qwen3.8-27B в области агентного кодирования.

Тестирование фильтров с короткими тренировочными запусками

Мы провели несколько коротких тренировочных запусков, чтобы проверить, как фильтры валидации и сложности влияют на обучение модели. Каждый запуск использовал разные наборы задач, отфильтрованных по различным критериям, и мы сравнили результаты с базовой моделью на Terminal-Bench 2.1. Это позволило нам оценить, как фильтры меняют то, что модель изучает.

AsyncGRPOTrainer для более эффективного обучения

Мы использовали стабильную версию AsyncGRPOTrainer от TRL, что позволило нам не ждать завершения всех запусков перед переходом к следующему шагу оптимизации. Это значительно ускоряет процесс обучения и позволяет модели быстрее адаптироваться к новым задачам.

Объединение адаптеров в один супер-адаптер

После обучения трех адаптеров мы решили объединить их в один супер-адаптер. Мы проверили, не потеряет ли он точность, и выяснили, что обновления адаптеров не мешают друг другу, что делает объединение возможным. В результате мы получили адаптер, который эффективно работает во всех трех окружениях: Pi, Hermes Agent и OpenCode.

Финальные результаты и эффективность

Все три специализированных адаптера превзошли базовую модель в своих окружениях. Например, адаптер для Pi улучшил результаты с 39.2% до 64.7% на SWE-bench Pro, а адаптер для Hermes — с 29.4% до 43.1%. Кроме того, супер-адаптер показал отличные результаты, улучшив эффективность и производительность во всех трех окружениях, сокращая количество вызовов инструментов на 53–73%.

Открытые вопросы и направления для будущих исследований

Несмотря на успешные результаты, остаются открытые вопросы о том, чему именно научилась модель. Мы заметили, что модель, находясь в режиме без размышлений, генерирует короткие тексты перед вызовом инструментов, что может указывать на некое «утечку размышлений». Это открывает новые направления для исследований, включая изучение гибридных моделей, которые могут работать как в режиме размышлений, так и без него.

Заключение

В этой работе мы продемонстрировали, что обучение с подкреплением внутри целевых окружений приводит к более эффективным и точным моделям. Мы надеемся, что наш опыт и рецепты будут полезны для других разработчиков, стремящихся создать свои собственные адаптеры и улучшить производительность моделей в своих задачах.

Комментарии (0)

Войдите, чтобы оставлять комментарии.
Пока нет комментариев. Будьте первым!