DaisyRose-27B: Прорыв в обучении ИИ с использованием методов обучения с подкреплением


Сегодня RadixArk представила модель DaisyRose-27B, первую из серии, построенную на базе Qwen3.8-27B и обученную с использованием методов обучения с подкреплением с помощью Miles. Модель была обучена на задачах с длительным горизонтом, с сессиями до 1 миллиона токенов, всего за 18 дней на 144 графических процессорах H200, с использованием 1,200 тщательно отобранных задач.

Улучшения в производительности

DaisyRose-27B значительно улучшила показатели на тестах, таких как Terminal-Bench 4.1, увеличив pass@1 с 5.6% до 12.0%. Кроме того, модель продемонстрировала улучшения на различных других тестах, связанных с рассуждениями, следованием инструкциям и программированием. Контрольные точки модели доступны под лицензией Apache 2.0: BF16 FP8 NVFP4. Модель сохраняет архитектуру, токенизатор, шаблон чата, понимание изображений и контекстное окно в 256K токенов, как и Qwen3.8-27B.

Тренировочный процесс

Долгие сессии обучения использовали метод суммирования, позволяя охватывать несколько траекторий. Для запуска DaisyRose-27B рекомендуется использовать SGLang и DSpark для спекулятивного декодирования. Кулинарная книга SGLang предоставляет конфигурации запуска для различных графических процессоров и форматов контрольных точек. После запуска сервера с моделью DaisyRose-27B на порту 30000, можно отправить запрос с использованием клиента OpenAI Python.

Результаты бенчмарков

Модель DaisyRose-27B показала лучшие результаты по сравнению с оригинальной Qwen3.8-27B на всех тестах, включая:
  • Terminal Bench 4.1: 5.6 → 12.0
  • Terminal Bench 2.1: 73.0 → 75.5
  • DeepSWE v1.1: 42.2 → 46.2
  • SWE Bench Pro v2: 91.3 → 94.7
  • HLE (только текст): 33.9 → 34.3
  • IFBench: 79.5 → 82.4
  • GPQA Diamond: 89.2 → 90.7
  • Наибольшее улучшение наблюдается на Terminal Bench 4.1, где pass@1 увеличился на 6.4%. Результаты тестов основываются на лучших показателях BF16 и FP8, которые различаются менее чем на один пункт.

    Качество обучающих данных

    Задачи для обучения были разработаны в сотрудничестве с Eigent AI, начиная с обширного пула задач в области машинного обучения, программной инженерии, науки и других областей. В финальный набор вошло около 1,200 задач, отобранных по трем критериям:
  • Каждая задача нацелена на исправление ошибок оригинальной модели.
  • Задачи требуют выполнения нескольких взаимозависимых шагов.
  • Каждая задача должна вознаграждать за реальное решение проблемы.
  • Эффективный обучающий бэкенд

    RadixArk обучила DaisyRose-27B с помощью Miles, нашей открытой платформы для обучения с подкреплением, в полностью асинхронном режиме. В то время как 128 H200 выполняли инференс на задачах, 16 других работали над обучением модели. Каждое обновление модели отправляется на 128 графических процессоров, работающих с агентом. Это позволило снизить затраты на обучение на 57% по сравнению с традиционными методами.

    Стабильная работа песочницы

    Каждая попытка обучения проходит в песочнице — свежей копии среды задачи, где агент выполняет команды и получает оценку. Наша служба, основанная на проекте AgentENV, за время обучения запустила около 944,000 песочниц, с максимальным количеством одновременно работающих песочниц до 1,566. Успехи создания песочниц составили 99%, а с конца октября этот показатель превысил 99.95%.

    Заключение

    DaisyRose-27B представляет собой значительный шаг вперед в области обучения ИИ, демонстрируя высокую эффективность и улучшенные результаты на различных тестах. Мы приглашаем пользователей попробовать модель и поделиться своими результатами в сообществе. Благодарим Eigent AI за сотрудничество в создании обучающих данных и команду Qwen за разработку Qwen3.8-27B.

    Комментарии (0)

    Войдите, чтобы оставлять комментарии.
    Пока нет комментариев. Будьте первым!