Оптимизация потоковой передачи MoE-экспертов: как добиться высокой производительности на локальных моделях


В последние годы наблюдается рост интереса к моделям с множественными экспертами (MoE), которые позволяют значительно уменьшить требования к памяти при сохранении высокой производительности. Одним из таких решений является Strata — движок вывода для MoE моделей, который позволяет эффективно управлять памятью и ресурсами. В этой статье мы рассмотрим, как использование Strata и оптимизация потоковой передачи экспертов могут приблизить производительность к онлайн моделям, таким как Qwen 3.8, и какие результаты были достигнуты в ходе экспериментов.

Оборудование и начальные условия

Для экспериментов использовались два устройства: мощный ПК с двумя видеокартами RTX 4090, названный "Orthrus" (в честь двухголового пса из греческой мифологии), и MacBook M5 с 32 ГБ унифицированной памяти. Orthrus работает на Windows 11, что обусловлено потребностями детей, играющих в игры. Первоначально была настроена двойная загрузка с Ubuntu, но место на диске быстро закончилось из-за игр.

Первые шаги с Qwen 3.8

Первый эксперимент заключался в запуске модели Qwen 3.8 27B с использованием llama.app на Orthrus и доступе к ней с MacBook через pi. Модель Qwen выполняет задачи программирования, в то время как онлайн модель, такая как Opus, управляет процессом. Вторая видеокарта используется для модели FIM, которая отвечает за автозавершение в Neovim. В социальных сетях я получил множество рекомендаций использовать Strata с Qwen 3.8-Flash-Next, что и побудило меня исследовать эту возможность.

Что такое Strata?

Strata — это движок вывода для MoE моделей, таких как Qwen. Он работает по принципу, при котором только активные эксперты находятся в видеопамяти (VRAM), а остальные размещаются в оперативной памяти (RAM) или даже на диске. Так как эксперты составляют более 90% весов модели MoE, это позволяет запускать большие модели, такие как 180B, на GPU с меньшим объемом памяти. Strata также может работать на ноутбуках, что делает его универсальным инструментом.

Сравнение с другими движками

Перед тем как окончательно перейти на Strata, я изучил, как другие движки, такие как llama.cpp, vLLM и Transformers, обрабатывают случаи, когда модель MoE не помещается в память. Основные вопросы, которые необходимо учитывать:
  • Где находятся эксперты?
  • Где выполняется матричное умножение экспертов?
  • Что перемещается при каждом токене?
  • Llama.cpp использует mmap для отображения файла GGUF и может хранить экспертов на CPU. Это позволяет избежать передачи весов через PCIe, что эффективно, когда эксперты помещаются в RAM. Однако, когда они не помещаются, возникает проблема с кэшированием страниц. VLLM использует опцию --cpu-offload-gb для размещения весов в закрепленной RAM, но при этом нет кэширования, и каждый токен требует повторной передачи активных экспертов через PCIe. Transformers использует подход с копированием весов на GPU перед выполнением, что также не оптимально.

    Результаты тестирования

    Я провел тестирование Qwen 3.6-35B-A3B на A10G с 24 ГБ VRAM и достаточным объемом RAM. Результаты показали, что Strata значительно превосходит другие движки по производительности:
  • Strata: 82-88 токенов в секунду
  • llama.cpp: 63-64 токена в секунду
  • vLLM: 20.1 токена в секунду с оптимизированными флагами
  • Стратегия, использованная в Strata, заключается в том, чтобы загружать только те эксперты, которые выбирает маршрутизатор, что позволяет минимизировать объем передаваемых данных и оптимизировать использование ресурсов.

    Оптимизация Transformers

    Я решил оптимизировать Transformers для работы с Qwen 3.8-Flash-Next, зная, что производительность может оставаться недостаточной. Первоначальная версия использовала экспертов на диске и кэш LRU, что дало 10.1 токенов в секунду, в то время как стандартная версия Transformers достигала 32 токенов в секунду. Основной проблемой была неэффективная работа цикла, поэтому я изменил кэш на пул слотов, что позволило значительно улучшить производительность до 34.6 токенов в секунду.

    Заключительные результаты

    После всех оптимизаций производительность Transformers с использованием Strata составила:
  • Decode, 200 токенов: 13.9 токенов в секунду
  • Prefill, 4K промпт: 228 токенов в секунду
  • Decode после 6K документа: 12.4 токенов в секунду
  • Эти результаты показывают, что производительность Transformers близка к Strata, но все еще не достигает ее уровня. Основные задержки связаны с взаимодействием между хостом и GPU, что требует дальнейших улучшений в архитектуре.

    Выводы

    Работа с MoE моделями и оптимизация их производительности — это сложный, но увлекательный процесс. Использование Strata и потоковая передача только необходимых экспертов позволили добиться значительных результатов. Хотя Transformers не смогли превзойти Strata, полученные знания о том, как работают MoE и LLM, открывают новые горизонты для дальнейших исследований и оптимизаций в этой области.

    Комментарии (0)

    Войдите, чтобы оставлять комментарии.
    Пока нет комментариев. Будьте первым!