
В последние годы наблюдается рост интереса к моделям с множественными экспертами (MoE), которые позволяют значительно уменьшить требования к памяти при сохранении высокой производительности. Одним из таких решений является Strata — движок вывода для MoE моделей, который позволяет эффективно управлять памятью и ресурсами. В этой статье мы рассмотрим, как использование Strata и оптимизация потоковой передачи экспертов могут приблизить производительность к онлайн моделям, таким как Qwen 3.8, и какие результаты были достигнуты в ходе экспериментов.
Оборудование и начальные условия
Для экспериментов использовались два устройства: мощный ПК с двумя видеокартами RTX 4090, названный "Orthrus" (в честь двухголового пса из греческой мифологии), и MacBook M5 с 32 ГБ унифицированной памяти. Orthrus работает на Windows 11, что обусловлено потребностями детей, играющих в игры. Первоначально была настроена двойная загрузка с Ubuntu, но место на диске быстро закончилось из-за игр.
Первые шаги с Qwen 3.8
Первый эксперимент заключался в запуске модели Qwen 3.8 27B с использованием llama.app на Orthrus и доступе к ней с MacBook через pi. Модель Qwen выполняет задачи программирования, в то время как онлайн модель, такая как Opus, управляет процессом. Вторая видеокарта используется для модели FIM, которая отвечает за автозавершение в Neovim. В социальных сетях я получил множество рекомендаций использовать Strata с Qwen 3.8-Flash-Next, что и побудило меня исследовать эту возможность.
Что такое Strata?
Strata — это движок вывода для MoE моделей, таких как Qwen. Он работает по принципу, при котором только активные эксперты находятся в видеопамяти (VRAM), а остальные размещаются в оперативной памяти (RAM) или даже на диске. Так как эксперты составляют более 90% весов модели MoE, это позволяет запускать большие модели, такие как 180B, на GPU с меньшим объемом памяти. Strata также может работать на ноутбуках, что делает его универсальным инструментом.
Сравнение с другими движками
Перед тем как окончательно перейти на Strata, я изучил, как другие движки, такие как llama.cpp, vLLM и Transformers, обрабатывают случаи, когда модель MoE не помещается в память. Основные вопросы, которые необходимо учитывать:
Где находятся эксперты?
Где выполняется матричное умножение экспертов?
Что перемещается при каждом токене?
Llama.cpp использует mmap для отображения файла GGUF и может хранить экспертов на CPU. Это позволяет избежать передачи весов через PCIe, что эффективно, когда эксперты помещаются в RAM. Однако, когда они не помещаются, возникает проблема с кэшированием страниц.
VLLM использует опцию --cpu-offload-gb для размещения весов в закрепленной RAM, но при этом нет кэширования, и каждый токен требует повторной передачи активных экспертов через PCIe. Transformers использует подход с копированием весов на GPU перед выполнением, что также не оптимально.
Результаты тестирования
Я провел тестирование Qwen 3.6-35B-A3B на A10G с 24 ГБ VRAM и достаточным объемом RAM. Результаты показали, что Strata значительно превосходит другие движки по производительности:
Strata: 82-88 токенов в секунду
llama.cpp: 63-64 токена в секунду
vLLM: 20.1 токена в секунду с оптимизированными флагами
Стратегия, использованная в Strata, заключается в том, чтобы загружать только те эксперты, которые выбирает маршрутизатор, что позволяет минимизировать объем передаваемых данных и оптимизировать использование ресурсов.
Оптимизация Transformers
Я решил оптимизировать Transformers для работы с Qwen 3.8-Flash-Next, зная, что производительность может оставаться недостаточной. Первоначальная версия использовала экспертов на диске и кэш LRU, что дало 10.1 токенов в секунду, в то время как стандартная версия Transformers достигала 32 токенов в секунду. Основной проблемой была неэффективная работа цикла, поэтому я изменил кэш на пул слотов, что позволило значительно улучшить производительность до 34.6 токенов в секунду.
Заключительные результаты
После всех оптимизаций производительность Transformers с использованием Strata составила:
Decode, 200 токенов: 13.9 токенов в секунду
Prefill, 4K промпт: 228 токенов в секунду
Decode после 6K документа: 12.4 токенов в секунду
Эти результаты показывают, что производительность Transformers близка к Strata, но все еще не достигает ее уровня. Основные задержки связаны с взаимодействием между хостом и GPU, что требует дальнейших улучшений в архитектуре.
Выводы
Работа с MoE моделями и оптимизация их производительности — это сложный, но увлекательный процесс. Использование Strata и потоковая передача только необходимых экспертов позволили добиться значительных результатов. Хотя Transformers не смогли превзойти Strata, полученные знания о том, как работают MoE и LLM, открывают новые горизонты для дальнейших исследований и оптимизаций в этой области.
Комментарии (0)