Mixture-of-Experts (MoE) модели стали основой для создания языковых моделей с сотнями миллиардов параметров, однако они имеют значительный недостаток: каждый эксперт в модели занимает память во время вывода, даже если большинство из них не используется для обработки конкретного токена. Например, модель Qwen3.5-122B включает 256 экспертов в каждом из 48 слоев MoE, и 95% ее памяти (~250 ГБ) занимает именно эта часть. Однако для обработки любого токена используется лишь 8 экспертов из каждого слоя.

Проблема с памятью и обрезка экспертов

Обрезка экспертов является одним из самых прямых решений этой проблемы с памятью. Суть метода заключается в том, чтобы навсегда удалить наименее полезных экспертов. Обрезка позволяет избежать проблем с задержкой, связанных с динамической загрузкой и выгрузкой экспертов, не требует дополнительного обучения и хорошо сочетается с квантизацией. Несмотря на простоту идеи, сложность заключается в том, как определить, каких экспертов можно безопасно удалить. Существующие методы обрезки оценивают каждого эксперта независимо, присваивая им скалярные оценки важности, основанные на калибровочном наборе данных, и удаляя наименее важные эксперты в каждом слое. Эти методы называются первичными, так как они предполагают, что вклад каждого эксперта независим от других. Однако эксперты образуют кооперативные группы, и игнорирование этих взаимодействий может привести к неоптимальной обрезке, особенно при агрессивных темпах.

HOPE: Высокоуровневая обрезка экспертов

В нашей последней работе мы представили метод HOPE (Higher-Order Pruning of Experts), который учитывает взаимодействия между парами экспертов. При обрезке 50% экспертов HOPE показывает наилучшие результаты по сравнению с другими методами, достигая прироста до 6.1% в задачах агентного кодирования по сравнению с лучшим методом обрезки.

Как работает HOPE

В стандартной MoE каждый слой имеет E экспертов, и каждый входной токен xx направляется независимо к K таким экспертам (K=8 — типичный выбор). Выбор экспертов осуществляется с помощью слоя, который производит нормализованные веса gk(x) для каждого эксперта k. Выход слоя затем вычисляется как сумма активных экспертов. Однако эксперты в выбранном наборе T(x) не являются независимыми. Они образуют стабильные кооперативные группы, которые часто активируются вместе. Это наблюдение подтверждается как в нашей работе, так и в независимых исследованиях. Когда мы удаляем эксперта A, это может негативно сказаться на эксперте B, который часто сотрудничает с A. Первичные методы обрезки не учитывают такие взаимодействия, что приводит к потере кооперативных связей. HOPE решает эту проблему, минимизируя ошибку обрезки, которая зависит от взаимодействий между экспертами.

Оптимизация через матрицу взаимодействий

HOPE использует матрицу взаимодействий F, которая собирается на калибровочном наборе данных. Эта матрица позволяет оценить, как эксперты взаимодействуют друг с другом. Оптимальный набор для обрезки определяется путем решения квадратичной программы, что позволяет учитывать взаимодействия между экспертами.

Результаты и преимущества HOPE

Мы протестировали HOPE на трех моделях (Qwen3.5-122B, Qwen3.5-35B и GLM-4.5-Air) с использованием двух калибровочных наборов данных. HOPE показала лучшие результаты по сравнению с четырьмя первичными методами обрезки. При 50% обрезке HOPE достигла среднего ранга 1.58, в то время как следующий лучший метод, REAP, показал 2.42. Это особенно важно для развертывания, так как экономия памяти позволяет использовать более длинные контексты и более глубокое рассуждение.

Как использовать HOPE

Мы разработали пакет для работы с HOPE, который включает три шага: 1) калибровка; 2) решение; 3) обрезка. Пакет протестирован на нескольких моделях и позволяет легко интегрировать HOPE в существующие рабочие процессы.

Ограничения HOPE

HOPE показывает наибольшее преимущество при высоких темпах обрезки (40-50%). При более низких темпах (10-20%) первичные методы иногда могут быть конкурентоспособными. HOPE также обрезает каждый слой независимо и не учитывает взаимодействия между слоями.

Заключение

HOPE представляет собой значительный шаг вперед в области обрезки экспертов в MoE моделях, позволяя более эффективно использовать ресурсы и улучшать производительность моделей. Для получения дополнительной информации можно обратиться к нашей статье и репозиторию кода.