На платформе Hugging Face появился новый модельный проект под названием Beam by Reflection, который стал первым продуктом новой лаборатории Reflection в США. Эта модель представляет собой смесь экспертов (MoEs) с впечатляющими 501 миллиардом параметров, из которых 23 миллиарда активны на токен. Beam поддерживает текстовые входные данные и имеет контекстное окно в 1 миллион токенов. Модель выпущена под лицензией Apache 2.0 и ориентирована на задачи программирования и агентного использования.

Основные характеристики Beam

Beam предназначен для команд, которые хотят использовать масштабные модели на собственном оборудовании, инфраструктуре или в облаке, а также настраивать их под свои задачи. Модель поставляется с собственным открытым Rust-основанным хранилищем, которое обеспечивает максимальную производительность. Beam включает в себя нативную реализацию трансформеров, а также библиотеки для работы с vLLM и SGLang.

Технические характеристики

Параметры: 501B (23B активных на токен)

Количество слоев: 52

Эксперты на слой: 256, 8 из которых активны на токен

Контекстное окно: 1M токенов

Форматы контрольных точек: BF16, FP8, NVFP4

Поддержка различных значений рассуждений: "низкий", "средний" (по умолчанию), "высокий", "очень высокий", "максимальный".

Архитектура модели

Beam использует гибридное внимание, которое хорошо работает с длинными контекстами. Каждый слой кэширует 2048 значений на токен, что позволяет эффективно обрабатывать большие объемы данных. В отличие от стандартных трансформеров, Beam использует уникальные методы обработки остаточных потоков и внимания, что позволяет сохранять точность при увеличении длины контекста.

Механизм внимания

Декодер Beam состоит из 52 слоев с размером скрытого состояния 5120. Большинство слоев используют скользящее окно внимания по предыдущим 512 токенам, а каждая шестая и последняя слои обращаются ко всему контексту. Это позволяет сохранить баланс между локальным и глобальным вниманием.

Механизм экспертов

Beam включает в себя 256 экспертов, каждый из которых представляет собой MLP с промежуточным размером 2560. Эти эксперты хранят 98,4% параметров модели. При обработке токена активируется лишь небольшая часть экспертов, что позволяет Beam работать с эффективностью меньшей модели, сохраняя при этом мощность большой.

Поддержка и интеграция

Beam предлагает поддержку на уровне дня-0 в библиотеках transformers, SGLang и vLLM. Для работы с моделью достаточно установить последнюю версию библиотеки transformers и использовать встроенные функции для генерации текста.

Возможности пост-тренировки

Beam можно дообучать для специфических задач. Например, можно использовать TRL для supervised fine-tuning, чтобы адаптировать модель к вашим данным. Также доступны рецепты для обучения с использованием reinforcement learning.

Примеры использования

Beam предлагает возможность участия в конкурсе на 10,000 долларов для лучших проектов, использующих модель. Участники могут создавать демонстрации, генерировать синтетические наборы данных или разрабатывать RL-среды.

Заключение

Beam by Reflection представляет собой мощный инструмент для разработчиков и исследователей, желающих использовать передовые технологии в своих проектах. С открытым доступом и возможностью настройки, эта модель открывает новые горизонты в области искусственного интеллекта.