Проект Granite Switch, представленный весной прошлого года, предлагает модульный подход к разработке моделей, который значительно упрощает интеграцию различных технологий в одном решении. С выходом моделей Granite Switch 4.1, оснащенных адаптером Decision и самым быстрым ASR-моделем на OpenASR, пользователи могут эффективно переключаться между естественными языковыми ответами, общими и специализированными решениями, а также задачами распознавания речи — все это с одного хостингового конечного пункта.

Новые возможности Granite Switch 4.1

Модели Granite-Switch-4.1-8B и -30B включают в себя:

Новый Decision aLoRA для общего принятия решений (например, v1/systemone).

Специализированный Guardian aLoRA, который в среднем превосходит Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash по задачам, связанным с безопасностью.

Granite-Speech-5.0-Turbo-CTC, самый быстрый ASR-модель на OpenASR Leaderboard, встроенная для использования в задачах транскрипции.

Все три технологии, вместе с базовой моделью, составляют одну модель, которая занимает примерно столько же VRAM на GPU, сколько и базовая модель. Это означает, что пользователи получают больше возможностей с меньшим количеством GPU. Благодаря тому, что адаптеры Switch были разработаны как кэш-эффективные Activated LoRAs, кэш KV, созданный из генерации базовой модели, может быть повторно использован для любых последующих решений на основе адаптера.

Высокая скорость обработки запросов

С учетом недавних вкладов команды в vLLM для ускорения вывода низкоранговых адаптеров, а также совместно расположенного ASR-кодировщика, модели Granite Switch 4.1 могут быстро переключаться между запросами чата, решениями и устными запросами. В нашем пространстве Speech-to-Decisions можно увидеть, как granite-switch-4.1-8b транскрибирует аудио, генерирует резюме, проверяет на наличие вредоносного контента и тестирует 15 других пользовательских флагов — все это выполняется в реальном времени на одном конечном пункте.

Библиотеки Granite: Оригинальные модели принятия решений

Модели принятия решений не являются новыми. В предыдущем релизе Granite Libraries была представлена репозиторий специализированных адаптеров "моделей принятия решений" и других специализированных адаптеров задач, которые могут быть собраны в пользовательские модели Granite Switch. В то время как Jev и другие закрытые модели принятия решений фокусируются на универсальности, наши специализированные адаптеры granitelib могут превосходить общие модели в специализированных классификационных задачах.

Сравнение производительности

В "гонке" между Granite-Switch-4.1-30B (замороженная базовая модель Granite + 4 специализированных aLoRAs) и Jev-27B (замороженная базовая модель Qwen + 1 универсальный адаптер принятия решений), Granite-Switch-4.1-30B смогла завершить реальный 5-шаговый рабочий процесс RAG значительно быстрее своего конкурента.

Создание и расширение собственных моделей Granite Switch

Модели Granite-Switch-4.1-8B и -30B поставляются с "батареями в комплекте". Это модели Granite Switch, которые мы собрали с заранее определенным набором полезных адаптеров. Однако вы не обязаны использовать нашу версию. Каждый может создать свою собственную модель Granite Switch, комбинируя адаптеры из Granite Libraries, чтобы наилучшим образом соответствовать своим потребностям. В будущем мы видим огромные возможности для сообщества в создании и расширении моделей Granite Switch с использованием пользовательских и сторонних адаптеров. Мы планируем выпустить SDK для адаптеров для обучения адаптеров в Mellea, а также другие учебные материалы и поддержку Granite Switch.

Доступность и совместимость

Granite Switch 4.1 доступен в размерах 8B и 30B, что позволяет ему вписаться в любые рабочие нагрузки. Модель работает в vllm с плагином и имеет нативную поддержку вывода в llama.cpp и на других платформах, что позволяет модели без проблем заменять вызовы API /v1/systemone везде, где они используются, одновременно обслуживая традиционные запросы чата с общим кэшем префиксов.

Ресурсы для начала работы

Карты моделей Granite Switch 4.1

Демо Speech-to-Decisions

Репозиторий Granite Switch на GitHub

Оригинальный блог о релизе Granite Switch и Granite Libraries

Создайте свою собственную aLoRA v LoRA гонку на Colab