IBM представила три обновления для своей коллекции Granite Speech, включая новую модель распознавания речи granite-speech-5.0-2b и обновленные версии двух существующих моделей: granite-speech-5.0-470m-turboctc и granite-speech-4.1-2b-plus. Эти модели охватывают широкий спектр задач в области распознавания речи для предприятий, включая высокоточные транскрипции и переводы, а также возможность работы с записями, где важно не только то, что было сказано, но и кто это сказал и когда.

Модель granite-speech-5.0-2b

Статус: Новая модель Что нового:

Более точное и устойчивое к шуму автоматическое распознавание речи (ASR)

Поддержка языковой идентификации

Возможность использования до 2000 терминов для смещения

Улучшенный перевод длинных текстов

Эта модель является преемником granite-speech-4.1-2b и сохраняет то же количество параметров. Она поддерживает транскрипцию на английском, французском, немецком, испанском, португальском и японском языках, а также перевод между этими языками и английским, включая итальянский и мандарин. Модель была обучена на 390,000 часах публичного аудио и синтетических данных, созданных для японского ASR, смещения по ключевым словам и перевода.

Основные улучшения по сравнению с 4.1-2B

Точность: Повышена точность распознавания английской речи на коротких отрезках и улучшено распознавание в условиях шума и реверберации.

Языковая идентификация: Возможность указания языка ввода в запросе для управления многоязычной транскрипцией.

Перевод: Улучшен перевод длинных и разговорных текстов, что делает его более естественным.

Списки ключевых слов: Поддержка списков до 2000 терминов для смещения транскрипции и перевода.

Пунктуация и капитализация: Возможность запрашивать форматированный вывод.

Модель доступна под лицензией Apache 2.0 и поддерживается в Transformers, vLLM, llama.cpp и mlx-audio для Apple Silicon.

Модель granite-speech-5.0-470m-turboctc

Статус: Обновленная модель Что нового:

Многоязычная транскрипция: поддержка английского, японского, испанского, немецкого, французского, итальянского и португальского языков.

Натуральная пунктуация и капитализация: транскрипции готовы к чтению без необходимости дополнительной обработки.

Устойчивость к сложным акустическим условиям: обучение, направленное на работу с реверберацией, делает модель более надежной в сложных условиях.

Скорость: Увеличена скорость работы до 19,870 RTFx, что на 1.6 раза быстрее, чем при запуске.

Модель granite-speech-4.1-2b-plus

Статус: Обновленная модель Что нового:

Атрибуция говорящих: Более точная идентификация говорящих.

Таймстемпы: Уменьшение среднего смещения таймстемпов более чем в два раза.

Производительность на длинных записях: Уменьшение ошибок на длинных тестовых наборах на 24%.

Смещение по ключевым словам: Ошибки на смещенных ключевых словах снизились на 45%.

Как выбрать модель?

Если вам нужна высокая точность транскрипции, перевод или смещение по ключевым словам, выбирайте granite-speech-5.0-2b.

Для быстрой транскрипции или работы на устройстве используйте granite-speech-5.0-470m-turboctc.

Если вы работаете с записями встреч или многоголосыми звонками, выбирайте granite-speech-4.1-2b-plus.

Все модели выпущены под лицензией Apache 2.0 с поддержкой в Transformers. Полные результаты оценок, детали архитектуры, данные для обучения и примеры использования доступны на страницах каждой модели. Рекомендуется использовать их в паре с Granite Guardian для развертываний в производственной среде, где требуется дополнительное обнаружение рисков.