Недавно была представлена новая модель синтеза речи Phonon, которая работает непосредственно на вашем устройстве, без необходимости в сервере или сети. Это означает, что все, что вы вводите, остается у вас, и вы можете использовать Phonon в любых условиях. В этой статье мы рассмотрим, почему была создана эта модель, что она может делать, какие демонстрации были представлены и как она проявила себя на лидерборде Open TTS от Hugging Face.

Почему голос должен жить на вашем устройстве

Большинство технологий голосового ИИ работают в облаке, что означает, что каждое произнесенное предложение отправляется на сервер. Phonon же функционирует на вашем устройстве, что позволяет сохранить текст локально и использовать голос без подключения к сети. Модель Phonon 31m имеет лицензию Apache 2.0, что позволяет использовать ее бесплатно, даже в коммерческих продуктах. Другие модели имеют лицензию CC BY-NC, что делает их бесплатными для некоммерческих проектов, а стоимость для коммерческих продуктов зависит от числа пользователей, а не от объема генерируемой речи. Создание качественного голоса для небольшого устройства всегда было сложной задачей. Можно было сделать модель компактной, но тогда качество звука оставляло желать лучшего. Либо можно было создать качественный звук, но модель не помещалась бы на устройство. Мы решили обе эти задачи. Phonon был анонсирован в апреле, и в течение следующих шести месяцев мы работали над ним с партнерами и ранними пользователями, что позволило нам улучшить модель на основе их отзывов. Модели стали меньше, добавились новые языки и поддержка кастомных голосов через клонирование и дизайн голосов.

Что мы выпустили

Phonon доступен в двух размерах — около 65 МБ и 75 МБ. Эти модели поддерживают английский, французский, немецкий, испанский и португальский языки. В них более 100 встроенных голосов, и вы можете создать свой собственный в Gradium Studio. Phonon также справляется с важными задачами, с которыми часто сталкиваются другие системы TTS, такими как произношение телефонных номеров, дат и кодов. Модель работает на телефонах, ноутбуках, одноплатных компьютерах и в браузере. Phonon 31m говорит на английском и доступен под лицензией Apache 2.0, а Phonon 40m охватывает все пять языков под некоммерческой лицензией.

Демонстрации и первые проекты

Запуск Phonon сопровождался демонстрациями от друзей и нашей команды. Например, на Apple Watch с отключенным Wi-Fi Phonon пошагово объясняет процесс приготовления кофе. На iPhone без сигнала он помогает считать количество повторений во время тренировки. Робот под названием Lamp от компании Autonomous говорит в образе персонажа, а в браузере оффлайн-игра с динозавром превращается в радиошоу с ведущим Рексом. Также была представлена научно-фантастическая игра, озвученная на устройстве игрока, и чтение произведений Пруста по страницам. Команда Hugging Face разработала интеграцию с Transformers, чтобы разработчики могли использовать Phonon с первого дня. Разработчики начали создавать проекты на его основе, такие как ExecuTorch, который запускает Phonon на GPU посетителя в браузере, и Micdrop, который интегрирует его в приложения Node.js. За первые две недели Phonon был скачан более 200,000 раз и продолжает набирать популярность на Hugging Face.

Как Phonon проявил себя на лидерборде Open TTS от Hugging Face

Лидерборд Open TTS — это новый проект от Hugging Face, который позволяет разработчикам сравнивать открытые модели TTS и слушать их рядом. Более 9,000 моделей TTS представлены на платформе Hugging Face, и они оцениваются по нескольким критериям: понятность (ошибки в словах), скорость (время до первого звука) и естественность (UTMOS для английского и KOMOS для корейского). Phonon занимает первое место по понятности на немецком и испанском языках и входит в тройку лучших по всем языкам, которые мы оценивали, рядом с моделями, которые в 100 раз больше по размеру. Скорость работы Phonon также впечатляет — модели показывают лучшие результаты в бенчмарке по времени до первого звука.

Инференс

Для Phonon была разработана новая инфраструктура инференса под названием ptts, которая поддерживает более 10 бэкендов: CPU (Intel, Arm, WebAssembly), GPU (CUDA, Vulkan, Metal, WebGPU) и NPU (Apple Core ML, Snapdragon). Phonon также доступен в 🤗 Transformers с версии 5.21 как его эталонная реализация на PyTorch. ptts запускает один поток на устройстве, в то время как Transformers ориентирован на производительность GPU: пакетная генерация, полная компиляция графа torch.compile для синтеза речевых данных в больших масштабах. Phonon генерирует аудио латенты авторегрессивно: каждый шаг выводит латент, который используется в качестве следующего входа, а потери при обучении вычисляются на их основе. Латенты являются входами, выходами и целями модели, как текстовые токены для языковой модели. Кодек, сопоставляющий аудио с латентами, выполняет роль токенизатора.

Что дальше

Phonon может говорить любым голосом. Вы можете клонировать голос из короткой записи с согласия говорящего или описать новый голос в текстовом формате в Gradium Studio. Затем загрузите файл голоса, загрузите его в Phonon, и он будет работать полностью на устройстве. Мы также обучаем кастомные модели Phonon с дизайнерами-партнерами. Если у вас ограниченный бюджет памяти, мы можем сделать модель меньше. Если вам нужны корейский, арабский или японский языки, мы можем обучить их тоже. Если ваш продукт имеет свою собственную лексику, мы можем провести дообучение на ней. Свяжитесь с нами и расскажите, что вам нужно. Благодарим команду Hugging Face и всех, кто попробовал Phonon в его первые две недели. Phonon — это наш первый открытый релиз. Попробуйте его и расскажите, что вы создаете.