Введение в MonsterHouse

MonsterHouse — это интерактивная проекция, созданная для Хэллоуина, которая взаимодействует с посетителями, отвечая голосом ворчливого старого пирата. Эта концепция была реализована с помощью технологий NVIDIA, включая Nemotron Voice Agent, Nemotron ASR, Nemotron 3.5 Bolt E4B 4GB, Magpie TTS Zeroshot и Audio2Face-3D. Все это работает на одной рабочей станции, создавая уникальный опыт для детей, которые приходят за конфетами.

Как работает MonsterHouse

MonsterHouse состоит из нескольких ключевых компонентов:

Слушание: NVIDIA Nemotron 3 ASR преобразует речь посетителей в текст.

Обработка: Nemotron 3.5 Bolt E4B 4GB, малый языковой модель для разговорных агентов, формирует ответы.

Говорение: NVIDIA Magpie TTS Zeroshot озвучивает ответы на основе короткого образца голоса персонажа.

Анимация: NVIDIA Audio2Face-3D превращает чистую речь в анимацию рта в Unreal Engine 5.

Визуализация: NVIDIA Nemotron 3 Nano Omni описывает костюмы, а YOLO и ByteTrack отслеживают посетителей.

Управление: NVIDIA Nemotron Voice Agent координирует все процессы на одной рабочей станции с графическими картами NVIDIA RTX PRO 6000 Blackwell Max-Q и NVIDIA RTX PRO 4000 Blackwell.

Дизайн MonsterHouse

Первым шагом в создании MonsterHouse стало представление о том, как будет выглядеть его "рот". Дверь гаража была задумана как старая, с зазубринами, открывающаяся с огнем, освещающим подъезд. Анимация рта была создана с помощью кастомного риггинга и экспортирована в Unreal Engine, где добавлены визуальные эффекты.

Создание характера

Чтобы сделать MonsterHouse более интересным, была разработана предыстория: дом построен из древесины затонувшего пиратского корабля, что объясняет его ворчливый характер. Взаимодействие с посетителями начинается с ворчливых замечаний, но добрые слова, такие как "пожалуйста" и "спасибо", могут смягчить его.

Технологическая основа

Для обеспечения взаимодействия использовалась модель Bolt E4B, которая была выбрана после тестирования более дюжины моделей. Она обеспечивает живой диалог, а LoRA адаптер формирует характер, основанный на более чем 5000 примерах диалогов. Это позволяет дому реагировать на посетителей, сохраняя при этом свою ворчливую натуру.

Аудио и анимация

Для обеспечения быстрой реакции MonsterHouse использует кэшированные аудиозаписи и заранее подготовленные фразы. Это позволяет дому говорить, пока формируется полный ответ. NVIDIA Magpie TTS Zeroshot отвечает за озвучивание, а Audio2Face-3D управляет анимацией рта, синхронизируя звук и движение.

Управление и интерфейс

Создание интерфейса управления стало важной частью проекта. Он позволяет управлять настроением, следить за разговором и изменять голосовые настройки. Также предусмотрены функции для тестирования и мониторинга производительности.

Визуальное восприятие

NVIDIA Nemotron 3 Nano Omni добавляет визуальный контекст, интерпретируя изображения с камер и описывая костюмы посетителей. Это позволяет дому реагировать на конкретные наряды, добавляя интерактивности.

Заключение

Хотя MonsterHouse еще не достиг полной автономности, проект демонстрирует, как современные технологии могут создать уникальный опыт для посетителей. В будущем планируется автоматизация раздачи конфет и улучшение анимации. Цель состоит в том, чтобы дети могли взаимодействовать с ворчливым домом и, возможно, получить конфеты в ответ на доброту.