NVIDIA представила новые открытые контрольные точки для платформы разработки моделей мира Cosmos 3, которые значительно расширяют возможности генерации интерактивных симуляций и сцен вождения с использованием многосенсорных данных. В новой версии Cosmos 3 добавлены четыре модели: 🌦️ Cosmos3-Nano-Transfer-Auto, 🚗 Cosmos3-Nano-Sim-Auto, 🎨 Cosmos3-Nano-Sim-Transfer и 🤖 Cosmos3-Nano-Sim-Bimanual. Все они являются примерами постобучения модели Cosmos 3 Nano и имеют 16 миллиардов обучаемых параметров. Модели используют OpenMDW1.1, что позволяет их коммерческое и некоммерческое использование в соответствии с условиями лицензии.

Новые контрольные точки и их возможности

Каждая из новых моделей предлагает уникальные функции, которые могут быть полезны в различных сценариях:

Cosmos3-Nano-Transfer-Auto: Эта модель генерирует синхронизированные данные вождения с использованием до 11 камер, включая рыбий глаз, и поддерживает совместную генерацию RGB и LiDAR. Она позволяет разработчикам варьировать условия окружающей среды, что расширяет возможности обучения и оценки.

Cosmos3-Nano-Sim-Auto: Это вариант Transfer-Auto, который поддерживает потоковую генерацию видео и LiDAR. Он позволяет быстро генерировать последовательные небольшие фрагменты синхронизированного видео, что идеально подходит для интерактивных симуляций.

Cosmos3-Nano-Sim-Transfer: Использует управление физическим симулятором и текстовые подсказки для создания цветных наблюдений, которые могут быть использованы в политике управления.

Cosmos3-Nano-Sim-Bimanual: Эта модель предсказывает, как будет развиваться среда в ответ на действия бимануального робота. Она поддерживает интерактивную симуляцию с использованием двух рук и позволяет генерировать наблюдения на основе действий робота или камеры.

Применение новых моделей в робототехнике и автономном вождении

В робототехнике и автономном вождении необходимо создавать среды, которые могут адаптироваться к изменяющимся сценам и точкам зрения. Новые контрольные точки предлагают взаимодополняющие способы их построения:

Sim-Bimanual предсказывает визуальные последствия действий, что позволяет лучше понять, как роботы взаимодействуют с окружающей средой.

Sim-Transfer превращает управление физическим симулятором в сгенерированные наблюдения, что позволяет исследовать, как изменения в управлении влияют на результаты.

Sim-Auto обеспечивает синхронизацию визуальных наблюдений с 3D-сенсорами, что позволяет исследователям изменять дорожные разметки и сигналы светофоров для изучения реакций автономных систем.

Технологические особенности и архитектура

Модель Cosmos 3 использует архитектуру Mixture-of-Transformers, которая соединяет отдельные сети обработки текста и генерации визуальных данных через механизм внимания. Генератор предсказывает каждый короткий сегмент на основе подсказки, доступных управляющих данных и истории генерации. Это позволяет эффективно обрабатывать видео и улучшать качество генерации.

Этапы обучения и адаптации

Обучение моделей проходит через несколько этапов: 1. Бидирекционное адаптирование: Изучение домена и его отношений между управлением и видео на основе полных записанных клипов. 2. Принуждение учителя: Предсказание каждого сегмента на основе ранее записанных наблюдений и доступных управляющих данных. 3. Дистилляция согласованности: Использование замороженного учителя для обучения студента, который генерирует каждый сегмент в четыре этапа денойзинга. 4. Самопринуждение: Обучение на сгенерированной истории студента, что позволяет улучшить качество предсказаний.

Заключение

NVIDIA стремится помочь исследователям и разработчикам создавать более богатые и отзывчивые симулированные миры. Открытые веса и рецепты постобучения предоставляют общую отправную точку для адаптации моделей, сравнения методов и внесения улучшений. Несмотря на достигнутые успехи, остаются сложные задачи, такие как измерение того, насколько модели поддерживают обучение и оценку политик, понимание их ограничений и улучшение в тех областях, где они не справляются.