В мире генерации видео с использованием искусственного интеллекта традиционно пользователи отправляют запрос, ожидают завершения обработки и получают готовый клип, который невозможно изменить. Однако компания Visko Platform Inc. представила Orbis — новую платформу, которая позволяет стримить миры в реальном времени с постоянной памятью, интерактивностью и физически обоснованной генерацией на неограниченный срок.

Инновации Orbis

Основатель и CEO Visko, Цинь (Уилл) Инь, отметил, что "каждая система реального времени до этого момента сталкивалась с одной и той же проблемой: чем дольше мир работает, тем больше он распадается". Orbis был разработан для того, чтобы сохранять целостность — физическую, визуальную и нарративную — на протяжении всего времени, пока пользователь находится внутри него. С сегодняшнего дня любой желающий может ознакомиться с возможностями Orbis на сайте visko.ai.

Технология генерации видео

В отличие от традиционных моделей видео, которые оптимизируют каждый кадр сразу и показывают результат только по завершении всей обработки, Orbis генерирует видео поэтапно. "Orbis завершает первый кадр, стримит его, а затем генерирует следующий, основываясь на предыдущем, что ближе к предсказанию следующего токена в крупной языковой модели", — объяснил Инь. Visko была основана в 2025 году, и команда из 16 человек включает специалистов из таких компаний, как Apple, Google DeepMind, Meta, Amazon и Tesla. Стартап также сотрудничает с Google.

Новые модели мира

Orbis представляет собой новый класс моделей мира, которые работают непрерывно, а не просто рендерят видео. По словам компании, Orbis генерирует видео в реальном времени и позволяет пользователям изменять запрос в любой момент во время генерации, мгновенно отражая изменения в стриме. "Следующий парадигма ИИ — это не модель, которую вы вызываете, а процесс, который работает в унисон с самим миром", — утверждает Visko. Согласно техническому отчету, Orbis обеспечивает 4K видео при 24 кадрах в секунду в реальном времени и поддерживает генерацию на протяжении часа без потери качества или изменения цвета. "Генерация основана на физических динамиках: латентная модель мира оценивает возможные будущие состояния во время вывода, направляя результат к физически правдоподобному движению и динамике объектов", — добавили в компании.

Применение Orbis

Orbis может генерировать видео продолжительностью до одного часа и принимать команды в реальном времени. "Мы спроектировали структуру памяти так, чтобы непосредственно встраивать физику кадр за кадром. Это требует меньше вычислительных ресурсов, а эгоцентричные данные требуют длинного видео без перерывов", — пояснил Инь. В оценках Orbis показал лучшие результаты по сравнению с системами реального времени и длинного видео по эстетическому и техническому качеству.

Проблемы и перспективы

Несмотря на успехи, в отчете также указаны области, где Orbis отстает от других систем. Инь признал, что необходимо улучшить проектирование структуры памяти для достижения большей согласованности в генерации. Также требуется более детальное описание действий для обучения моделей видео. "Сейчас я могу попросить роботизированную руку сделать что-то, но у меня нет очень детального описания. Если я дам более точные инструкции, такие как поднять руку на 45 градусов, мы хотели бы интегрировать более точные данные в обучение этой модели", — добавил он.

Коммерческие возможности

Советники Visko, включая Майкла Джордана из Калифорнийского университета в Беркли, отмечают, что компания движется в одном из самых амбициозных направлений в области видео ИИ: создание живых, состоящих из состояний моделей, которые непрерывно воспринимают, предсказывают и взаимодействуют с миром в реальном времени, сохраняя физическую согласованность. По словам Джордана, "Visko предлагает архитектуру, которая имеет значительное технологическое преимущество по сравнению с традиционной генерацией коротких клипов". Orbis может также помочь в создании сред для тестирования крайних случаев для более безопасных автономных транспортных средств и гуманоидных роботов. Инь отметил, что "некоторые люди предполагают, что универсальные роботы появятся в домах через пять-десять лет, но, судя по моим разговорам с людьми в этой области, это может занять больше времени, как и с автономным вождением". Его цель — найти коммерческие возможности на этом пути.