Memories.ai разрабатывает уникальную инфраструктуру данных для компаний в области робототехники, объединяющую стандартизированный сбор видео и аннотацию с помощью искусственного интеллекта. Это позволяет превращать повседневные эгоцентрические видеозаписи в качественные обучающие данные для роботов. Штаб-квартира компании находится в Сан-Франциско, и её основная задача — помочь роботам лучше понимать физический мир.

Платформа на основе видеоданных

Memories.ai утверждает, что её платформа видеоданных создана для физического ИИ, робототехники, моделирования мира, моделей "видео-язык-действие" (VLA) и гуманоидов. Она предлагает кураторское хранилище видеоданных, состоящее из эгоцентрического видео, а также услуги по аннотации и инструменты для создания наборов данных, которые помогают в обучении моделей роботов. Компания получает эгоцентрическое видео через сборщиков данных и партнеров, предоставляя им стандартизированное оборудование для захвата, которое описывается как модульная камера, и единый процесс для сбора материалов в согласованном формате. Затем Memories.ai обрабатывает и аннотирует данные с помощью своих моделей и делает их доступными через свою инфраструктуру данных.

Исследования и публикации

Memories.ai активно делится результатами своих исследований, публикуя их на своем репозитории GitHub. Компания также представила свои работы на таких мероприятиях, как ICLR, NeurIPS и EMNLP, что подчеркивает её активное участие в научном сообществе.

Видение физического интеллекта

"Наша цель — ускорить развитие физического интеллекта, и мы стремимся быть на переднем крае робототехники," — отметил Шон Шен, соучредитель и генеральный директор Memories.ai, в недавнем интервью. "Мы действительно хотим интегрировать робототехнику в реальный физический мир, и это видение всей нашей команды. Мы готовы делать всё, что поможет ускорить его реализацию." Шен добавил, что компания сосредоточена на обработке собственных данных, а не на сборе видео с различных устройств и источников. После получения данных от партнеров, Memories.ai обрабатывает и аннотирует отснятый материал самостоятельно. В прошлом месяце компания сообщила, что использует NVIDIA Cosmos для интерпретации видео, поступающего в её хранилище данных. Затем она курирует эти данные для последующего обучения Cosmos с целью решения задач, стоящих перед клиентами в области робототехники и промышленности.

Модульный дизайн и долгосрочные партнерства

Memories.ai утверждает, что её система имеет модульный дизайн, который поддерживает разнообразные задачи и ракурсы камер. Шен подчеркнул, что компания хочет развиваться вместе с индустрией по мере совершенствования моделей ИИ для более широкого применения в робототехнике. "Мы хотим быть долгосрочными партнерами," — добавил он. "Мы не просто хотим продавать вам данные. В будущем мы хотим работать с вами над моделями и инфраструктурой, потому что понимаем, что ваши ресурсы тоже будут ограничены." Для клиентов в области робототехники Memories.ai планирует адаптировать данные под их нужды, предлагать эксклюзивные или неэксклюзивные соглашения и потенциально расширить свою роль в создании моделей и видеоинфраструктуры.