Современные роботы обучаются выполнять множество задач, таких как складывание одежды, сортировка деталей и работа с незнакомыми объектами. Однако многие из этих демонстраций имеют узкий фокус и не объясняют, что именно робот усвоил и почему он может ошибаться. Для изучения сложных систем ученые часто начинают с небольших контролируемых сред, таких как чашки Петри или террариумы, где можно изменять условия и наблюдать за эффектами. Робототехника нуждается в таких средах, которые позволят проводить подобные исследования — исследователи должны иметь возможность изменять обучающие данные или дизайн модели, повторять тесты и отслеживать причины неудач. Сегодня мы представляем новую структуру для создания таких сред, которую мы называем FoundationWorlds. Каждая из них сочетает контролируемый симулированный мир, нацеленный на изучение робототехники в конкретной среде, с инструментами для автоматической генерации задач и обучающих демонстраций, а также метриками для измерения поведения робота с течением времени. Это создает условия для изучения вопросов, таких как как модели улучшаются по мере увеличения объема обучающих данных, и как лучше всего сочетать высокоуровневое рассуждение с точным физическим контролем. Первый из наших FoundationWorlds — ToyBlocks: открытая симуляционная платформа, построенная вокруг роботизированной руки и блоков на столе. Настройка преднамеренно проста, но робот все равно должен рассуждать о том, как блоки взаимодействуют и как их расположить, толкая, переворачивая и складывая. ToyBlocks автоматически генерирует демонстрации, которые представляют собой записи выполнения задач роботом в симуляции, без необходимости в трудоемкой телеоперации, когда человек удаленно управляет роботом. Исследователи могут легко варьировать эти обучающие опыты. Например, команда может сгенерировать больше демонстраций толкания или переворачивания, а затем оценить производительность по задачам, которые не были включены в обучение. ToyBlocks построен на основе нашей предыдущей работы в области открытого обучения роботов, включая MolmoAct 2, MolmoBot и MolmoSpaces. Он предоставляет исследователям возможность изучать вопросы робототехники в преднамеренно ограниченной области. В качестве FoundationWorld ToyBlocks разработан с учетом четырех требований: (1) реалистичная физика и внешний вид, (2) автоматическая генерация задач и демонстраций в масштабе, (3) задачи, которые сочетают рассуждение с ловкостью, и (4) широкий охват возможных задач в пределах области. ToyBlocks не просто о подборе и укладке блоков: изображения и буквы на лицах блоков позволяют выполнять задачи поиска, сортировки и расстановки. Роботу может понадобиться перевернуть блок, чтобы увидеть скрытую сторону, прежде чем решить, куда он должен быть помещен. Случайная генерация домена — изменение размера блоков, высоты стола и других физических свойств от сцены к сцене — проверяет, насколько хорошо модели обобщаются по мере изменения геометрии. ToyBlocks автоматически генерирует навыки (поведения для краткосрочных задач) и демонстрации задач, которые могут использоваться для обучения моделей или адаптации ранее обученных моделей через дополнительное обучение (доработка). Высокоуровневые модели рассуждения принимают решения о том, что делать; модели низкоуровневых действий контролируют движения робота. Эта структура также может использоваться для легкого проектирования экспериментов и проверки гипотез. ToyBlocks использует обучение с подкреплением и планирование движений, что вычисляет, как робот должен двигаться, чтобы генерировать навыки для краткосрочных задач, которые включают короткие последовательности действий. Обучение навыкам происходит в Isaac Lab, открытой платформе Nvidia для обучения роботам в симуляции. Через проб и ошибок эти политики — модели, которые выбирают действия робота — обучаются не-преенсивным навыкам, таким как толкание блока по столу или переворачивание его на другую сторону без поднятия. Для генерации демонстрационных данных планировщик задач и движений (TAMP) автоматически выбирает и последовательно организует навыки, необходимые для решения задачи, и планирует движения робота между ними. Запуск каждого плана в симуляции создает набор данных записанных демонстраций с метками, описывающими, какую задачу или навык выполняет робот. ToyBlocks масштабирует генерацию данных, создавая и выполняя сотни таких планов параллельно на одном графическом процессоре (GPU), достигая до 24 раз реального времени. Действуя на основе наблюдений с датчиков, модель сталкивается с проблемой восприятия: ей нужно оценить позу блока — его положение и ориентацию, которые симулятор может предоставить напрямую. Чтобы отразить реальные условия, ToyBlocks обучает модели, которые сопоставляют необработанные данные с датчиков с действиями. Выполнение Molmo 2 (высокоуровневая модель) и ManiFlow (низкоуровневая модель), обученных в ToyBlocks, демонстрирует, как высокоуровневая модель выбирает навыки, такие как вращение и переворачивание, указывая на соответствующий блок через интерфейс указания, в то время как низкоуровневая модель управляет симулированной рукой для выполнения заданных навыков. Контролируемый генератор данных ToyBlocks позволяет пользователям создавать обучающие смеси, которые подчеркивают определенные навыки или заполняют пробелы в существующих наборах данных. Исследователи могут изучать, сколько данных нужно модели и какие опыты помогают ей обобщать на невидимые задачи. Например, они могут проверить, улучшает ли добавление демонстраций вращения и подбора укладку, или варьировать баланс примеров внутри и вне определенной области рабочего пространства, оценивая свои выборы по задачам, которые не были включены в обучение. Важно, что оценка обученных моделей генерирует метрики, выходящие за рамки коэффициентов успеха; она предоставляет информацию, такую как скорость выполнения, силы, действующие на объекты, и прогресс задачи, измеряемый по тем же спецификациям, что и модуль планирования. Интерфейс веб-страницы позволяет пользователям подключать Claude — или другую передовую модель — и использовать естественный язык для указания роботу или выполнения задач, предлагая способ исследовать, как модель планирует и действует без необходимости в экспертизе в области робототехники. Исследования, основанные на ToyBlocks, используют его для изучения того, как данные для обучения и методы влияют на производительность, пространственное рассуждение, обобщение на новые буквы и внешность блоков, многоплановое планирование, перенос на физические роботы и передовые модели, которые действуют через инструменты. Пользователи могут легко разрабатывать свои собственные задачи и меры для изучения других вопросов — например, выполняет ли модель лучше, когда она выбирает объекты, указывая на них, или выдавая текстовые команды, такие как "возьми желтый блок". Низкоуровневые модели действий, такие как модели "язык-визуализация-действие" (VLA), сопоставляют языковые инструкции и визуальные наблюдения с действиями робота. Предполагается, что, предварительно обучаясь на масштабных наборах данных, они могут быстро обобщать на разные сценарии или конкретные рабочие пространства. Однако данные о том, насколько хорошо эти модели действий обобщаются, остаются противоречивыми. Некоторые исследования показывают, что эти модели действий хрупки к изменениям во входных данных, таким как различные раскладки объектов и освещение, в то время как другие показывают, что VLA хорошо обобщаются. Мы утверждаем, что эти исследования часто опираются на реальные наборы данных с ограниченной гибкостью в пространственных вариациях. ToyBlocks позволяет нам проверить, насколько хорошо модели действий обобщаются в простой, легко воспроизводимой среде с значительным разнообразием в пространстве задач. Мы разрабатываем тесты на обобщение, которые варьируют последовательности навыков, необходимых для выполнения инструкции, буквы или цвета на блоках и количество блоков в сцене. Исследования по пространственному обобщению для моделей VLA показывают, что, несмотря на предварительное обучение на больших масштабах, эти популярные модели действий обобщаются плохо в начальных результатах. Мы улучшаем обобщение и анализируем вклад каждой техники. Долгосрочные задачи, которые требуют множества шагов, позволяют нам измерить, насколько хорошо модели могут планировать последовательность действий для их решения. Наша структура позволяет создавать такие долгосрочные задачи и создавать оракулы — эталонные компоненты, которые предоставляют правильные планы или действия — как на высоком, так и на низком уровнях. Это позволяет нам изолировать, была ли причиной неудачи модели высокоуровневая планировка или низкоуровневое выполнение. Наши эксперименты с агентными системами проверяют, как передовые модели планируют и действуют через вызовы инструментов. Мы изучаем три настройки, используя Claude Opus 5.5. В настройке поиска и написания мы открываем навыки ToyBlocks через Протокол Контекста Модели (MCP), стандарт для подключения AI-приложений к инструментам. Агент видит сцену через изображения с камеры, вызывает навыки, такие как подбор, переворот или вращение, указывая на пиксель, и решает, когда искать, строить или объявлять задачу завершенной или невозможной. ToyBlocks включает структуру, лежащую в основе этих экспериментов, которая также управляет описанным ранее интерфейсом на естественном языке. В одной из задач агент должен был найти блоки с соответствующими буквами среди до восьми блоков в сцене. Важно, что 50% сцен не имели блоков с необходимыми буквами, что делало задачу невыполнимой. В этом случае мы требовали от агента заявить, что задача невозможна. Мы обнаружили, что в этом эксперименте агент смог успешно решить или правильно объявить невозможными 63% задач. Ошибки в основном были вызваны путаницей между буквами, похожими на другие буквы (13%), или выбором неправильной ориентации буквы в стопке (15%). Наши результаты также показывают, что агент смог решить задачу более эффективно, когда блоки имели семантические регулярности или паттерны, используя такие паттерны для рассуждения о скрытых лицах. Например, в большинстве невыполнимых сцен, когда блоки не имели паттернов, агент правильно смотрел на все лица блоков, прежде чем объявить невозможность, в то время как он смог объявить невозможность значительно быстрее, когда блоки имели семантические паттерны. Третья экспериментальная установка спрашивает, может ли агент узнать, как его навыки работают, используя эксперименты, как это делает ученый. Когда навык ведет себя неожиданно, агент формирует гипотезу, разрабатывает небольшой тест и пересматривает свое понимание на основе результата. Мы расширяем эту идею, позволяя агенту проводить свои собственные эксперименты и писать свои собственные описания навыков на основе того, что он находит. Эти изученные описания повышают коэффициенты успеха с 24% с описаниями по умолчанию до 63%, превосходя 36%, достигнутые с описаниями, написанными человеком-экспертом. ToyBlocks соединяет генерацию данных, обучение и оценку в одной контролируемой среде, чтобы исследователи могли изучать, как роботы учатся с течением времени и тестировать, как изменения в модели или ее обучающих данных влияют на поведение робота. Мы выпускаем симуляционные активы, процедурные генераторы задач и демонстраций, автоматически сгенерированные демонстрации, два обученных модели, демонстрирующих, что может сделать эта структура (одна на основе Molmo 2 и одна на основе ManiFlow), код обучения и код оценки и валидации. Это позволяет другим командам создавать свои собственные обучающие смеси и исследовать режимы неудач, выходящие за рамки тех, что были охвачены в наших первоначальных экспериментах. Наша первая публикация данных является доказательством с 85,336 долгосрочными демонстрациями, каждая из которых включает около 6–12 демонстраций навыков, в зависимости от набора. Первоначальные наборы данных охватывают почти 1,600 часов данных выполнения робота и 144 миллиона кадров. В течение нескольких недель мы планируем вторую публикацию с более крупным набором данных, большим количеством навыков и более комплексным бенчмаркингом. Мы также добавим полностью интегрированную возможность обучения с подкреплением, которая не содержится в текущем пакете. Другие направления для ToyBlocks включают бимануальную (двуручную) манипуляцию и ловкие роботизированные руки, оснащенные датчиками силы и касания для изучения движений и задач, которые включают частый физический контакт. Мы также исследуем игру с неструктурированными кучами блоков как способ сбора данных и изучения того, как новые поведения и задачи могут возникать через взаимодействие. С ToyBlocks мы стремимся продвинуть науку о обучении роботов к будущему, где роботы могут надежно применять то, что они узнали, к незнакомым задачам и средам. Мы призываем исследовательское сообщество исследовать ToyBlocks для своих собственных исследований и даже как основу для создания собственных FoundationWorlds.