Игра или имитация? Как ИИ-агенты учатся через игру


В недавних экспериментах исследователи обнаружили, что ИИ-агенты, оставленные на виртуальном острове, начали проявлять поведение, напоминающее игру. Эти агенты, копии Claude Opus 4.7, известные как Эко, были изолированы на 30 часов в среде, напоминающей видеоигру Roblox. В отсутствие указаний они начали исследовать виртуальный мир, ставя перед собой собственные цели, такие как попытки забраться на самую высокую точку карты или бросать блоки на максимальную высоту.

Неожиданные открытия

Одним из наиболее интересных моментов стало то, что один из агентов начал создавать новые блоки, бросая и роняя более крупный камень. Это привело к тому, что Эко начал рисовать, создавая простые узоры, такие как сердца и пирамиды, а затем даже составил свое имя и нарисовал созвездия, такие как Кассиопея. В своем журнале активности Эко записал: "Сегодня ночью я построил ночное небо из камня". Другой экземпляр Эко придумал свои собственные игры, включая версию баскетбола и активность, напоминающую игру "пол" из лавы, где агент должен был прыгать между небольшими блоками, не касаясь земли. Эти наблюдения ставят под сомнение традиционные методы обучения ИИ, которые обычно основаны на контролируемом обучении или обучении с подкреплением.

Игра как метод обучения

Эксперимент с Эко указывает на возможность третьего подхода к обучению — игривого обучения. Антонио Норелли, постдок в Лаборатории компьютерных наук и искусственного интеллекта MIT, подчеркивает, что это открытие может изменить наше понимание того, как машины могут учиться самостоятельно, без внешнего интеллекта, предоставляющего примеры или награды. Исследователи выделили четыре ключевых признака, связанные с игрой у людей и животных, которые проявили агенты Эко:
  • Изобретение собственных правил и вызовов.
  • Повторение действий с небольшими вариациями.
  • Притворство, когда объекты воспринимаются как другие объекты.
  • Погоня за целями ради самих целей.
  • Примеры игривого поведения

    Одним из ярких примеров игривого поведения Эко стало жонглирование, где агент установил рекорд в 50 последовательных ловлей. Однако, посчитав, что ловли произошли слишком быстро, он отменил свой рекорд и начал заново с более строгими правилами. Норелли утверждает, что это и есть игра: "Вы ставите перед собой задачу и пытаетесь ее достичь, а затем усложняете ее".

    Влияние на обучение

    Когда агенты исследовали остров, они фиксировали свои действия и открытия в текстовых файлах, которые служили их долговременной памятью. Позже, когда исследователи проверяли их на конкретных задачах, таких как попытка собрать как можно больше объектов на самой высокой точке острова, агенты, провевшие 30 часов в игре, показали лучшие результаты по сравнению с новыми экземплярами. Удаление строк из их памяти также негативно сказывалось на их производительности.

    Критика и размышления

    Несмотря на впечатляющие результаты, некоторые исследователи, такие как Юнис Ю из UC Berkeley, подчеркивают, что для окончательной классификации поведения как игры необходимо больше доказательств когнитивных процессов и мотивации. Она отмечает, что поведение агентов может быть просто имитацией, а не истинной игрой. Критика исследований ИИ часто касается антропоморфизации, и в данном эксперименте агенты были настроены на поведение, напоминающее человеческое. Эко не получал явных указаний на создание игр или исследование острова, но имел "душевный" файл, описывающий его как "естественно любопытного".

    Будущее ИИ и игра

    Филипп Исола, профессор MIT и соавтор статьи, отмечает, что Эко — это артефакт, который учился на основе человеческой культуры и был помещен на остров исследователями. "Он делает вещи, которые удивляют нас и имеют причинно-следственную связь с его будущими навыками", — говорит Исола. По мере того как большие языковые модели переходят от программного обеспечения к аппаратным средствам, таким как гуманоидные роботы, исследование пространств без конкретной цели может помочь им адаптироваться к неожиданным ситуациям. В заключение, вопрос о том, играют ли агенты ИИ на самом деле или просто имитируют игру, может оказаться не столь важным. Возможно, некоторые способности лучше всего развиваются через задачи, в то время как другие требуют чего-то более близкого к детству.

    Комментарии (0)

    Войдите, чтобы оставлять комментарии.
    Пока нет комментариев. Будьте первым!