В последние годы наблюдается значительный прогресс в области многофункциональных моделей, которые способны обрабатывать как текстовую, так и визуальную информацию. Исследователи отмечают, что использование визуальных данных в процессе взаимодействия с моделями может значительно улучшить качество их работы. В частности, визуальная обратная связь позволяет моделям более точно интерпретировать намерения пользователей и минимизировать накопление ошибок, которые могут возникать при использовании только текстовых данных.

Прогресс в области многофункциональных моделей

В течение последнего года наблюдается активное развитие возможностей кодирования и агентов, что приводит к изменению рейтингов крупных моделей. Эти технологии становятся одними из самых быстро реализуемых в коммерческом секторе. В январе 2023 года OpenAI опубликовала отчет, в котором указала, что среди инструментов ChatGPT для разработчиков, загрузка изображений занимает третье место после поиска и анализа данных. Агенты, способные генерировать веб-страницы и управлять программным обеспечением, начинают использовать визуальную информацию не только как входные данные, но и как средство проверки результатов работы. Это позволяет моделям не только выполнять задачи, но и корректировать свои действия на основе визуальной обратной связи.

Пример Kimi K3

В июле 2023 года компания Moonlight представила модель Kimi K3 с 2.8 триллиона параметров и поддержкой контекста до 1 миллиона токенов. Эта модель не только демонстрирует выдающиеся способности в области кодирования и работы с агентами, но и обладает сильными многофункциональными возможностями. K3 заняла первое место в рейтинге Arena Frontend Code с результатом 1679 баллов, что подтверждает ее высокую эффективность. K3 использует подход, называемый "vision in the loop", который позволяет модели проверять результаты выполнения кода, сравнивая скриншоты целевой и фактической страниц. Это позволяет K3 находить визуальные ошибки и вносить необходимые коррективы, что значительно улучшает качество работы.

Конкуренция на рынке многофункциональных моделей

Помимо Moonlight, такие компании, как Alibaba и ByteDance, также развивают многофункциональные модели, включая визуальное восприятие как основную функциональность. В то же время другие ведущие компании, такие как DeepSeek и Tencent, продолжают сосредотачиваться на текстовых входах. Разработчики отмечают, что необходимость в многофункциональных моделях не вызывает сомнений, однако разногласия возникают в вопросах сроков и затрат на их реализацию.

Зачем агентам нужны глаза?

С увеличением длины задач, выполняемых агентами, необходимость в визуальных входах становится все более актуальной. Исследователи отмечают, что визуальные данные могут значительно упростить выполнение задач, особенно для разработчиков. Однако потребность в визуальных входах не ограничивается только профессионалами в области AI; обычные пользователи также могут извлечь выгоду из многофункциональных моделей в повседневных задачах, таких как создание презентаций.

Проблемы и вызовы внедрения

Несмотря на преимущества, интеграция визуальных данных в модели не является простой задачей. Разные типы данных имеют различные структуры и скорости обучения, что может привести к конфликтам в процессе обучения. Например, если визуальные данные добавляются на поздних этапах обучения, это может негативно сказаться на текстовых способностях модели. Кроме того, использование многофункциональных моделей требует значительных вычислительных ресурсов. Исследования показывают, что увеличение разрешения изображений и количества визуальных токенов может привести к увеличению затрат на обучение и вывод.

Заключение

В то время как компании продолжают исследовать возможности многофункциональных моделей, они сталкиваются с необходимостью балансировать между различными задачами и ресурсами. Вопрос о том, насколько сильно следует акцентировать внимание на визуальных входах, остается открытым. Тем не менее, очевидно, что многофункциональные модели играют важную роль в будущем AI, и их развитие будет определять, как компании будут конкурировать на этом быстро меняющемся рынке.