Google представил версию 1.0 Modern Web Guidance — бесплатный набор навыков, который веб-разработчики могут использовать для улучшения своих инструментов AI-кодирования. Этот набор позволяет инструментам генерировать код, основываясь на современных возможностях браузеров. Навыки представлены в виде упакованных рекомендаций, которые агент будет использовать при написании кода. Сгенерированный агентом код будет также отправляться на те же страницы, которые оцениваются по метрикам, таким как Largest Contentful Paint (LCP), Interaction to Next Paint (INP) и доступность. Объявление о выпуске сделал Филип Уолтон, старший инженер по связям с разработчиками в Google, в посте на Chrome for Developers. Версия 1.0 добавляет аудит существующего кода, а браузеры Firefox и Edge присоединяются к проекту. Первоначально руководство было представлено в виде предварительного просмотра на Google I/O в мае. Команды могут установить его, выполнив команду npx modern-web-guidance@latest install в каталоге проекта. Также оно доступно через маркетплейсы плагинов большинства популярных инструментов кодирования.

Что нового в версии 1.0

Аудит версии 1.0 проходит через HTML, CSS и JavaScript файлы проекта, а также файл package.json, чтобы выявить области, где разработчики могут безопасно обновить свой код, и затем провести агента через изменения. Эта первая итерация аудита использует статический анализ для поиска ограниченного числа шаблонов кода. По данным поста, библиотека теперь нацелена на "сотни проверенных пробелов в знаниях AI" в своих рекомендациях. Кроме того, текущие модели кодирования продолжают показывать недостаточные результаты в тестах Google по доступности, заголовкам безопасности и приоритету загрузки для скриптов и изображений. Каждая из рекомендаций теперь проверяется и утверждается техническим лидером в соответствующей области. Для руководств, касающихся пользовательских функций, проводится специальная проверка доступности экспертами, которые ежедневно используют вспомогательные технологии. 9 ноября в репозиторий проекта на GitHub был загружен документ управления, в котором изложены шесть мест для владельцев проекта. Два из этих мест принадлежат Chrome, по одному имеют Microsoft Edge и Mozilla, а два отданы независимым экспертам веб-платформ. В настоящее время одно место остается открытым, а место Apple отсутствует.

Как измеряются оценки Google

Объявление Google ссылается на публичную панель оценок, где кодирующие агенты от Anthropic, OpenAI и Google выполняют один и тот же набор задач каждую ночь, с использованием и без использования рекомендаций. Реальный браузер затем проверяет DOM, стили и исходный код каждого завершенного приложения. На утро вторника, когда я проверил, запущенные с рекомендациями тесты проходили 88% автоматических проверок, в то время как без рекомендаций — 56%. Эти цифры основаны на комбинированных результатах каждого агента за ночные запуски, завершенные 8 ноября; диапазон составляет от 199 до 215 задач на агента. Панель предоставляет ограниченный обзор (не полный аудит WCAG) функций доступности, таких как поддержка клавиатуры, фокусировка и метки форм. Подсказки задач не упоминают рекомендации, поэтому каждому агенту приходится самостоятельно определять, когда применима рекомендация. В большинстве недавних наборов тестов запущенные с рекомендациями тесты работали медленнее и расходовали больше токенов. Консультант по доступности Адриан Роселли оценил предварительный просмотр в мае, дав Antigravity (инструмент AI-кодирования Google) задание с анимацией аккордеона, найденным в документации. Однако, по словам Роселли, вывод не соответствовал стандартам WCAG, а его анимация не работала в Firefox. Он также не нашел никаких гарантий, что агенты смогут следовать рекомендациям. Это касалось предварительного просмотра, а не версии 1.0.

Что сообщают ранние пользователи

Новые рекомендации были протестированы японской платформой для создателей note inc., используя два кодирующих агента, которые выполнили шесть задач пользовательского интерфейса (UI) в 180 тестовых запусках на клонированных версиях производственного кода note inc. Как объясняется в блоге Chrome, оценки обоих агентов по 19 проверкам браузера возросли после установки навыка, не упоминая его в подсказках, а затем снова, когда подсказки его упоминали. Агент Один повысил свою оценку с 60.8% до 76.5% и затем до 94.0%. Аналогично, Агент Два показал результаты 75.8%, 86.2% и 90.0% в тех же трех условиях тестирования. Одна из задач note проверяла, имел ли самый большой видимый на странице статьи изображение высокий приоритет и не загружался ли он с отложенной загрузкой. Сравнительная таблица в посте показывает, что агенты без рекомендаций написали код для главного изображения, используя как высокий приоритет, так и отложенную загрузку. Руководство запускается MetaMask в рамках автоматического процесса проверки каждого запроса на изменение, представленного в его открытом исходном коде браузерного расширения, согласно второму посту Chrome. За первые пять недель, до 21 октября, бот выявил 102 проблемы в 57 запросах на функции и исправления. Инженеры полностью разрешили 43 из них и частично разрешили три. Еще 16 были отклонены или оказались ложными срабатываниями. Двадцать из них остались без ответа. Результаты других 20 неизвестны.

Почему это важно

Modern Web Guidance предоставляет бесплатный способ для команд поощрять агентов, пишущих код, использовать нативные возможности браузеров, включая код в существующих устаревших кодовых базах. Большинство опубликованных результатов основаны на тестировании, проведенном Google, а также на тестировании клиентов, которое Google выделил. Note Inc. протестировала двух агентов, используя одну и ту же подсказку с и без указания использовать рекомендации; оба показали лучшие результаты, когда подсказка содержала это указание. Команда также может пометить свои подсказки, чтобы включить рекомендации и сохранить полевые данные и ручное тестирование доступности в обзоре.

Взгляд в будущее

Google планирует в будущем расширить процесс аудита существующего кода, а также проводить аудиты, в которых агент будет рассматривать фактический код, подлежащий аудиту. Компания предлагает сочетать рекомендации с инструментами разработчика Chrome, чтобы агенты могли запускать созданный ими код и тестировать его в браузере. Пользователи предварительного просмотра могут использовать команду npx modern-web-guidance@latest update.