Новый тест выявил ограниченность агентов по кодированию

Исследователи из Alibaba и нескольких азиатских университетов разработали тест Co-Design Bench для оценки агентов по кодированию — они должны перерабатывать существующие веб-приложения на основе запросов пользователей

В заданиях агенты должны учитывать изображения, аудиозаписи, видео или документы при переработке веб-приложений. Работу агентов оценивают две другие ИИ-модели: одна проверяет код и приложение в браузере, а вторая перепроверяет положительные оценки и ищет заглушки, которые лишь имитируют нужные функции. Проверяющие модели тоже могут ошибаться. Лучшая из десяти протестированных моделей — GPT-6 Astra — в среднем выполняет около 70% требований задачи, но полностью корректно справляется лишь с 26,4% заданий.

Прежние тесты стали слишком простыми: ИИ-агенты набирают в них почти максимальные баллы, поэтому различия в их возможностях становится сложнее оценивать. Co-Design Bench основан на реальных запросах из рабочих сессий; при отборе предпочитали случаи, где пользователям приходилось несколько раз переформулировать запрос или отменять изменения.

Доля выполненных требований у всех моделей ниже в заданиях с тремя или четырьмя типами изменений (вёрстка, дизайн, взаимодействие, контент), чем с одним или двумя. Результаты также зависели от клиента, через который модель работала с файлами проекта, изменяла и запускала код. Например, Qwen3.8-27B набрала в среднем 75% или 56% баллов на крупных переработках в зависимости от клиента. Поэтому исследователи рекомендуют оценивать модель вместе с используемым клиентом.

Ранее по теме: Модель Opus 5.5 выполнила 65% заданий сложного теста на реальные задачи

Источник: The Decoder