# Новый тест выявил ограниченность агентов по кодированию

ИИ · 8 ноября 2026, 13:12 · Новости будущего
Адрес: https://xn----btbbgegr2bjbg3anrb0h.xn--p1ai/2026/11/08/novyi-test-vyyavil-ogranichennost-agentov-po-kodirovaniyu/

Исследователи из Alibaba и нескольких азиатских университетов разработали тест Co-Design Bench для оценки агентов по кодированию — они должны перерабатывать существующие веб-приложения на основе запросов пользователей

В заданиях агенты должны учитывать изображения, аудиозаписи, видео или документы при переработке веб-приложений. Работу агентов оценивают две другие ИИ-модели: одна проверяет код и приложение в браузере, а вторая перепроверяет положительные оценки и ищет заглушки, которые лишь имитируют нужные функции. Проверяющие модели тоже могут ошибаться. Лучшая из десяти протестированных моделей — GPT-6 Astra — в среднем выполняет около 70% требований задачи, но полностью корректно справляется лишь с 26,4% заданий.

Прежние тесты стали слишком простыми: ИИ-агенты набирают в них почти максимальные баллы, поэтому различия в их возможностях становится сложнее оценивать. Co-Design Bench основан на реальных запросах из рабочих сессий; при отборе предпочитали случаи, где пользователям приходилось несколько раз переформулировать запрос или отменять изменения.

Доля выполненных требований у всех моделей ниже в заданиях с тремя или четырьмя типами изменений (вёрстка, дизайн, взаимодействие, контент), чем с одним или двумя. Результаты также зависели от клиента, через который модель работала с файлами проекта, изменяла и запускала код. Например, Qwen3.8-27B набрала в среднем 75% или 56% баллов на крупных переработках в зависимости от клиента. Поэтому исследователи рекомендуют оценивать модель вместе с используемым клиентом.

Источник: [The Decoder](https://the-decoder.com/ai-coding-agents-still-need-human-cleanup-on-nearly-three-out-of-four-tasks-in-a-real-world-test/)
Теги: искусственный интеллект, кодирование, тестирование, модели ИИ, веб-приложения