Модель Opus 5.5 выполнила 65% заданий сложного теста на реальные задачи

Разработчики провели испытание модели Opus 5.5 на новом тесте Terminal-Bench 4.0 — наборе сложных заданий для ИИ-агентов

Terminal-Bench 4.0 — это открытый тест, который оценивает, насколько хорошо ИИ-агент справляется с долгими реалистичными задачами в терминале — командной строке компьютера. В новой версии — 66 заданий, которых не было в предыдущей. Задания охватывают семь областей: от разработки ПО и науки до безопасности и медиа.

Каждое задание связано с реальным результатом: например, это может быть работающий сервис, CAD-модель, отчёт или обученный алгоритм. У экспертов одно задание занимает в среднем 4 часа, а в целом — от часа до 60 часов.

Модель тестировали с помощью инструмента mini-swe-agent: она получала инструкцию и могла действовать только через командную строку (bash) — отправлять команды в изолированную среду и видеть, что из этого получилось. На каждое задание отводилось 8 часов: если модель не успевала довести его до конца, она получала ноль баллов.

Оценка — среднее по трём запускам модели. Балл за задание засчитывался, только если готовый результат проходил проверку: частичный успех не считался.

Модель Opus 5.5 показала результат 65,15% на Terminal-Bench 4.0. Это говорит о том, что она способна справляться со сложными, многоэтапными задачами в разных областях — от науки до финансов.

Источник: Vals AI