Модели OpenAI с высокой точностью обновляют старое ПО

Компания OpenAI улучшила свои модели: теперь они лучше пишут код на старых языках программирования и переносят уже существующие программы

В тестах модель GPT-6.1 Sol перенесла код с точностью 97,9 %, когда ей задавали высокий уровень рассуждений — то есть давали больше времени «подумать» перед ответом. При низком уровне рассуждений точность составила 86,6 %, тогда как у предыдущей версии, GPT-5.6 Sol, — лишь 5,4 %.

Модели OpenAI проверяли и на наборе тестов MultiLangBench: в нём нужно написать на 20 языках программирования движок базы данных — программу, которая хранит данные и отвечает на запросы к ним, — совместимый с SQLite. Модель GPT-6 Astra в среднем набрала 87,4 %, а GPT-5.6 Sol — только 26,8 %.

Особенно заметный прогресс виден на отдельных языках: например, для Fortran показатель вырос с 21,4 % до 83,5 %, для Visual Basic — с 27,5 % до 89,4 %, а для COBOL — с 10,9 % до 72,1 %. При этом COBOL остаётся самым сложным языком для переноса кода.

Обновление старого ПО важно для банков и других организаций: многие системы до сих пор работают на COBOL и Fortran. Например, по оценкам IBM, COBOL поддерживает более 40 % систем онлайн-банкинга, 80 % очных платежей кредитными картами и 95 % операций в банкоматах.

Несмотря на успехи, разработчикам по-прежнему нужно тщательно проверять, как обновлённые системы справляются с реальной нагрузкой, и учитывать неочевидные связи между частями программ.

Ранее по теме: JetBrains обновила модель искусственного интеллекта для работы с кодом

Источник: Interesting Engineering