Google научил ИИ-агентов не запоминать тесты

Как сообщает The Decoder, исследователи Google Cloud AI Research совместно с учёными из нескольких университетов нашли способ предотвратить запоминание тестовых задач самообучающимися ИИ-агентами

Метод получил название RRSI (Regularized Recursive Self-Improvement of Agent Harnesses). Он ограничивает количество правок в «обвязке» (harness) ИИ-агента — фреймворке, который управляет работой языковой модели. Бюджет правок со временем сокращается: сначала разрешены крупные изменения, затем — лишь небольшие. Кроме того, специальный «критик» отбраковывает предложения, жёстко кодирующие решения под конкретные тесты.

В ходе испытаний на восьми бенчмарках метод RRSI показал прирост до 14,1 пункта на тренировочных задачах и до 4,7 пункта — на новых, ранее не встречавшихся. При этом потребление токенов сократилось на 30 %. Оптимизированная «обвязка» также улучшила работу более слабых моделей без дополнительной настройки.

Источник: The Decoder