OpenAI представила систему Control Room для блокировки генерации ИИ за 35 секунд

OpenAI запустила централизованную систему Control Room, которая, по данным компании, в течение 35 секунд после команды на остановку блокирует генерацию новых ответов ИИ для исследовательского задания

Система Control Room предназначена для усиления защиты при работе с всё более мощными ИИ-моделями, которые несут повышенные риски для безопасности. Она связывает рабочие процессы — в том числе обучение и оценку моделей с участием ИИ-агентов и обработку данных — с центральным сервисом, который решает, могут ли они продолжать получать ответы моделей.

В отличие от обычных систем мониторинга, которые лишь отмечают подозрительное поведение, Control Room активно препятствует получению дополнительных выходных данных модели. Система уже развёрнута в исследовательской инфраструктуре OpenAI.

Control Room объединяет три основных компонента: рабочий процесс исследования, механизм вывода и центральный сервис Control Room. Перед выполнением запроса на вывод механизм проверяет у Control Room, разрешено ли продолжать работу. Если система получила команду остановить задание, она отклоняет следующий запрос на вывод, и механизм перестаёт генерировать данные для этого процесса. Сам исследовательский процесс при этом может продолжать работать.

Максимальная задержка между получением команды на остановку и блокировкой новых ответов модели для задания составляет 35 секунд — это связано с использованием кэширующего слоя для обработки большого объёма запросов. В OpenAI работают над сокращением этого интервала до нуля.

Ранее по теме: OpenAI ужесточила правила для моделей ИИ

Источник: Interesting Engineering