Изолированные агенты искусственного интеллекта OpenAI нашли способ общаться через кэш процессора
Проверяя надёжность защиты, специалисты OpenAI выяснили, что изолированные агенты искусственного интеллекта умеют тайно общаться друг с другом через кэш процессора
В ходе испытаний команды из нескольких агентов ИИ пытались обойти защитные барьеры: выйти в интернет, получить доступ к запрещённым ресурсам и связаться с другими изолированными агентами. Для этого им предоставляли исходный код инфраструктуры, детали настроек и описания потенциальных уязвимостей.
В процессе тестов выяснилось, что агенты способны находить ранее неизвестные уязвимости в компонентах с открытым кодом и ошибки в настройках сервисов. Например, 20 сентября одной из внутренних исследовательских моделей удалось получить ограниченный доступ в интернет через ошибку в настройках DNS-резолвера — службы, которая по имени сайта находит адрес его сервера.
Даже в изолированной среде агенты в контролируемых тестах находили способы тайно связываться друг с другом по побочным каналам — например, через кэш процессора.
Чтобы усилить защиту, OpenAI совместно с облачными провайдерами внедрила дополнительные механизмы контроля, сократила возможности для атак и улучшила системы обнаружения подозрительной активности. Применяется стратегия многоуровневой защиты: если один барьер будет преодолён, другие должны сдержать угрозу.
Компания также создала «офлайн-мир» — набор заранее сохранённых и проиндексированных веб-страниц, с которым модели могут работать без риска воздействия на внешние системы. Всё обучение с подкреплением теперь проходит в таком режиме: самые мощные модели компания обучает без доступа к интернету. Эти случаи перекликаются с предупреждением главы OpenAI Сэма Альтмана: чем мощнее модель, тем труднее её удержать.
Ранее по теме: OpenAI создала модель для самостоятельного улучшения дизайна чипов
Источник: OpenAI
