ИИ ·

OpenAI усложнила извлечение внутренних рассуждений из новых ИИ-моделей

Компания OpenAI усилила защиту моделей GPT-6.2 Astra и GPT-6.2 Sol от попыток извлечь промежуточные шаги их рассуждений.

OpenAI усложнила извлечение внутренних рассуждений из новых ИИ-моделей
Изображение: сгенерировано нейросетью Alice AI ART

При несанкционированной дистилляции одну ИИ-модель без разрешения обучают на данных, полученных от другой, чтобы перенять её возможности без исходных ограничений на их использование. Например, полученная модель может помогать в кибератаках, даже если исходная модель отклоняет такие запросы.

OpenAI проверяет, удаётся ли обойти защиту, обучает модели отклонять запросы на раскрытие защищённых рассуждений, фильтрует запросы и ответы с помощью классификаторов и ограничивает повторное использование рассуждений через API. Особое внимание уделяется защите промежуточных шагов рассуждения, которые модель формирует при подготовке ответа. Эти данные могут содержать информацию, отсутствующую в итоговом ответе, и потому представляют особую ценность для обучения других моделей.

Во внутреннем тесте OpenAI автоматизированные атаки подстраивались под реакцию системы. При попытках извлечь рассуждения, сформированные при ответе на предыдущий запрос, средняя доля успешных атак составила 54,0 % для GPT-6 Astra с исходной защитой и 0,2 % для GPT-6.2 Astra с обновлённой. OpenAI привязала защищённые рассуждения GPT-6.2 Astra и GPT-6.2 Sol к истории беседы, в которой они возникли. При редактировании сообщения API отбрасывает рассуждения, сформированные после него. Модели прежних семейств с более слабой защитой не могут получить доступ к этим рассуждениям.

OpenAI также делится данными об угрозах с другими поставщиками моделей и устанавливает общие требования к защите для поставщиков, которые предлагают её модели. Компания продолжает изучать, насколько доступ к внутренним рассуждениям при обучении помогает моделям перенимать навыки, применимые в кибератаках.

Ранее по теме: Microsoft выявила уязвимость в ИИ-моделях: их можно превратить в трояны

Источник: OpenAI

Читайте также