Cloudflare дала сайтам инструмент контроля над использованием контента ИИ

Компания Cloudflare представила новую настройку Disallow AI Training — она позволяет владельцам сайтов запрещать использование их контента для обучения ИИ-моделей, при этом сохраняя индексацию в поисковых системах

Раньше владельцы сайтов сталкивались с дилеммой: разрешить использование контента для обучения ИИ или рискнуть потерей видимости в поиске. Причина — смешанные краулеры (программы-обходчики), которые одновременно собирают данные и для индексации, и для обучения ИИ. Запрет одного автоматически означал запрет другого. Новая настройка решает эту проблему.

Apple, Google и Microsoft подтвердили, что будут учитывать эту настройку. Cloudflare также ввела обозначение Accountable для операторов ботов, соблюдающих принципы прозрачности и контроля со стороны владельцев сайтов. Чтобы получить статус Accountable, оператор должен предоставить механизмы отказа от обучения ИИ и от включения контента в ИИ-сводки, обеспечить видимость на уровне URL и гарантировать, что отказ от обучения не повлияет на результаты поиска.

С 15 сентября вступают в силу изменения в управлении ботами: настройки Block и Block on pages with ads начнут применяться к смешанным краулерам, а устаревшие функции (например, Block AI Bots и Managed Robots.txt) будут выведены из эксплуатации. Для новых доменов Cloudflare предложит предустановленные конфигурации с учётом модели монетизации сайта.

Источник: Cloudflare