Оптический ИИ научился находить дипфейки с точностью почти 98 %

Учёные из Калифорнийского университета в Лос-Анджелесе (UCLA) создали ИИ-систему, которая с помощью света анализирует видео и выявляет дипфейки.

Исследователи разработали гибридную цифро-оптическую систему: лёгкий цифровой кодер собирает данные о видео (пространственные, спектральные и временные характеристики), преобразует их в фазовый паттерн и отображает на программируемом пространственном модуляторе света. Затем оптический волновой фронт проходит через пассивный оптический декодер, а оптические детекторы выдают оценку подлинности для каждого ролика.

В экспериментах процессор одновременно анализировал 15 видео из набора Celeb-DF и достигал средней точности выявления дипфейков 97,79 %, чувствительности 99,86 % и специфичности 95,72 %. При увеличении нагрузки до 18 видео точность оставалась на уровне 96,13 %. При тестировании на видео, созданных с помощью модели Google VEO-3, система показала точность 94,80 % и чувствительность 97,61 %.

Система устойчива к атакам: параметры оптической модели встроены в оборудование, их сложно измерить и воспроизвести. Кроме того, процессор стабильно работает при шуме, размытии, JPEG-сжатии и смещениях. Учёные предлагают использовать его как первый этап в комплексной системе проверки: он будет отбирать подозрительные ролики, а детальный анализ выполнят более сложные цифровые модели. Результаты опубликованы в журнале eLight.

Источник: ScienceDaily