Вчені створили процесор, який виявляє deepfake з точністю 97,79%

Дослідники Каліфорнійського університету в Лос-Анджелесі (UCLA) розробили оптико-нейронний процесор для виявлення відео deepfake. Система використовує світло для обробки даних і може аналізувати до 15 відеопотоків одночасно, пише ScienceDaily.

втори розглядають її як перший рівень захисту, який може швидко перевіряти великі обсяги відео та передавати підозрілий контент на детальніший цифровий аналіз.

Як працює система виявлення deepfake

Звичайні системи виявлення deepfake виконують значну частину обчислень цифровими засобами та часто аналізують відео послідовно. Це збільшує час обробки та енергоспоживання, коли кількість контенту зростає.

Підписуйтеся на наші соцмережі

У системі UCLA частина обчислень відбувається за допомогою поширення світла. Спочатку цифровий кодер отримує просторові, спектральні та часові характеристики відео. Потім ці дані перетворюються на фазовий шаблон і передаються на програмований просторовий модулятор світла.

Після цього світловий сигнал проходить через пасивний оптичний декодер. Оптичні детектори на виході системи визначають, чи є відео справжнім або маніпульованим.

Такий підхід дозволяє обробляти кілька відеопотоків паралельно під час одного оптичного проходу.

Якої точності досягла система UCLA

Під час експериментів процесор одночасно аналізував 15 відео з набору даних Celeb-DF.

Дослідники також збільшили кількість потоків до 18. У цьому режимі середня точність знизилася до 96,13%.

Оптичний процесор як перший етап перевірки

Автори не пропонують повністю замінити цифрові системи виявлення deepfake. Натомість оптичний процесор може працювати як перший етап перевірки великих масивів відео.

Наприклад, система може швидко проаналізувати значну кількість контенту та визначити підозрілі відео. Після цього їх можна передавати на складніші цифрові моделі для детального аналізу.

Дослідники зазначають, що такий підхід потенційно може використовуватися для модерації контенту, перевірки автентичності медіа та інших завдань, де потрібно швидко аналізувати великі обсяги відео.