AI4CSLab: Пространственно-временное обнаружение дипфейков с помощью Deep Neural Networks

Дипфейки, генерируемые GANs (генеративно-состязательными нейронными сетями), могут угрожать не только отдельным гражданам, но и представлять общественную угрозу.

В связи с этим выявление манипуляций с видеоконтентом является актуальной задачей, и исследователи предлагают различные методы ее решения. Тем не менее, проблема остается. В исследовании российских ученых оцениваются существующие подходы и предлагается новый метод обнаружения дипфейков на видео. Учитывая, что дипфейки вставляются в видео кадр за кадром, при его просмотре даже невооруженным глазом заметны флуктуации и временные искажения, которые не учитываются многими алгоритмами обнаружения дипфейков, использующих информацию из одного кадра для поиска подделки вне контекста с соседними кадрами. Предложено анализировать информацию из цепочки нескольких последовательных кадров для обнаружения дипфейков в видеоконтенте путем обработки видео с использованием подхода скользящего окна с учетом не только пространственных внутрикадровых зависимостей, но и межкадровых временных зависимостей. Эксперименты показали преимущество и потенциал для дальнейшего развития предлагаемого подхода по сравнению с простым внутрикадровым распознаванием.

Полный текст исследования опубликован в научном журнале Lecture Notes in Computer Science.

Алексей Осипов, руководитель Департамента информационной безопасности Финансового университета: одной из задач нейросетевого анализа является выявление подмены видеоконтента. Для обнаружения манипулируемого цифрового контента необходимо знать возможные методы манипулирования, определять, какие инструменты использовались, теоретическую базу, а также практический опыт и знания. В настоящее время описываются четыре группы манипуляций с изображениями человеческого лица: синтез всего лица, моделирование всех черт лица; Identity Swap, известный в литературе как DeepFake; Attribute Manipulation – манипулирование атрибутами лица; Expression Swap – обмен мимикой. Большинство созданных методов, распознающих дипфейки, опираются на наборы данных, сгенерированные без учета того, что существуют методики выявления дипфейков, то есть соответствующие GANs не были обучены современным методам распознавания в качестве дискриминатора (или, другими словами, состязательная подготовка не использовалась).

Екатерина Плешакова, первый заместитель руководителя Департамента информационной безопасности по проектам Финансового университета: манипулирование видеоконтентом является одной из угроз для кибербезопасности. Многое сделано исследователями в поиске путей решения данной проблемы, но злоумышленники продолжают совершенствовать методы и зачастую оказываются на шаг впереди. Дальнейшие исследования могут быть сосредоточены на различных областях — расширенная оценка большего количества наборов данных, возможности предварительного обучения сети, возможности передачи обучения, улучшение архитектуры, многомасштабный анализ, устойчивость к атакам со стороны, артефактам сжатия, искажениям и т. д.

Владимир Соловьев, Декан Факультета информационных технологий и анализа больших данных Финансового университета: исследователями предложен новый подход к решению задачи распознавания дипфейков. Пространственно-временной подход учитывает не только пространственные внутрикадровые зависимости (Spatial Features), но и временные межкадровые зависимости (Temporal Features). Результаты исследования подтверждают преимущества предлагаемого метода. Тема идентификации дипфейков стала центральной на международной конференции iConference 2021 в Китае.

30 июня, 2022

Подписаться на новости BIS Journal / Медиа группы Авангард

Подписаться
Введите ваш E-mail

Отправляя данную форму вы соглашаетесь с политикой конфиденциальности персональных данных

06.10.2022
Главный тренд ИБ — проекты по внедрению российских решений
06.10.2022
«Белые шляпы» почистят «Госуслуги» от уязвимостей
06.10.2022
Центробанк предупреждает о новой волне мошенничества
06.10.2022
ЦБ РФ до конца года не будет наказывать банки за отсутствие идентификации через ЕБС
06.10.2022
Евросоюз запрещает обслуживание криптокошельков граждан РФ
06.10.2022
ФБР и CISA — о том, насколько успешными бывают атаки на электоральную систему
05.10.2022
Финляндия ожидает начало вредоносной киберактивности со стороны России
05.10.2022
Главный риск, что компании останутся на зарубежных продуктах
05.10.2022
Открытие киберполигона МТУСИ на базе решений ГК «ИнфоТеКС»
05.10.2022
Турция предложит россиянам карты своей платёжной системы. Вместо «Мира»

Стать автором BIS Journal

Поля, обозначенные звездочкой, обязательные для заполнения!

Отправляя данную форму вы соглашаетесь с политикой конфиденциальности персональных данных