Метод обнаружения технологии манипуляции с идентичностью лиц с применением сверточных нейронных сетей

Обложка

Цитировать

Полный текст

Аннотация

В работе предложен метод противодействия атакам спуфинга, позволяющий повысить устойчивость систем биометрической аутентификации по изображению лица к атакам спуфинга на модуль ввода биометрической информации цифровыми средствами манипуляции с идентичностью лиц. Метод обнаружения манипуляций с подменой лиц цифровыми средствами (DeepFake) основывается на сверточной нейронной сети, обученной на большом наборе данных, содержащих различные типы манипуляций, изображения разного качества и большое число идентичностей, что позволило получить точность не менее 99%. Результаты экспериментов также показывают эффективность предложенного подхода при сравнении его с другими известными методами, протестированными на том же наборе данных. Предложенный метод может использоваться для повышения защищенности систем биометрической аутентификации путем снижения риска несанкционированного доступа.

Об авторах

Светлана Сергеевна Волкова

Вологодский государственный университет

Автор, ответственный за переписку.
Email: malysheva.svetlana.s@gmail.com

кандидат технических наук, доцент кафедры прикладной математики

Россия, Вологда

Список литературы

  1. Генеральная П.Р.Ф. Главное управление правовой статистики и информационных технологий. Состояние преступности в России за январь-октябрь 2021 г. //Официальный сайт Портала правовой статистики Генеральной Прокуратуры РФ. URL: http://crimestat.ru/analytics. 2021.
  2. Thies J. et al. Face2face: Real-time face capture and reenactment of rgb videos //Proceedings of the IEEE conference on computer vision and pattern recognition. – 2016. С. 2387-2395.
  3. Tolosana R. et al. Deepfakes and beyond: A survey of face manipulation and fake detection //Information Fusion. 2020. Т. 64. С. 131-148.
  4. Korshunova I. et al. Fast face-swap using convolutional neural networks //Proceedings of the IEEE international conference on computer vision. 2017. С. 3677-3685.
  5. Agarwal A. et al. Swapped! digital face presentation attack detection via weighted local magnitude pattern //2017 IEEE International Joint Conference on Biometrics (IJCB). IEEE. 2017. С. 659-665.
  6. Mo H., Chen B., Luo W. Fake faces identification via convolutional neural network //Proceedings of the 6th ACM Workshop on Information Hiding and Multimedia Security. 2018. С. 43-47.
  7. Agarwal S. et al. Protecting World Leaders Against Deep Fakes //CVPR workshops. – 2019. Т. 1.
  8. Li X. et al. Fighting against deepfake: Patch&pair convolutional neural networks (PPCNN) //Companion Proceedings of the Web Conference 2020. – 2020. – С. 88-89.
  9. Li L. et al. Face x-ray for more general face forgery detection //Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. С. 5001-5010.
  10. Rossler A. et al. Faceforensics++: Learning to detect manipulated facial images //Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019. С. 1-11.
  11. Afchar D. et al. Mesonet: a compact facial video forgery detection network //2018 IEEE International Workshop on Information Forensics and Security (WIFS). IEEE. 2018. С. 1-7.
  12. Ding X. et al. Swapped face detection using deep learning and subjective assessment //EURASIP Journal on Information Security. 2020. Т. 2020. С. 1-12.
  13. Do N. T., Na I. S., Kim S. H. Forensics face detection from GANs using convolutional neural network //2018 International Symposium on Information Technology Convergence (ISITC 2018). South Korea. 2018.
  14. Hsu C. C., Zhuang Y. X., Lee C. Y. Deep fake image detection based on pairwise learning //Applied Sciences. 2020. Т. 10. №. 1. С. 370.
  15. Fernando T. et al. Exploiting human social cognition for the detection of fake and fraudulent faces via memory networks //arXiv preprint arXiv:1911.07844. 2019.
  16. Jin X., Ye D., Chen C. Countering Spoof: Towards Detecting Deepfake with Multidimensional Biological Signals //Security and Communication Networks. 2021. Т 2021.
  17. Lu Y. et al. Channel-Wise Spatiotemporal Aggregation Technology for Face Video Forensics //Security and Communication Networks. 2021. Т. 2021.
  18. Wang R. et al. Fakespotter: A simple baseline for spotting ai-synthesized fake faces. arXiv 2019 //arXiv preprint arXiv:1909.06122.
  19. Fernandes S. et al. Detecting deepfake videos using attribution-based confidence metric //Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2020. С. 308-309.
  20. Khodabakhsh A., Busch C. A Generalizable Deepfake Detector based on Neural Conditional Distribution Modelling //2020 International Conference of the Biometrics Special Interest Group (BIOSIG). IEEE. 2020. С. 1-5.
  21. Volkova S. S., Bogdanov A. S. A deep learning approach to face swap detection //International Journal of Open Information Technologies. 2021. Т. 9. №. 10. С. 16-20.
  22. Tarasiou M., Zafeiriou S. Extracting deep local features to detect manipulated images of human faces //2020 IEEE International Conference on Image Processing (ICIP). – IEEE, 2020. С. 1821-1825.
  23. Tang X. et al. Pyramidbox: A context-assisted single shot face detector //Proceedings of the European conference on computer vision (ECCV). 2018. С. 797-813.
  24. Xiong X., De la Torre F. Supervised descent method and its applications to face alignment //Proceedings of the IEEE conference on computer vision and pattern recognition. 2013. С. 532-539.
  25. Sandler M. et al. Mobilenetv2: Inverted residuals and linear bottlenecks //Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. С. 4510-4520.
  26. Deng J. et al. Imagenet: A large-scale hierarchical image database //2009 IEEE conference on computer vision and pattern recognition. Ieee. 2009. С. 248-255.
  27. Defazio A., Jelassi S. Adaptivity without compromise: a momentumized, adaptive, dual averaged gradient method for stochastic optimization //arXiv preprint arXiv:2101.11075. 2021.
  28. Duchi J., Hazan E., Singer Y. Adaptive subgradient methods for online learning and stochastic optimization //Journal of machine learning research. 2011. Т. 12. №. 7.
  29. Kingma D. P., Ba J. Adam: A method for stochastic optimization //arXiv preprint arXiv:1412.6980. 2014.
  30. Loshchilov I., Hutter F. SGDR: Stochastic gradient descent with warm restarts //International Conference on Learning Representations. 2017.
  31. Bayar B., Stamm M. C. A deep learning approach to universal image manipulation detection using a new convolutional layer //Proceedings of the 4th ACM workshop on information hiding and multimedia security. 2016. С. 5-10.
  32. Khodabakhsh A., Busch C. A Generalizable Deepfake Detector based on Neural Conditional Distribution Modelling //2020 International Conference of the Biometrics Special Interest Group (BIOSIG). IEEE. 2020. С. 1-5.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».