Применение термографический модели лица в задачах идентификации и аутентификации

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

Задача. Данная статья является продолжением исследования, результаты которого опубликованы ранее [5], посвященного разработке алгоритма идентификации пользователя по термограмме лица с применением сиамских сверточных нейронных сетей. Цель работы состоит в разработке научно-методического аппарата по применению термограммы лица в задачах идентификации и аутентификации и, в частности, проведении дополнительных экспериментов для полученных ранее результатов. Аналогичные работы встречаются у российских [11–14] и зарубежных [1–4; 6–10; 15–17; 19; 20] авторов, что свидетельствует об актуальности темы исследования. Модель. В статье описан программно-аппаратный комплекс для проведения экспериментальных исследований, на котором происходит проверка выдвигаемых гипотез, кратко описаны несколько алгоритмов: алгоритм извлечения квазистатических точек на термограмме лица человека, алгоритм идентификации по 2D-изображению лица пользователя, алгоритм комплексной оценки результатов идентификации пользователя по термограммам и 2D-изображениям лица. Особенность представленных в данной работе алгоритмов заключается в их способности к обобщению динамических условий, воздействующих на изображение лица в инфракрасном свете. Необходимо отметить, в данной работе не учитывается процесс хранения биометрических данных. Выводы. Разработанный программно-аппаратный комплекс подтверждает применимость алгоритма, основанного на сиамских сверточных нейронных сетях для решения задачи идентификации пользователя по термограмме лица. Также, результаты экспериментов подтверждают эффективность выделения квазистатических областей, и точность определения признаков, выделенных с использованием разработанной нейронной сети, составляет 86,41%. В отношении задачи повышения эффективности идентификации в динамических условиях, предлагается метод объединения результатов, полученных с помощью двух алгоритмов идентификации (термограммы и 2D изображения). Наиболее эффективным показал себя метод стекинга, основанный на алгоритме логистической регрессии. Этот метод обеспечивает удовлетворительные показатели ошибок первого и второго рода, составляющие 6,61 и 5,63% соответственно. В ходе сравнительного анализа алгоритмов идентификации на основе 2D-изображений лиц пользователей, наиболее эффективным считается алгоритм FaceNet. Рамки использования/возможность последующего использования результатов научной работы. Идеи и тезисы, отраженные в представленной работе, могут быть использованы как основа для дальнейших исследований в области биометрической идентификации с использованием изображений лица в ИК диапазоне, а также при совершенствовании алгоритмов идентификации, развитии методов формирования наборов данных, систем контроля и управления доступом. Практическая значимость. Полученные результаты исследования могут быть использованы в составе систем управления и контроля доступом для повышения эффективности многофакторной биометрической идентификации. Использование представленных алгоритмов, возможно в местах, где предписано обязательное ношение средств индивидуальной защиты (медицинские учреждения, объекты опасного производства и так далее) для автоматической идентификации личности работников. Оригинальность/ценность. Данная работа несет ценность в рамках образовательных целей, развития моделей и алгоритмов идентцификации по биометрическим признакам и систем видеоаналитики.

Об авторах

Никита Игоревич Белов

Университет ИТМО

Автор, ответственный за переписку.
Email: nikit.belov@gmail.com

соискатель факультета безопасности информационных технологий

Россия, г. Санкт-Петербург

Виктория Михайловна Коржук

Университет ИТМО

Email: vika@cit.ifmo.ru
SPIN-код: 4903-1383

кандидат технических наук, доцент; факультет безопасности информационных технологий

Россия, г. Санкт-Петербург

Список литературы

  1. Chatterjee S., Saha D., Sen S. et al. Moth-flame optimization based deep feature selection for facial expression recognition using thermal images // Multimedia Tools and Applications. Published: 28 June 2023. DOI: https://doi.org/10.1007/s11042-023-15861-5
  2. Paulraj B., Vasant A.R. Liveliness detection using thermograph patterns in face recognition // Mathematical Statistician and Engineering Applications. 2023. Vol. 72. No. 1. Pp. 1196–1207. doi: 10.17762/msea.v72i1.2247
  3. Kuzmina Y. Azovtseva A. Perminova A. Vulnerability of Biometric Protection // International Russian Smart Industry Conference (SmartIndustryCon). Sochi, Russian Federation. 2023. Pp. 275–280, doi: 10.1109/SmartIndustryCon57312.2023.10110772
  4. Mishra N.K., Kumar S., Singh S.K. MmLwThV framework: A masked face periocular recognition system using thermo-visible fusion // Applied Intelligence. 2023. No. 53. Pp. 2471–2487. doi: 10.1007/s10489-022-03517-0
  5. Белов Н.И. Алгоритм биометрической аутентификации пользователя по термограмме лица на базе нейросетевой архитектуры // Защита информации. Инсайд. 2023. № 2 (110). C. 34–37.
  6. Schroff F., Kalenichenko D., Philbin J. FaceNet: A unified embedding for face recognition and clustering // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. Pp. 815–823. URL: https://arxiv.org/abs/1503.03832 (дата обращения: 22.03.2023).
  7. Stein G. Falconet: force-feedback approach for learning from coaching and observation using natural and experiential training: Dis. … of Dr. Sci. (Philos.). Orlando, FL. University of Central Florida, 2009. URL: https://stars.library.ucf.edu/cgi/viewcontent.cgi?article=4988&context=etd
  8. Елистратова А.А., Кукарцев В.В. Технология идентификации личности DeepFace // Решетневские чтения. 2014. Т. 2. № 18. C. 186–187. URL: https://cyberleninka.ru/article/n/tehnologiya-identifikatsii-lichnosti-deepface (дата обращения: 22.05.2023).
  9. Yi Sun, Xiaogang Wang, Xiaoou Tang. Deeply learned face representations are sparse, selective, and robust // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. Pp. 2892–2900. doi: 10.1109/CVPR.2015.7298907. URL: https://arxiv.org/abs/1412.1265 (дата обращения: 17.03.2023).
  10. Changxing Ding, Chang Xu, Dacheng Tao. Trunk-branch ensemble convolutional neural networks for video-based face recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2018. Vol. 40. Issue 4. Pp. 1002–1014. URL: https://arxiv.org/abs/1607.05427 (дата обращения: 17.03.2023).
  11. Скрыпников А.В., Денисенко В.В., Демичев С.Е., Самохин А.В. Реализация процедур взаимодействия человека с машиной, посредством обнаружения и распознавания лиц // Международный журнал гуманитарных и естественных наук. 2021. № 12-3. C. 100–104. URL: https://cyberleninka.ru/article/n/realizatsiya-protsedur-vzaimodeystviya-cheloveka-s-mashinoy-posredstvom-obnaruzheniya-i-raspoznavaniya-lits (дата обращения: 22.05.2023).
  12. Катасёв А.С., Катасёва Д.В., Кирпичников А.П. Нейросетевая биометрическая система распознавания изображений человеческого лица // Вестник казанского технологического университета. 2016. № 18. URL: https://cyberleninka.ru/article/n/neyrosetevaya-biometricheskaya-sistema-raspoznavaniya-izobrazheniy-chelovecheskogo-litsa (дата обращения: 22.05.2023).
  13. Эмомов М.И. Анализ современных подходов распознавания и сопоставления лиц для систем биометрического контроля // Вестник магистратуры. 2019. № 1–2 (88). URL: https://cyberleninka.ru/article/n/analiz-sovremennyh-podhodov-raspoznavaniya-i-sopostavleniya-lits-dlya-sistem-biometricheskogo-kontrolya (дата обращения: 22.05.2023).
  14. Рего Г.Э. Распознавание лиц на изображениях с низким качеством съемки // SAF. 2019. № 13. URL: https://cyberleninka.ru/article/n/raspoznavanie-lits-na-izobrazheniyah-s-nizkim-kachestvom-semki (дата обращения: 22.05.2023).
  15. Yang Li, Sangwhan Cha. Face Recognition System // Computer Vision and Pattern Recognition (cs.CV). URL: https://arxiv.org/abs/1901.02452 (дата обращения: 22.05.2023).
  16. Fares Jalled. Face recognition machine vision system using eigenfaces // Computer Vision and Pattern Recognition (cs.CV). URL: https://arxiv.org/abs/1705.02782 (дата обращения: 22.03.2023).
  17. Martínez-Díaz Y., Vazquez H.M., López-Avila L. et al. Toward more realistic face recognition evaluation protocols for the YouTube faces database. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). 2018. URL: https://www.researchgate.net/publication/329744028_Toward_More_Realistic_Face_Recognition_Evaluation_Protocols_for_the_YouTube_Faces_Database (дата обращения: 17.10.2022).
  18. Белов Н.И., Кузнецов А.Ю. Методика формирования набора данных для задач аутентификации по термографическому снимку лица // Вестник компьютерных и информационных технологий. 2022. Т. 19. № 12 (222). C. 3–11. URL: https://www.vkit.ru/index.php/archive-eng/1200-003-011
  19. Zhao Wen-Yi., Chellappa R., Phillips P.J., Rosenfeld A. Face recognition: a literature survey // ACM Computing Surveys. 2003. Vol. 35. Issue 4. Pp. 399–458 URL: https://inc.ucsd.edu/mplab/users/marni/Igert/Zhao_2003.pdf
  20. Jain A.K., Ross A., Prabhakar S. An introduction to biometric recognition // IEEE Transactions on Circuits and Systems for Video Technology. 2004. Vol. 14 (1). Pp. 4–20. URL: https://www.researchgate.net/publication/3308596_An_Introduction_to_Biometric_Recognition

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Рис. 1. Примеры изображений, получаемых с тепловизора в разных временных промежутках: а – съемка в 10:00; b – съемка в 13:00; b – съемка в 16:00

Скачать (338KB)
3. Рис. 2. Пример разделения термографического изображения лица сеткой размером 5 × 7

Скачать (252KB)
4. Рис. 3. Логическая схема строения программно-аппаратного комплекса

Скачать (365KB)


Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».