Algorithm for identifying abnormal actions

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

The study is devoted to the problem of recognition of human activity recognition and the definition of normal and abnormal behavior (activity) depending on the action scene. Automated detection of abnormal activity using computer vision technologies and rapid response makes it possible to improve the work of rapid response services, thereby saving human lives or stopping offenses. The paper presents a comprehensive review of methods for recognizing human activity and detecting abnormal human activity based on deep learning. Various classifications of abnormal activity are investigated, and then deep learning methods and neural network architectures used to detect abnormal activity are discussed and analyzed. Based on the comparative analysis of various approaches, an algorithm for recognizing human activity has been proposed and a neural network has been developed that determines violent and nonviolent actions with an accuracy of 92,22% in 150 epochs.

About the authors

Namir Mohamed Khadi

MIREA – Russian Technological University

Author for correspondence.
Email: hadi@mirea.ru
ORCID iD: 0009-0000-7122-5942
SPIN-code: 4079-2513
ResearcherId: LEM-0157-2024

assistant lecturer, Department of Computer and Information Security

Russian Federation, Moscow

Dmitry G. Andryushenkov

MIREA – Russian Technological University

Email: andryushenkov@mirea.ru
ORCID iD: 0009-0004-5927-9795
SPIN-code: 4113-2967

assistant lecturer, Department of Computer and Information Security

Russian Federation, Moscow

Alexander N. Chesalin

MIREA – Russian Technological University

Email: chesalin@mirea.ru
ORCID iD: 0000-0002-1154-6151
SPIN-code: 4334-5520
Scopus Author ID: 57210931888
ResearcherId: D-8080-2019

Cand. Sci. (Eng.), Head, Department of Computer and Information Security

Russian Federation, Moscow

References

  1. Aberkane S., Elarbi M. Deep reinforcement learning for real-world anomaly detection in surveillance videos. URL: https://sci-hub.ru/10.1109/ispa48434.2019.8966795 (data of accesses: 28.01.2024).
  2. Agahian S., Negin F., Köse С. An efficient human action recognition framework with pose-based spatiotemporal features. URL: https://www.sciencedirect.com/science/article/pii/S2215098618312345?via%3Dihub (data of accesses: 02.02.2024).
  3. Al-Dhamari A., Sudirman R., Mahmood N.H. Transfer deep learning along with binary support vector machine for abnormal behavior detection. URL: https://www.researchgate.net/publication/340145184_Transfer_Deep_Learning_Along_With_Binary_Support_Vector_Machine_for_Abnormal_Behavior_Detection#fullTextFileContent (data of accesses: 24.01.2024).
  4. Amrani H., Micucci D., Paolo N. Unsupervised deep learning-based clustering for human activity recognition. URL: https://www.researchgate.net/publication/365337299_Unsupervised_Deep_Learning-based_clustering_for_Human_Activity_Recognition#fullTextFileContent (data of accesses: 27.01.2024).
  5. Contardo P., Tomassini S., Falcionelli N. et al. Combining a mobile deep neural network and a recurrent layer for violence detection in videos. URL: https://ceur-ws.org/Vol-3402/paper05.pdf (data of accesses: 25.01.2024).
  6. Duong H.-T., Le V.-T., Hoang V. Deep learning-based anomaly detection in video surveillance: A survey. URL: https://typeset.io/papers/deep-learning-based-anomaly-detection-in-video-surveillance-29l7zb9s (data of accesses: 26.01.2024).
  7. Elesawy M., Hussein M., El Massih M.A. Real life violence situations dataset. URL: https://www.kaggle.com/datasets/mohamedmustafa/real-life-violence-situations-dataset (data of accesses: 03.02.2024).
  8. Gu T., Dolan-Gavitt B., Garg S. BadNets: Identifying vulnerabilities in the machine learning model supply chain. URL: https://arxiv.org/abs/1708.06733 (data of accesses: 03.02.2024).
  9. Haq Qazi E.U., Zia T., Almorjan A. Deep learning-based digital image forgery detection system. URL: https://www.researchgate.net/publication/359153551_Deep_Learning-Based_Digital_Image_Forgery_Detection_System (data of accesses: 03.02.2024).
  10. Jayaswal R., Dixit M. Framework for anomaly classification using deep transfer learning approach. URL: https://iieta.org/journals/ria/paper/10.18280/ria.350309 (data of accesses: 24.01.2024).
  11. Jia C., Yi W., Wu Y. et al. Abnormal activity capture from passenger flow of elevator based on unsupervised learning and fine-grained multi-label recognition. URL: https://arxiv.org/abs/2006.15873 (data of accesses: 28.01.2024).
  12. Jia J.-G., Zhou Y.-F., Hao X.-W. et al. Two-stream temporal convolutional networks for skeleton-based human action recognition. URL: https://sci-hub.ru/10.1007/s11390-020-0405-6 (data of accesses: 30.01.2024).
  13. Lathifah N., Lin H.-I. A brief review on behavior recognition based on key points of human skeleton and eye gaze to prevent human error. In: Proceedings of the 2022 13th Asian Control Conference (ASCC). Jeju Island, Republic of Korea, 2022. Pp. 1396–1403.
  14. Lin C.-B., Dong Z., Kuan W.-K., Huang Y.-F. A framework for fall detection based on openpose skeleton and LSTM/GRU models. URL: https://www.researchgate.net/publication/348142284_A_Framework_for_Fall_Detection_Based_on_OpenPose_Skeleton_and_LSTMGRU_Models (data of accesses: 29.01.2024).
  15. Lin F.-C., Ngo H.-H., Dow C.-R. et al. Student behavior recognition system. for the classroom environment based on skeleton pose estimation and person detection. URL: https://www.researchgate.net/publication/353746430_Student_Behavior_Recognition_System_for_the_Classroom_Environment_Based_on_Skeleton_Pose_Estimation_and_Person_Detection (data of accesses: 30.01.2024).
  16. Maqsood R., Bajwa UI., Saleem G. et al. Anomaly recognition from surveillance videos using 3D convolutional neural networks. URL: https://arxiv.org/pdf/2101.01073 (data of accesses: 03.02.2024).
  17. Naik A., Gopalakrishna M. Deep-violence: Individual person violent activity detection in Video. URL: https://www.researchgate.net/publication/349393071_Deep-violence_individual_person_violent_activity_detection_in_video (data of accesses: 29.01.2024).
  18. Nauman M.A., Shoaib M. Identification of anomalous behavioral patterns in crowd scenes. URL: https://www.techscience.com/cmc/v71n1/45453/html (data of accesses: 29.01.2024).
  19. Pang G., Shen C., Cao L., Hengel A. Deep learning for anomaly detection: A review. URL: https://ink.library.smu.edu.sg/cgi/viewcontent.cgi?article=8019&context=sis_research (data of accesses: 26.01.2024).
  20. Pawar K., Attar V. Deep learning approaches for video-based anomalous activity detection. URL: https://www.sci-hub.ru/10.1007/s11280-018-0582-1 (data of accesses: 26.01.2024).
  21. Pimentel T., Monteiro M., Veloso A., Ziviani N. Deep active learning for anomaly detection. URL: https://sci-hub.ru/10.1109/ijcnn48605.2020.9206769 (data of accesses: 27.01.2024).
  22. Simonyan K., Zisserman A. Two-stream convolutional networks for action recognition in videos. URL: https://arxiv.org/pdf/1406.2199 (data of accesses: 28.01.2024).
  23. Sultani W., Chen C., Shah M. Real-world anomaly detection in surveillance videos. URL: https://paperswithcode.com/paper/real-world-anomaly-detection-in-surveillance (data of accesses: 03.02.2024).
  24. Tomar S., Sharma A.K., Tina, Gupta K. Pose based activity recognition using supervised machine learning algorithms. URL: https://www.ijert.org/research/pose-based-activity-recognition-using-supervised-machine-learning-algorithms-IJERTV10IS120084.pdf (data of accesses: 27.01.2024).
  25. Tran D., Bourdev L., Fergus R. et al. Learning spatiotemporal features with 3D convolutional networks. URL: https://arxiv.org/pdf/1412.0767 (data of accesses: 28.01.2024).
  26. Tran D.A., Fischer P., Smajic A., So Y. Real-time object detection for autonomous driving using deep learning. URL: https://www.researchgate.net/publication/350090136_Real-time_Object_Detection_for_Autonomous_Driving_using_Deep_Learning (data of accesses: 26.01.2024).
  27. Vrskova R., Hudec R., Kamencay P., Sykora P. A new approach for abnormal human activities recognition based on ConvLSTM architecture. URL: https://www.researchgate.net/publication/360159604_A_New_Approach_for_Abnormal_Human_Activities_Recognition_Based_on_ConvLSTM_Architecture (data of accesses: 28.01.2024).
  28. Zhang F., Bazarevsky V., Vakunov A. et al. Mediapipe hands: On-device real-time hand tracking. URL: https://arxiv.org/pdf/2006.10214.pdf (data of accesses: 01.02.2024).
  29. Zhao Y., Deng B., Shen Ch. et al. Spatio-temporal autoencoder for video anomaly detection. URL: https://sci-hub.ru/10.1145/3123266.3123451 (data of accesses: 28.01.2024).

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2. Fig. 1. Supervised learning [24]

Download (899KB)
Indexing metadata
3. Fig. 2. Semi-supervised learning on GAN example

Download (794KB)
Indexing metadata
4. Fig. 3. Unsupervised learning [4]

Download (1MB)
Indexing metadata
5. Fig. 4. Transfer learning on example of anomaly detection действий [3]

Download (544KB)
Indexing metadata
6. Fig. 5. Deep active learning [21]: re – external reward; ri – intrinsic reward; s – observation; a – action

Download (377KB)
Indexing metadata
7. Fig. 6. Deep reinforcement learning [1]

Download (1MB)
Indexing metadata
8. Fig. 7. Example of deep hybrid models-based on anomaly detection [3] (below – abnormal crowd activity)

Download (1MB)
Indexing metadata
9. Fig. 8. Two-stream network architecture [22]

Download (174KB)
Indexing metadata
10. Fig. 9. 3D-convolution operation for anomaly detection [16]

Download (1MB)
Indexing metadata
11. Fig. 10. ConvLSTM architecture [27]

Download (505KB)
Indexing metadata
12. Fig. 11. The scheme of the algorithm using OpenPose [14]

Download (1MB)
Indexing metadata
13. Fig. 12. Original image

Download (704KB)
Indexing metadata
14. Fig. 13. Output image with labels

Download (750KB)
Indexing metadata
15. Fig. 14. A skeleton obtained from an image in 3D space

Download (340KB)
Indexing metadata
16. Fig. 15. Examples of different anomalies

Download (2MB)
Indexing metadata
17. Fig. 16. Resnet50v2 architecture [9]

Download (997KB)
Indexing metadata
18. Fig. 17. The algorithm for anomaly detection

Download (1MB)
Indexing metadata
19. Fig. 18. Loss and accuracy graphs on the training and validation sample

Download (357KB)
Indexing metadata
20. Fig. 19. Confusion matrix

Download (264KB)
Indexing metadata
21. Fig. 20. Classification report

Download (231KB)
Indexing metadata
22. Fig. 21. Detection of violent acts

Download (2MB)
Indexing metadata
23. Fig. 22. Detection of nonviolent acts

Download (2MB)
Indexing metadata


Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».