Method for Processing Photo and Video Data from Camera Traps Using a Two-Stage Neural Network Approach

Cover Page

Cite item

Full Text

Abstract

The paper proposes a technology for analyzing data from camera traps using two-stage neural network processing. The task of the first stage is to separate empty images from non-empty ones. To solve the problem, a comparative analysis of the YOLOv5, YOLOR, YOLOX architectures was carried out and the most optimal detector model was identified. The task of the second stage is to classify the objects found by the detector. Models such as EfficientNetV2, SeResNet, ResNeSt, ReXNet, ResNet were compared. To train the detector model and the classifier, a data preparation approach was developed, which consists in removing duplicate images from the sample. The method was modified using agglomerative clustering to divide the sample into training, validation, and test. In the task of object detection, the YOLOv5-L6 algorithm was the best with an accuracy of 98.5% on the data set. In the task of classifying the found objects, the ResNeSt-101 architecture was the best of all with a recognition quality of 98.339% on test data.

Full Text

Restricted Access

About the authors

Vladislav A. Efremov

Moscow Institute of Physics and Technology (National Research University)

Author for correspondence.
Email: efremov.va@phystech.edu

Postgraduate student, programmer of the Laboratory of Digital Systems for Special Purposes

Russian Federation, Dolgoprudny, Moscow Region

Andrey V. Leus

Moscow Institute of Physics and Technology (National Research University)

Email: leus.av@mipt.ru

Candidate of Technical Sciences, Leading Programmer of the Laboratory of Digital Systems for Special Purposes

Russian Federation, Dolgoprudny, Moscow Region

Dmitry A. Gavrilov

Moscow Institute of Physics and Technology (National Research University)

Email: gavrilov.da@mipt.ru

Doctor of Technical Sciences, Director of the Physical and Technical School of the FRCT

Russian Federation, Dolgoprudny, Moscow Region

Daniil I. Mangazeev

Moscow Institute of Physics and Technology (National Research University)

Email: mangazeev.di@phystech.edu

Master, programmer of the Laboratory of Digital Systems for Special Purposes

Russian Federation, Dolgoprudny, Moscow Region

Ivan V. Kholodnyak

Moscow Institute of Physics and Technology (National Research University)

Email: kholodnyak.iv@phystech.edu

Master

Russian Federation, Dolgoprudny, Moscow Region

Alexandra S. Radysh

Moscow Institute of Physics and Technology (National Research University)

Email: radysh.as@phystech.edu

Master

Dolgoprudny, Moscow Region

Viktor A. Zuev

Moscow Institute of Physics and Technology (National Research University)

Email: zuev.va@phystech.edu

Master

Russian Federation, Dolgoprudny, Moscow Region

Nikita A. Vodichev

Moscow Institute of Physics and Technology (National Research University)

Email: vodichev.na@phystech.edu

Master

Russian Federation, Dolgoprudny, Moscow Region

References

  1. O’Connell A. F., Nichols J. D., Karanth K.U. Camera traps in animal ecology: Methods and analyses. – Berlin, Germany: Springer Science & Business Media. 2011. 279 р.
  2. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition. // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016. P. 770–778.
  3. Gavrilov D.A., Lovtsov D.A. Automated processing of visual information using artificial intelligence technologies // Artificial intelligence and decision making. 2020. No. 4. Р. 33 - 46.
  4. Lovtsov D. A., Gavrilov D.A. Automated special purpose optical electronic system’s functional diagnosis // Proc. Int. Semin. Electron Devices Des. Prod. SED-2019 (23 – 24 April 2019). – Prague, Czech Repub. IEEE, 2019. P. 70 – 73.
  5. Yu X., Wang J., Kays R., Jansen P. A., Wang T. H.T. Automated identification of animal species in camera trap images// EURASIP Journal on Image and Video Processing. 2013. Vol. №. 1. P. 52.
  6. Chen G., Han T. X, He Z., Kays R., Forrester T. Deep convolutional neural network based species recognition for wild animal monitoring // IEEE international conference on image processing (ICIP). 2014. P. 858–862.
  7. Gomez-Villa A., Salazar A., Vargas F. Towards automatic wild animal monitoring: Identification of animal species in camera-trap images using very deep convolutional neural networks.// Ecological Informatics. 2017. № 41. Р. 24–32.
  8. Nguyen H., Maclagan S. J., Nguyen T. D., Nguyen T., Flemons P., Andrews K., Ritchie E. G., Phung D. Animal recognition and identification with deep convolutional neural networks for automated wildlife monitoring. //International Conference on Data Science and Advanced Analytics, DSAA. – 2017: Tokyo, Japan 19-21 October 2017. Р. 40-49.
  9. Beery S., Van Horn, G., Perona P. Recognition in Terra Incognita// Computer Vision. ECCV 2018. Lecture Notes in Computer Science. Vol. 11220.
  10. Norouzzadeh M. S., Morris D., Beery S., Joshi N., Jojic N., Clune J. A deep active learning system for species identification and counting in camera trap images. //Methods in Ecology and Evolution. 2021. Vol. 12 (1). Р. 150–161.
  11. Whytock R. C, Świeżewski J., Zwerts J.A. Robust ecological analysis of camera trap data labelled by a machine learning model// Methods in Ecology and Evolution. 2021. №12 (6). Р. 1080 –1092.
  12. Leus A.V., Efremov V.A. Computer vision methods application for camera traps image analysis within the software for the reserves environmental state monitoring//Proceedings of the Mordovia State Nature Reserve. 2021. Vol. 28. Р.121-129.
  13. Tabak M. A., Norouzzade, M. S., Wolfson D. W., Sweeney S. J., VerCauteren K. C., Snow N. P., Halseth J. M., Di Salvo P. A., Lewis J. S., White M. D., Teton B., Beasley J. C., Schlichting P. E., Boughton R. K., Wight B., Newkirk E. S., Ivan R.S. Machine learning to classify animal species in camera trap images: Applications in ecology. //Methods in Ecology and Evolution. 2018. №10 (4). Р.585–590.
  14. Glenn J. YOLOv5 release v6.1 – 2021 – https://github.com/ultralytics/yolov5/releases/tag/v6.1.
  15. Wang C., Yeh I., Liao H.M. You Only Learn One Representation: Unified Network for Multiple Tasks. 2021.
  16. Ge Z., Liu S., Wang F. Li Z., Sun J. YOLOX: Exceeding YOLO Series in 2021. 2021.
  17. Lin T. Y., Maire M., Belongie S., Hays J., Perona P., Ramanan D., Zitnick C.L. Microsoft COCO: Common objects in context // European conference on computer vision. 2014. Р. 740–755.
  18. Hu J., Shen L., Albanie S., Sun G., Wu E. Squeeze-and-Excitation Networks. // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2020. Vol. 42. № 8. P. 2011-2023.
  19. Zhang H., Wu C., Zhang Z., Zhu Y., Zhang Z., Lin H., Sun Y., He T., Mueller J., Manmatha R., Li M., Smola A. ResNeSt: Split-Attention Networks. 2020.
  20. Han D., Yun S., Heo B., Yoo Y.J. ReXNet: Diminishing Representational Bottleneck on Convolutional Neural Network. 2020.
  21. Tan M., Le Q. V. EfficientNetV2: Smaller Models and Faster Training. 2021.
  22. Tan M., Le Q. V. EfficientNet: Rethinking model scaling for convolutional neural networks. 2020.
  23. Sibson R. SLINK: An Optimally Efficient Algorithm for the Single-Link Cluster Method//Comput. J. 1973. №16. Р. 30-34.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2. Fig. 1. Examples of reserve locations. a) Voronezh (Roe deer); b) Dagestan (Wolf); c) Sayano-Shushensky (Wolverine); d) Sikhote-Alinsky (Tiger)

Download (283KB)
Indexing metadata
3. Fig. 2. Examples of images with distortions. a) blank image; b) animal in the dark; c) animal close to the camera trap; d) overexposed animal; d) blurred image; e) several types of animals; g) part of an animal

Download (251KB)
Indexing metadata
4. Fig. 3. Example of duplicate images / a) original image; b) corr=90.2%; c) corr=90.6%; d) original image; d) corr=91.8%; e) corr=94.1%. a) and d) are images from the validation set; b), c), d), e) are images from the training set. corr means the degree of correlation between the original image from the validation set and the images from the training set. The correlation threshold is 0.9.

Download (226KB)
Indexing metadata

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».