Two Methods for Estimating Optical Flow from a Video Sequence of Images

Мұқаба

Дәйексөз келтіру

Толық мәтін

Аннотация

The content of the article focuses on calculating optical flow from a series of images. Two techniques are presented for solving this challenging computational problem. These techniques play a crucial role in various fields of computer vision, including object tracking, scene analysis, microand macro-motion detection, facial expression recognition, and more. Both techniques complement each other: the first technique, which uses fast convolutions, is best for calculating the video stream across all pixels in an image; the second technique, which relies on robust estimates for linear regression parameters, is better suited for point configurations. It is recommended to perform pre-processing with the first technique to minimize contrast effects, whereas the image quality has little impact on the results with the second technique due to its robust estimates. By their nature, these methods are related to variational approaches for calculating optical flow. However, they differ significantly from the methods described in the literature in terms of speed and accuracy. These methods do not require the use of deep learning, so they can be applied without a large training dataset for methods that utilize deep neural networks for optical flow computation. The results obtained on grayscale images can easily be extended to color images, and most importantly, to systems of secondary features that have recently been used in computer vision.

Авторлар туралы

Maria Butakova

Scientific Research and Design Institute of Informatization, Automation and Communication of Railway Transport

Хат алмасуға жауапты Автор.
Email: m.a.butakova@yandex.ru

Doctor of Technical Sciences, Professor, Chief Researcher

Ресей, Rostov-on-Don

Igor Shcherban

Southern Federal University

Email: shcheri@mail.ru

Doctor of Technical Sciences, Docent, Leading Researcher, Laboratory of Neurotechnology and Psychophysiology

Ресей, Rostov-on-Don

Nikita Mishin

Southern Federal University

Email: nmishin@sfedu.ru

Postgraduate student, Department of Optimization Methods and Machine Learning, I. I. Vorovich Institute of Mathematics, Mechanics and Computer Science

Ресей, Rostov-on-Don

Grigory Belyavsky

Southern Federal University

Email: gbelyavski@sfedu.ru

Doctor of Technical Sciences, Professor, Professor, Department of Optimization Methods and Machine Learning, I. I. Vorovich Institute of Mathematics, Mechanics and Computer Science, Leading Researcher, Laboratory of Neurotechnology and Psychophysiology

Ресей, Rostov-on-Don

Әдебиет тізімі

  1. Lucas B. D., Kanade T. An iterative image registration technique with an application to stereo vision // IJCAI'81: 7th international joint conference on Artificial intelligence. 1981. V. 2. P. 674-679.
  2. Leonida K. L., Sevilla K. V., Manlises C. O. A MotionBased Tracking System Using the Lucas-Kanade Optical Flow Method // 2022 14th International Conference on Computer and Automation Engineering (ICCAE). IEEE, 2022. P. 86-90.
  3. Horn B. K. P., Schunck B. G. Determining optical flow // Artificial intelligence. 1981. V. 17. No 1-3. P. 185-203.
  4. NVIDIA Optical Flow SDK // Electronic resource. URL: https://developer.nvidia.com/optical-flow-sdk (accessed 07.01.2024).
  5. Dosovitskiy A. et al. Flownet: Learning optical flow with convolutional networks // Proceedings of the IEEE international conference on computer vision. 2015. P. 2758-2766.
  6. Tehrani A. K. Z., Rivaz H. MPWC-Net++: evolution of optical flow pyramidal convolutional neural network for ultrasound elastography // Medical Imaging 2021: Ultrasonic Imaging and Tomography. SPIE, 2021. V. 11602. P. 14-23.
  7. Sun D. et al. Pwc-net: Cnns for optical flow using pyramid, warping, and cost volume // Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. P. 8934-8943.
  8. Kavitha K. K., Venkatapur R. B. Motion Estimation using Optical Flow Through A CNN based Pyramidal Warping and Cost Volume Approach: An Optimized PWC-Net Model // Grenze International Journal of Engineering & Technology (GIJET). 2024. V. 10.
  9. Teed Z., Deng J. Raft: Recurrent all-pairs field transforms for optical flow // Computer Vision–ECCV 2020: 16th European Conference. Glasgow, UK. Proceedings, Part II 16. Springer International Publishing, 2020. P. 402-419.
  10. Sui X. et al. Craft: Cross-attentional flow transformer for robust optical flow // Proceedings of the IEEE/CVF conference on Computer Vision and Pattern Recognition. 2022. P. 17602-17611.
  11. Turin G. An introduction to matched filters // IRE transactions on Information theory. 1960. V. 6. No 3. P. 311-329.
  12. Boldin M. V., Simonova G. I., Tyurin Yu. N. Znakovyj statisticheskij analiz linejnyh modelej [Sign-based methods in linear statistical models] // Amerikanskoe matematicheskoe obshchestvo [American Mathematical Society]. 1997. V. 162.
  13. Durrani S. et al. Accelerating fourier and number theoretic transforms using tensor cores and warp shuffles // 2021 30th International conference on parallel architectures and compilation techniques (PACT). IEEE, 2021. P. 345-355.
  14. Cheon B. W., Kim N. H. Modified gaussian filter based on fuzzy membership function for awgn removal in digital images // Journal of information and communication convergence engineering. 2021. V. 19. No 1. P. 54-60.
  15. Wang Z., Wende-von Berg S., Braun M. Fast parallel Newton–Raphson power flow solver for large number of system calculations with CPU and GPU // Sustainable Energy, Grids and Networks. 2021. V. 27. P. 100483.
  16. Tihonov A. N. O nekorrektnyh zadachah linejnoj algebry i ustojchivom metode ih resheniya [On incorrect problems of linear algebra and a stable method for their solution] // DAN SSSR. 1965. V. 163. No 3. P. 591-594.
  17. HD1K Benchmark Suite // Electronic resource. URL: http://hci-benchmark.iwr.uni-heidelberg.de/ (accessed 07.01.2024).
  18. About MPI-Sintel Flow // Electronic resource. URL: http://sintel.is.tue.mpg.de/about (accessed 07.01.2024).
  19. Otte M., Nagel H. H. Optical flow estimation: advances and comparisons // Computer Vision–ECCV'94: Third European Conference on Computer Vision. Stockholm, Sweden. Proceedings, Volume I 3. Springer Berlin Heidelberg, 1994. P. 49-60.
  20. Barron J. L., Fleet D. J., Beauchemin S. S. Performance of optical flow techniques // International journal of computer vision. 1994. V. 12. P. 43-77.

Қосымша файлдар

Қосымша файлдар
Әрекет
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».