Analysis of Spatiotemporal Motion Patterns in Aerial Images Using Optical Flow

Abstract

This study focuses on the analysis of spatiotemporal motion patterns in aerial imagery using the optical flow method. With the advancement of remote sensing technologies and the widespread use of unmanned aerial vehicles (UAVs), the need for accurate and automated analysis of natural and anthropogenic dynamics is increasing. The work emphasizes the detailed examination of motion direction and intensity in high-resolution images. Existing methods of optical flow estimation are considered, including classical approaches such as the Lucas-Kanade and Horn-Schunck methods, as well as dense optical flow calculated using the Farnebäck method. The latter is applied as a core technique for constructing velocity vector fields, which serve as the basis for segment-wise motion distribution analysis, direction visualization, and heatmap generation. The proposed approach enables the identification of structural patterns and local motion features, which is particularly relevant for infrastructure monitoring and environmental risk assessment. It is also demonstrated that median motion estimates are more robust to noise and local outliers than mean values, thus improving analysis reliability. The research method is based on the calculation of dense optical flow using the Farnebäck algorithm, followed by statistical analysis of motion velocity characteristics and directional patterns across image segments. The scientific novelty of this study lies in the development of a comprehensive approach for analyzing spatiotemporal motion characteristics in aerial images using dense optical flow computed via the Farnebäck method. Unlike traditional techniques focused on global motion estimation, the proposed methodology emphasizes local patterns, enabling detailed segment-based evaluation of motion direction and intensity. For the first time, this study integrates both quantitative and visual analysis methods: histograms, heatmaps, calculations of median and mean velocities, and metrics such as structural similarity index (SSIM) and mean squared error (MSE) between image segments. This approach allows for detecting motion anomalies, identifying highly dynamic regions, and assessing structural stability. The method is tailored to UAV imagery and does not require large training datasets, making it suitable for low-resource environments. The results have practical relevance for automated infrastructure monitoring and environmental risk assessment.

References

  1. Гибсон, Дж. Дж. Восприятие визуального мира / Дж. Дж. Гибсон. – Бостон: Хoughton Mifflin, 1950. – 235 с.
  2. Лукас, Б. Д., Канаде, Т. Итеративная техника регистрации изображений с применением к стереоизображениям. В: Труды 7-й Международной совместной конференции по искусственному интеллекту; 1981. С. 674-679.
  3. Фарнебак, Г. Оценка движения по двум кадрам на основе полиномиального разложения. В: Труды 13-й Скандинавской конференции по анализу изображений (SCIA); 2003. С. 363-370. doi: 10.1007/3-540-45103-X_50.
  4. Сан, Д., Рот, С., Блэк, М. Дж. Секреты оценки оптического потока и их принципы. В: Конференция IEEE по компьютерному зрению и распознаванию образов (CVPR); 2010. С. 2432-2439. doi: 10.1109/CVPR.2010.5539939.
  5. Досовицкий, А., Фишер, П., Ильг, Е., Хауссер, П., Хазирбас, Ч., Гольков, В., Смакт, П., Кремерс, Д., Брокс, Т. FlowNet: Обучение оптическому потоку с помощью сверточных сетей. В: Международная конференция IEEE по компьютерному зрению (ICCV); 2015. С. 2758-2766. doi: 10.1109/ICCV.2015.316. EDN: YDBQRF.
  6. Брокс, Т., Бруhn, А., Папенберг, Н., Вайкетт, Дж. Высокоточная оценка оптического потока на основе теории искажений. В: Европейская конференция по компьютерному зрению (ECCV); 2004. С. 25-36. doi: 10.1007/978-3-540-24673-2_3.
  7. Адиль, О., Махраз, М. А., Риффи, Дж., Тайри, Х. Достижения в оценке оптического потока на основе глубокого обучения: Всесторонний обзор моделей и технологий. В: Шестая международная конференция по интеллектуальным вычислениям в науках о данных (ICDS); 2024 окт. С. 1-7. IEEE.
  8. Хричанюк, О., Свитенко, М., Крыхтин, Ю., Ахафонов, Ю., Авилов, А., Капашин, М. Программно-аппаратный комплекс для автоматической геотеггирования фотографий, сделанных с беспилотного летательного аппарата. В: 7-я международная конференция IEEE по актуальным проблемам разработки беспилотных летательных аппаратов (APUAVD); 2024 окт. С. 276-279. IEEE.
  9. Хорн, Б. К. П., Шунк, Б. Г. Определение оптического потока. Искусственный интеллект. 1981; 17(1-3): 185-203. doi: 10.1016/0004-3702(81)90024-2.
  10. Павленко, Б. В., Пикалев, Я. С. Методика создания набора аэрофотоснимков для задачи перекрестной геолокализации // Проблемы искусственного интеллекта. – 2024. – № 4(35). – С. 101-112. – doi: 10.24412/2413-7383-2024-4-101-112. EDN: DZMGUB.
  11. Галиверов, А. Н., Городничая, А. Н. Особенности использования БПЛА при эффективном сборе аэрофотоснимков в градостроительстве // Инновации. Наука. Образование. – 2022. – № 50. – С. 1822-1826. EDN: BKJZFH.
  12. Дюкарев, Е. А., Воропай, Н. Н., Макаров, С. А. Пространственное разрешение аэрофотоснимков БПЛА. В: Применение беспилотных летательных аппаратов в географических исследованиях: Материалы Всероссийской научно-практической конференции, Иркутск, 22-23 мая 2018 года / Ответственный редактор С.А. Макаров. – Иркутск: Институт географии им. В.Б. Сочавы Сибирского отделения Российской академии наук, 2018. – С. 64-66. EDN: YAVELR.

Supplementary files

Supplementary Files
Action
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».