Повышение качества видеопотока от системы технического зрения беспилотного летательного аппарата

Обложка

Цитировать

Полный текст

Аннотация

В исследовании приведены результаты работы над программно-аппаратным комплексом для повышения качества видеоданных, получаемых от беспилотных летательных аппаратов. Рассмотрены задачи деконволюции отдельных кадров (удаление смазов) и стабилизации видеопотока с использованием методов машинного обучения и искусственного интеллекта. Представлены аналитические и практические результаты, позволившие подобрать решения для обработки данных от БПЛА в режиме реального времени.

Об авторах

Виталий Петрович Фраленко

Институт программных систем им. А. К. Айламазяна РАН

Автор, ответственный за переписку.
Email: alarmod@pereslavl.ru
ORCID iD: 0000-0003-0123-3773
Кандидат технических наук, ведущий научный сотрудник ИЦМС ИПС им. А.К. Айламазяна РАН. Область научных интересов: интеллектуальный анализ данных и распознавание образов, искусственный интеллект и принятие решений, параллельно-конвейерные вычисления, сетевая безопасность, диагностика сложных технических систем, графические интерфейсы.

Список литературы

  1. Xiaojie Chu, Liangyu Chen, Chengpeng Chen, Xin Lu. “Improving image restoration by revisiting global information aggregation”, ECCV 2022: Computer Vision – ECCV 2022 (October 23–27, 2022, Tel Aviv, Israel), Lecture Notes in Computer Science, vol. 13678, Springer, Cham, 2022, pp. 330–351.
  2. Zhengzhong Tu, Hossein Talebi, Han Zhang, Feng Yang, Peyman Milanfar, Alan Bovik, Yinxiao Li. “MAXIM: multi-axis MLP for image processing”, 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022, 34 pp.
  3. Lei Sun, Christos Sakaridis, Jingyun Liang, Qi Jiang, Kailun Yang, Peng Sun, Yaozu Ye, Kaiwei Wang, Luc Van Gool. “Event-based fusion for motion deblurring with cross-modal attention”, ECCV 2022: Computer Vision – ECCV 2022 (October 23–27, 2022, Tel Aviv, Israel), Lecture Notes in Computer Science, vol. 13678, Springer, Cham, pp. 412–428, 2023, 17 pp.
  4. Dasong Li, Yi Zhang, Ka Chun Cheung, Xiaogang Wang, Hongwei Qin, Hongsheng Li. “Learning degradation representations for image deblurring”, Computer Vision – ECCV 2022, ECCV 2022, Lecture Notes in Computer Science, eds. Avidan S., Brostow G. Ciss.e M. Farinella G.M. Hassner T., 2022, 18 pp.
  5. Chong Mou, Qian Wang, Jian Zhang. “Deep generalized unfolding networks for image restoration”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022, pp. 17399–17410, 12 pp.
  6. Chen L., Chu X., Zhang X., Sun J.. “Simple baselines for image restoration”, Computer Vision – ECCV 2022, ECCV 2022, Lecture Notes in Computer Science, eds. Avidan S., Brostow G., Ciss.e M., Farinella G.M., Hassner T., 2022, 21 pp.
  7. Fu-Jen Tsai, Yan-Tsung Peng, Yen-Yu Lin, Chung-Chi Tsai, Chia-Wen Lin. “Stripformer: strip transformer for fast image deblurring.”, Computer Vision – ECCV 2022, ECCV 2022, Lecture Notes in Computer Science, vol. 13679, eds. Avidan, S., Brostow, G., Ciss.e, M., Farinella, G.M., Hassner, T., 2022, 17 pp.
  8. Zhendong Wang, Xiaodong Cun, Jianmin Bao, Wengang Zhou, Jianzhuang Liu, Houqiang Li. “Uformer: a general U-shaped transformer for image restoration”, 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022, 17 pp.
  9. Bichen Wu, Chenfeng Xu, Xiaoliang Dai, Alvin Wan, Peizhao Zhang, Zhicheng Yan, Masayoshi Tomizuka, Joseph Gonzalez, Kurt Keutzer, Peter Vajda. Visual transformers: token-based image representation and processing for computer vision, 2020, 12 pp.
  10. Thakur A., Papakipos Z., Clauss C., Hollinger C., Andolina I. M., Boivin V., enarche-ahn, freol35241, Lowe B., Schoentgen M., Bouckenooghe R.. “abhiTronix/vidgear: VidGear v0.2.6”, 2022 URL https://zenodo.org/record/6926196.
  11. Yu-Lun Liu, Wei-Sheng Lai, Ming-Hsuan Yang, Yung-Yu Chuang, Jia-Bin Huang. “Hybrid neural fusion for full-frame video stabilization”, Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021, pp. 2299–2308.
  12. Shuaicheng Liu, Ping Tan, Lu Yuan, Jian Sun, Bing Zeng. “MeshFlow: minimum latency online video stabilization”, ECCV 2016: Computer Vision – ECCV 2016 (October 11-14, 2016, Amsterdam, The Netherlands), Lecture Notes in Computer Science, vol. 9910, 2016, pp. 800–815.
  13. Grundmann M., Kwatra V., Essa I.. “Auto-directed video stabilization with robust L1 optimal camera paths”, CVPR '11: Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition (20–25 June 2011, Colorado Springs, CO, USA), IEEE Computer Society, 2011, ISBN 978-1-4577-0394-2, pp. 225–232.
  14. Grundmann M., Kwatra V., Essa I.. “Auto-Directed Video Stabilization with Robust L1 Optimal Camera Paths”, CVPR '11: Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition (20–25 June 2011, Colorado Springs, CO, USA), IEEE Computer Society, 2011, pp. 225–232.
  15. Yufei Xu, Jing Zhang, Stephen J. Maybank, Dacheng Tao. “DUT: learning video stabilization by simply watching unstable videos”, IEEE Transactions on Image Processing, 31 (2022), pp. 4306–4320.
  16. Jinsoo Choi, In So Kweon. “Deep iterative frame interpolation for full-frame video stabilization”, ACM Transactions on Graphics, 39:1 (2019), 4, 4, 9 pp.
  17. Wang M., Yang G. -Y., Lin J. -K., Zhang S. -H., Shamir A., Lu S. -P., Hu S. -M.. “Deep online video stabilization with multi-grid warping transformation learning”, IEEE Transactions on Image Processing, 28:5 (2019), pp. 2283–2292.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать


Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».