Mathematical modeling and research of the optimal configuration of an optical stereo system consisting of two flat mirrors

Cover Page

Cite item

Full Text

Abstract

The paper is devoted to mathematical modeling and optimization of optical stereo system configuration, consists of video camera and two flat mirrors. The difference between this research and previous researches is the consideration of a large number of restrictions on the configuration of the optical system: the size of the stereo base, the size of the mirrors, overall dimensions of the optical system, the absence of double reflection of light rays, preventing the situation when the video camera is reflected in the mirrors. A conditional optimization problem is formulated to find the optimal configuration of the considered optical system. The perimeter of the rectangle limiting the dimensions of the optical system was chosen as the target function. Numerical solution to the problem was found using the SciPy package. The results obtained expand the theory of computer vision and can be used in the creation and research of computer vision systems for robotic systems.

About the authors

Dmitry Nikolaevich Stepanov

Ailamazyan Program Systems Institute of RAS

Email: mitek1989@mail.ru
Candidate of Technical Sciences, researcher, Research Center for Multiprocessor Systems, Program Systems Institute of Russian Academy of Sciences. The field of scientific interests: mathematical modeling, numerical methods, computer vision, pattern recognition, parallel programming, visual navigation, data analysis

Igor Petrovich Tishchenko

Ailamazyan Program Systems Institute of RAS

Email: igor.p.tishchenko@gmail.com
Candidate of Technical Sciences, acting director of the Program Systems Institute of Russian Academy of Sciences. The field of scientific interests: pattern recognition, parallel programming, artificial neural networks, unmanned aerial vehicles

References

  1. Gorevoy A. V., Machikhin A. S.. “Optimal calibration of a prism-based videoendoscopic system for precise 3D measurements”, Computer Optics, 2017, no.41(4), pp. 535–544.
  2. Zhou F., Chen Y., Zhou M., Li X.. “Effect of Catadioptric Component Postposition on Lens Focal Length and Imaging Surface in a Mirror Binocular System”, Sensors, 2019, no.19(23), pp. 5309.
  3. Gluckman J., Nayar S. K.. “Rectified catadioptric stereo sensors”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, no.24(2), pp. 224–236.
  4. Clark A. F., Chan S. W.. “Single-camera computational stereo using a rotating mirror”, Proc 1994 British Machine Vision Conference, 1994, no.2, pp. 761–770.
  5. Nakao T., Kashitani A.. “Panoramic camera using a mirror rotation mechanism and a fast image mosaicing”, Proc 2001 International Conference on Image Processing, 2001, pp. 1045–1048.
  6. Hu S., Dong H., Shimasaki K., Jiang M., Senoo T., Ishii I.. “Omnidirectional Panoramic Video System With Frame-by-Frame Ultrafast Viewpoint Control”, IEEE Robotics and Automation Letters, 2022, no.7(2), pp. 4086–4093.
  7. Pachidis T., Lygouras J.. “A pseudo stereo vision system as a sensor for real time path control of a robot”, Proc 19th IEEE IMTC/2002, 2002, no.2, pp. 1589–1594.
  8. Vernon D.. “An optical device for computation of binocular stereo disparity with a single static camera”, Proc SPIE 2002, 2002, no.4877, pp. 38–46.
  9. Chai X., Zhou F., Chen X.. “Epipolar constraint of single camera mirror binocular stereo vision systems”, Optical Engineering, 2017, no.56(8), pp. 084103.
  10. Zhou F., Chai X., Chen X., Song Y.. “Omnidirectional stereo vision sensor based on single camera and catoptric system”, Applied Optics, 2016, no.55(25), pp. 6813–6820.
  11. Liu Y., Zhou F., Guo Z., Tan H., Zhang W.. “Design and Optimization of a Quad-directional Stereo Vision Sensor with Wide Field of View Based on Single Camera”, Measurement, 2022, no.203(7), pp. 111915.
  12. Wang R., Li X., Zhang Y.. “Analysis and optimization of the stereo-system with a four-mirror adapter”, Journal of the European Optical Society Rapid Publications, 2008, no.3, pp. 08033.
  13. Yu L., Pan B.. “Structure parameter analysis and uncertainty evaluation for single-camera stereo-digital image correlation with a four-mirror adapter”, Applied Optics, 2016, no.55(25), pp. 6936–6946.
  14. Luo H., Yu L., Pan B.. “Design and validation of a demand-oriented single-camera stereo-DIC system with a four-mirror adapter”, Measurement, 2021, no.186(5), pp. 110083.
  15. López-Alba E., Felipe-Sesé L., Schmeer S., Díaz F. A.. “Optical low-cost and portable arrangement for full field 3D displacement measurement using a single camera”, Measurement Science and Technology, 2016, no.27(11), pp. 115901.
  16. Yu Z., Ma K., Wang Z., Wu J., Wang T., Zhuge J.. “Surface modeling method for aircraft engine blades by using speckle patterns based on the virtual stereo vision system”, Optics Communications, 2018, no.411(1), pp. 33–39.
  17. Bartol K., Bojanić D., Petković T., Pribanić T.. “Catadioptric Stereo on a Smartphone”, Proc 2021 12th International Symposium on Image and Signal Processing and Analysis (ISPA), 2021, pp. 189–194.
  18. Aggarwal R., Vohra A., Namboodiri A. M.. “Panoramic stereo videos with a single camera”, Proc CVPR 2016, 2016, pp. 3755–3763.
  19. Zhu L., Wang W., Liu Y., Lai S., Li J.. “A Virtual Reality Video Stitching System Based on Mirror Pyramids”, Proc 2017 International Conference on Virtual Reality and Visualization (ICVRV), 2017, pp. 288–293.
  20. Nene S. A., Nayar S .K.. “Stereo with mirrors”, Sixth International Conference on Computer Vision, 1998, pp. 1087–1094.
  21. Baker S., Nayar S. K.. “A Theory of Single-Viewpoint Catadioptric Image Formation”, International Journal of Computer Vision, 1999, no.35(2), pp. 175–196.
  22. Goshtasby A., Gruver W. A.. “Design of a single-lens stereo camera system”, Pattern Recognition, 1993, no.26(6), pp. 923–937.
  23. Gluckman J., Nayar S. K.. “Planar catadioptric stereo: geometry and calibration”, Proc IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1999, no.1, pp. 22–28.
  24. Gluckman J., Nayar S. K.. “Catadioptric Stereo Using Planar Mirrors”, International Journal of Computer Vision, 2001, no.44(1), pp. 65–79.
  25. Endres F., Sprunk C., Kümmerle R., Burgard W.. “A Catadioptric Extension for RGB-D Cameras”, Proc 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2014, pp. 466–471.
  26. Mariottini G. L., Scheggi S., Morbidi F., Prattichizzo D.. “Catadioptric stereo with planar mirrors: multiple-view geometry and camera localization”, In Book: Chesi G, Hashimoto K, eds. Visual Servoing via Advanced Numerical Methods, 2010, pp. 3–21.
  27. Durand-Texte T., Melon M., Simonetto E., Durand S.. “3D vision method applied to measure the vibrations of non-flat items with a two-mirror adapter”, Journal of Physics Conference Series, 2018, no.1149(1), pp. 012008.
  28. Takahashi K., Nobuhara S.. “Structure of Multiple Mirror System From Kaleidoscopic Projections of Single 3D Point”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, no.44(9), pp. 5602–5617.
  29. Zhao Y., Chen Y., Yang L.. “Calibration of Double-Plane-Mirror Catadioptric Camera Based on Coaxial Parallel Circles”, Journal of Sensors, 2022, no.2022(12), pp. 1–15.
  30. Zhong F, Quan C.. “A Single Color Camera Stereo Vision System”, IEEE Sensors Journal, 2018, no.18(4), pp. 1474–1482.
  31. Степанов Д. Н., Смирнов А. В.. «Исследование процесса калибровки и оптических характеристик стереонасадки 3dberry», Программные системы: теория и приложения, 2018, №38(3), с. 11–28.
  32. Степанов Д. Н.. «Математические модели получения стереоизображений с двухзеркальных катадиоптрических систем с учетом дисторсии объективов», Компьютерная оптика, 2019, №43(1), с. 105–114.
  33. Bradski G., Kaehler A.. Learning OpenCV, O'Reilly Media Inc, Sebastopol, CA, 2008, ISBN 978-0-596-51613-0.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».