Visual Servoing for Deformable Objects with Pre-Planned Trajectory-Guided Geometric Primitives

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

Представлена новая техника жесткого выравнивания перспективной камеры с деформациями нежесткого объекта, использующая адаптивный подход визуального сервопривода. В отличие от существующих методов, предлагаемый подход не опирается на какие-либо параметрические или модельные априорные данные о деформации. Предполагая наличие заранее спланированной траектории камеры, наблюдающей за слитно жестким объектом, метод направлен на выравнивание этой траектории во время фазы выполнения, используя только наиболее релевантные ориентиры в качестве априорной информации. Подход не зависит от каких-либо параметрических или непараметрических моделей физики деформации. Он формулируется как задача отслеживания, встроенная в оптимальную схему визуального управления. Этот процесс отслеживания включает в себя визуальный сервопривод геометрических особенностей деформируемого объекта, соединяя этапы планирования и выполнения. Оптимальное визуальное управление определяется с использованием критерия взвешенного метода наименьших квадратов, который минимизирует расстояние между опорными признаками и наблюдаемыми в режиме реального времени. Веса представляют собой зависящие от времени плавные функции, которые кодируют значимость видимых особенностей объекта. Экспериментальные результаты демонстрируют способность метода адаптироваться к различным заранее спланированным траекториям и типам деформаций без необходимости предварительных знаний, а также его устойчивость к шуму при обнаружении признаков на изображении.

References

  1. Petit A., Lippiello V., Fontanelli G.A., Siciliano B. Tracking elastic deformable objects with an RGB-d sensor for a pizza chef robot // Robotics and Autonomous Systems. 2017. V. 88. P. 187–201. https://doi.org/10.1016/j.robot.2016.08.023. Accessed 2021-06-17.
  2. Haouchine N., Dequidt J., Peterlik I., Kerrien E., Berger M.-O., Cotin S. Imageguided simulation of heterogeneous tissue deformation for augmented reality during hepatic surgery // 2013 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), P. 199–208. https://doi.org/10.1109/ISMAR.2013.6671780
  3. Rastegarpanah A., Aflakian A., Stolkin R. Optimized hybrid decoupled visual servoing with supervised learning / Proceedings of the Institution of Mechanical Engineers, Part I // J. Syst. Control Engin. 2022. V. 236(2). P. 338–354. https://doi.org/10.1177/09596518211028379. Publisher: IMECHE. Accessed 2021-07-21.
  4. Chi C., Berenson D. Occlusion-robust deformable object tracking without physics simulation // 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2019. P. 6443–6450. https://arxiv.org/abs/2101.007332101.00733.
  5. https://doi.org/10.1109/IROS40897.2019.8967827. Accessed 2021-06-29. 5. Lagneau R. Shape Control of Deformable Objects by Adaptive Visual Servoing // INSA de Rennes, 2020. https://tel.archives-ouvertes.fr/tel-03087518 Accessed 2021-06-17.
  6. Lagneau R., Krupa A., Marchal M. Active Deformation through Visual Servoing of Soft Objects // 2020 IEEE International Conference on Robotics and Automation (ICRA), P. 8978–8984 (2020). https://doi.org/10.1109/ICRA40945.2020.9197506. ISSN: 2577-087X
  7. Chaumette F. Ikeuchi K. (ed.) Visual Servoing. Springer. Boston. 2014. P. 869–874.
  8. Tahri O., Chaumette F. Image moments: generic descriptors for decoupled imagebased visual servo // IEEE International Conference on Robotics and Automation, 2004. Proceedings. ICRA ’04. 2004. V. 2. P. 1185–11902. https://doi.org/10.1109/ROBOT.2004.1307985 ISSN: 1050-4729
  9. Agravante D.J., Claudio G., Spindler F., Chaumette F. Visual servoing in an optimization framework for the whole-body control of humanoid robots // IEEE Robotics and Automation Letters. V. 2. No. 2. P. 608–615. https://doi.org/10.1109/LRA.2016.2645512
  10. Ren X., Li H., Li Y. Image-based visual servoing control of robot manipulators using hybrid algorithm with feature constraints // IEEE Access 8. 2020. P. 223495–223508. https://doi.org/10.1109/ACCESS.2020.3042207
  11. Wang T., Wang W., Wei F. An overview of control strategy and trajectory planning of visual servoing / Fei, M., Li, K., Yang, Z., Niu, Q., Li, X. (eds.) Recent Featured Applications of Artificial Intelligence Methods // LSMS 2020 and ICSEE 2020 Workshops. P. 358–370. Springer, Singapore 2020
  12. Corke P., Hutchinson S. A new partitioned approach to image-based visual servo control // IEEE Transactions on Robotics and Automation. V. 17. No. 4. P. 507–515. https://doi.org/10.1109/70.954764
  13. Nicholas R. Gans, Seth A. Performance Tests for Visual Servo Control Systems, with Application to Partitioned Approaches to Visual Servo Control Hutchinson, Peter I. Corke // Int. J. Robot. Res. 2003. https://journals.sagepub.com/doi/abs/10.1177/027836490302210011 Accessed 2021-03-07
  14. Janabi-Sharifi F., Wilson W.J. Automatic selection of image features for visual servoing // IEEE Transactions on Robotics and Automation. 1997. V. 13. No. 6. P. 890–903. https://doi.org/10.1109/70.650168
  15. Chaumette F. Image moments: a general and useful set of features for visual servoing // IEEE Transactions on Robotics. 2024. V. 20. No. 4. P. 713–723. https://doi.org/10.1109/TRO.2004.829463
  16. Molnar C., Nagy T.D., Elek R.N., Haidegger T. Visual servoing-based camera control for the da vinci surgical system // 2020 IEEE 18th International Symposium on Intelligent Systems and Informatics (SISY). 2020. P. 107–112. https://doi.org/10.1109/SISY50555.2020.9217086
  17. Mohamed I. MPPI-VS: Sampling-Based Model Predictive Control Strategy for Constrained Image-Based and Position-Based Visual Servoing // IEEE/RSJ International Conference on Intelligent Robots and Systems. 2021. https://doi.org/10.48550/arXiv.2104.04925
  18. Lagneau R., Krupa A., Marchal M. Active deformation through visual servoing of soft objects // 2020 IEEE International Conference on Robotics and Automation (ICRA). 2020. P. 8978–8984. https://doi.org/10.1109/ICRA40945.2020.9197506
  19. Hu Z., Han T., Sun P., Pan J., Manocha D. 3-d deformable object manipulation using deep neural networks // IEEE Robotics and Automation Letters. 2019. V. 4. No. 4. P. 4255–4261. https://doi.org/10.1109/LRA.2019.2930476
  20. Jia B., Hu Z., Pan J., Manocha D. Manipulating highly deformable materials using a visual feedback dictionary // 2018 IEEE International Conference on Robotics and Automation (ICRA). 2018. P. 239–246. https://doi.org/10.1109/ICRA.2018.8461264
  21. Hu Z., Sun P., Pan J. Three-dimensional deformable object manipulation using fast online gaussian process regression // IEEE Robotics and Automation Letters. 2018. V. 3. No. 2. P. 979–986. https://doi.org/10.1109/LRA.2018.2793339
  22. Zhu J. Vision-based robotic manipulation of deformable linear objects. PhD thesis, Universit´e Montpellier. 2020.
  23. Chen Z., Li S., Zhang N., Hao Y., Zhang X. Eye-to-hand robotic visual tracking based on template matching on fpgas // IEEE Access. 2019. V. 7. P. 88870–88880. https://doi.org/10.1109/ACCESS.2019.2926807
  24. Staneva V., Younes L. Modeling and estimation of shape deformation for topologypreserving object tracking // SIAM J. Imag. Sci.. 2014. V. 7. No. 1. P. 427–455. https://doi.org/10.1137/130919714
  25. Hu Y., Carter T.J., Ahmed H.U., Emberton M., Allen C., Hawkes D.J., Barratt D.C. Modelling prostate motion for data fusion during image-guided interventions // IEEE Transactions on Medical Imaging. V. 30. No. 11. P. 1887–1900. https://doi.org/10.1109/TMI.2011.2158235
  26. Chen Q., Sun Q.-S., Heng P.A., Xia D.-S. Two-stage object tracking method based on kernel and active contour // IEEE Transactions on Circuits and Systems for Video Technology. 2020. V. 20. No. 4. P. 605–609. https://doi.org/10.1109/TCSVT.2010.2041819
  27. Cao X., Lan J., Rong Li X. Extension-deformation approach to extended object tracking // 2016 19th International Conference on Information Fusion. (FUSION). 2016. P. 1185–1192.
  28. Joo H., Simon T., Sheikh Y. Total capture: A 3d deformation model for tracking faces, hands, and bodies // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2018.
  29. Royer L., Marchal M., Le Bras A., Dardenne G., Krupa A. Real-time tracking of deformable target in 3d ultrasound images // 2015 IEEE International Conference on Robotics and Automation (ICRA). P. 2430–2435. https://doi.org/10.1109/ICRA.2015.7139523. ISSN: 1050-4729.
  30. Royer L., Krupa A., Dardenne G., Bras A.L., Marchand E., Marchal M. Realtime target tracking of soft tissues in 3d ultrasound images based on robust visual information and mechanical simulation // Medical Image Analysis. 2017. V. 35. P. 582–598. ISSN 1361-8415. https://doi.org/10.1016/j.media.2016.09.004
  31. Kajihara K., Huang S., Bergstrom N., Yamakawa Y., Ishikawa M. Tracking of trajectory with dynamic deformation based on dynamic compensation concept // 2017 IEEE International Conference on Robotics and Biomimetics (ROBIO). 2017. P. 1979–1984. https://doi.org/10.1109/ROBIO.2017.8324709
  32. Zhou H., Ma J., Tan C.C., Zhang Y., Ling H. Cross-weather image alignment via latent generative model with intensity consistency // IEEE Transactions on Image Processing. 2020. V. 29. P. 5216–5228. https://doi.org/10.1109/TIP.2020.2980210
  33. Toriya H., Dewan A., Kitahara I. Sar2opt: Image alignment between multi-modal images using generative adversarial networks // IGARSS 2019 - 2019 IEEE International Geoscience and Remote Sensing Symposium. 2019. P. 923–926. https://doi.org/10.1109/IGARSS.2019.8898605
  34. Shingo Kagami, K.H. Kotaro Omi: Alignment of a flexible sheet object with position-based and image-based visual servoing // Advanced Robotics. 2016. V. 30. P. 965–978. https://doi.org/10.1080/01691864.2016.1183518
  35. Xi Shen, A.A.E.M.A. Francois Darmon. Ransac-flow: Generic two-stage image alignment // Computer Vision-ECCV 2020. V. 12349. P. 618–637.
  36. Dong Y., Liang T., Zhang Y., Du B. Spectral spatial weighted kernel manifold embedded distribution alignment for remote sensing image classification // IEEE Transactions on Cybernetics. (2021). V. 51(6). P. 3185–3197. https://doi.org/10.1109/TCYB.2020.3004263
  37. Mathiassen K., Glette K., Elle O.J. Visual servoing of a medical ultrasound probe for needle insertion // 2016 IEEE International Conference on Robotics and Automation (ICRA). P. 3426–3433. https://doi.org/10.1109/ICRA.2016.7487520
  38. Mura M., Abu-Kheil Y., Ciuti G., Visentini-Scarzanella M., Menciassi A., Dario P., Dias J., Seneviratne L. Vision-based haptic feedback for capsule endoscopy navigation: a proof of concept // Micro-Bio Robot. V. 11. P. 35–45. https://doi.org/10.1007/s12213-016-0090-2 Accessed 2021-03-23.
  39. Malti A., Ta¨ıx M., Lamiraux F. A general framework for planning landmark-based motions for mobile robots // Advanced Robotics. 2011. V. 25. No. (11–12). P. 1427–1450. https://doi.org/10.1163/016918611X579457
  40. Sengupta A., Krupa A., Marchand E. Visual Tracking of Deforming Objects Using Physics-based Models // ICRA 2021 – IEEE International Conference on Robotics and Automation 2021.
  41. Feng X., Mei W., Hu D. A Review of Visual Tracking with Deep Learning // Atlantis Press. (2016). P. 231–234. ISSN: 1951-6851.
  42. Marvasti-Zadeh S.M., Cheng L., Ghanei-Yakhdan H., Kasaei S. Deep Learning for Visual Tracking: A Comprehensive Survey // IEEE Transact. Intelligtnt Transport. V. 23. No. 5. 2021. P. 1–26.
  43. Malti A., Hartley R., Bartoli A., Kim J.-H. Monocular template-based 3d reconstruction of extensible surfaces with local linear elasticity // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2013.
  44. Malti A., Bartoli A., Hartley R. A linear least-squares solution to elastic shape-fromtemplate // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015.
  45. Malti A., Herzet C. Elastic shape-from-template with spatially sparse deforming forces // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017.
  46. Casillas-Perez D., Pizarro D., Fuentes-Jimenez D., Mazo M., Bartoli A. Equiareal Shape-from-Template // J. Math. Imaging Vision. 2019. V. 61. No. 5. P. 607–626.
  47. Ben-Israel A., Greville T.N.E. Generalized Inverses Theory and Applications // Springer. 2003. Google-Books-ID: o zXUXaqGU8C
  48. Saidi F., Malti A. Fast and accurate nonlinear hyper-elastic deformation with a posteriori numerical verification of the convergence of solution: Application to the simulation of liver deformation // Numerical Methods in Biomedical Engineering. 2021. V. 37. No. 5. https://doi.org/10.1002/cnm.3444
  49. Chaumette F., Hutchinson S. Visual servo control. I. basic approaches // IEEE Robot. Autom. Magaz. 2006 V. 13. No. 4. P. 82–90. https://doi.org/10.1109/MRA.2006.250573
  50. Murray R.M., Li Z., Sastry S.S., Sastry S.S. A Mathematical Introduction to Robotic Manipulation // CRC Press. 1994. https://doi.org/10.1201/9781315136370

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Copyright (c) 2025 The Russian Academy of Sciences

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».