STRL-Robotics: Intelligent Control for Robotic Platform in Human-Oriented Environment

Cover Page

Cite item

Full Text

Abstract

The article considers the problem of synthesizing the behavior of mobile robotic manipulator when solving tasks in a human-oriented environment. The architecture of the control system is presented, which in an original way integrates the modules responsible localization and mapping, planning the motion of the mobile platform between given points, controlling movement along the planned path, object recognition on sensor data and controlling the manipulator when interacting with recognized objects. Aforementioned components are implemented for an example task of ensuring the mobility of a robotic system in a multifloor office building equipped with elevators. During the experiments, the implemented set of components allowed a real robotic system to use the elevator of an office building.

Full Text

Restricted Access

About the authors

Konstantin V. Mironov

Moscow Institute of Physics and Technology (National Research University); AIRI Artificial Intelligence Institute

Author for correspondence.
Email: mironovconst@gmail.com

Doctor of Technical Sciences, Senior Researcher; Senior Researcher

Russian Federation, Dolgoprudny; Moscow

Dmitry A. Yudin

Moscow Institute of Physics and Technology (National Research University); AIRI Artificial Intelligence Institute

Email: yudin.da@mipt.ru

Candidate of Technical Sciences, Head of Laboratory; Senior Researcher

Russian Federation, Dolgoprudny; Moscow

Muhammad Alhaddad

Moscow Institute of Physics and Technology (National Research University)

Email: alkhaddad.m@phystech.edu

Junior Researcher

Russian Federation, Dolgoprudny

Dmitry A. Makarov

Moscow Institute of Physics and Technology (National Research University); Computer Science and Control Federal Research Center of the Russian Academy of Sciences

Email: makarov@isa.ru

Candidate of Physical and Mathematical Sciences, Associate Professor; Senior Researcher

Russian Federation, Dolgoprudny; Moscow

Daniil S. Pushkarev

Moscow Institute of Physics and Technology (National Research University)

Email: dan.2k64@gmail.com

Master Student

Russian Federation, Dolgoprudny

Sergey A. Linok

Moscow Institute of Physics and Technology (National Research University)

Email: linok.sa@phystech.edu

Graduate Student

Russian Federation, Dolgoprudny

Ilya V. Belkin

Moscow Institute of Physics and Technology (National Research University)

Email: belkin.iv@phystech.edu

Graduate Student

Russian Federation, Dolgoprudny

Andrey S. Krishtopik

Moscow Institute of Physics and Technology (National Research University)

Email: krishtopik.as@phystech.edu

Intern

Russian Federation, Dolgoprudny

Vladislav A. Golovin

Moscow Institute of Physics and Technology (National Research University)

Email: golovin.va@phystech.edu

Master Student

Russian Federation, Dolgoprudny

Konstantin S. Yakovlev

Computer Science and Control Federal Research Center of the Russian Academy of Sciences

Email: yakovlev@isa.ru

Candidate of Physical and Mathematical Sciences, Leading Researcher

Russian Federation, Moscow

Alexander I. Panov

Moscow Institute of Physics and Technology (National Research University); Computer Science and Control Federal Research Center of the Russian Academy of Sciences

Email: pan@isa.ru

Candidate of Physical and Mathematical Sciences, Leading Researcher

Russian Federation, Dolgoprudny; Moscow

References

  1. Graser A., Heyer T., Fotoohi L., Lange U., Kampe H., Enjarini B., Heyer S., Fragkopoulos C., Ristic-Durrant D. A Supportive FRIEND at Work: Robotic Workplace Assistance for the Disabled // IEEE Robotics Automation Magazine. 2013. V. 20. No. 4. P. 148-159.
  2. Huete A. J., Victores J. G., Martinez S., Gimenez A., Balaguer C. Personal Autonomy Rehabilitation in Home Environments by a Portable Assistive Robot // IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews). 2012. V. 42. No. 4. P. 561-570.
  3. Ktistakis I. P., Bourbakis N. G. Assistive Intelligent Robotic Wheelchairs // IEEE Potentials. 2017. V. 36. No. 1. P. 10-13.
  4. Roa M. A., Dogar M. R., Pages J., Vivas C., Morales A., Correll N., Gorner M., Rosell J., Foix S., Memmesheimer R., Ferro F. Mobile Manipulation Hackathon: Moving into Real World Applications // IEEE Robotics Automation Magazine. 2021. V. 28. P. 112-124.
  5. Martin J., Ansuategi A., Maurtua I., Gutierrez A., Obreg´on D., Casquero O., Marcos M. A Generic ROS-Based Control Architecture for Pest Inspection and Treatment in Greenhouses Using a Mobile Manipulator // IEEE Access 2021. V. 9. P. 94981-94995.
  6. Makarov D. A., Panov A. I., Yakovlev K. S. Arhitektura mnogourovnevoj intellektu-al'noj sistemy upravleniya bespilotnymi letatel'nymi apparatami [An architecture of multilayer intelligent system for controlling unmanned aerial vehicles]// Iskusstvennyj intellekt i prinyatie reshenij [Artificial Intelligence and decision making]. 2015. No. 3. P. 18-33. URL: https://elibrary.ru/item.asp?id=24876389.
  7. Panov A.I. Simultaneous Learning and Planning in a Hierarchical Control System for a Cognitive Agent // Automation and Remote Control. 2022. V. 83. No. 6. P. 869–883.
  8. Makarov D. A., Panov A. I., Yakovlev K. S. STRL: mnogourovnevaya sistema upravleniya intellektual'nymi agentami [Hierarchical system for control of the cognitive agents]// Pyatnadtsataya nacional'naya konferenciya po iskus-stvennomu intellektu s mezhdunarodnym uchastiem KII-2016 (3-7 oktyabrya 2016 g., g.Smolensk, Rossiya): Trudy konferencii. T. 1. [15th national conference with international participation on artificial intelligence CAI-2016 (October 3-7, 2016, Smolensk, Russia). Conference proceedings, vol. 1]. Smolensk : Universum.2016. P. 179-188.
  9. Panov A.I. Goal Setting and Behavior Planning for Cognitive Agents // Scientific and Technical Information Processing. 2019. V. 46. No. 6. P. 404–415.
  10. Osipov G.S., Panov A.I. Relationships and Operations in a Sign-Based World Model of the Actor // Scientific and Technical Information Processing. 2018. V. 45. No. 5. P. 317–330.
  11. Emel’yanov S., Makarov D., Panov A., Yakovlev K. Multilayer cognitive architecture for UAV control // Cognitive Systems Research. 2016. V. 39. P. 58-72. URL: http://link-inghub.elsevier.com/retrieve/pii/S1389041716000048.
  12. Belkin I., Abramenko A., Yudin D. Real-time lidar-based localization of mobile ground robot // Procedia Computer Science. 2021. V. 186. P. 440-448.
  13. Shan T., Englot B. LeGO-LOAM: Lightweight and GroundOptimized Lidar Odometry and Mapping on Variable Terrain
  14. // 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2018. P. 4758-4765.
  15. Zhang J., Singh S. Aerial and Ground-Based Collaborative Mapping: An Experimental Study // Field and Service Robotics. 2018. P. 397-412.
  16. Labb´e M., Michaud F. RTAB-Map as an open-source lidar and visual simultaneous localization and mapping library for large-scale and long-term online operation // Journal of Field Robotics. 2019. V. 36. No. 2. P. 416-446.
  17. Rivera N., Hern´andez C., Baier J. Grid Pathfinding on the 2 k Neighborhoods //. 06.2012.
  18. Koenig S., Likhachev M., Furcy D. Lifelong planning A // Artificial Intelligence. 2004. V. 155. No. 1/2. P. 93-146.
  19. Kuffner J. J., LaValle S. M. RRT-connect: An efficient approach to singlequery path planning // Proceedings 2000 ICRA. Millennium Conference. IEEE International Conference on Robotics and Automation. Symposia Proceedings (Cat. No. 00CH37065). IEEE. 2000. V. 2. P. 995-1001.
  20. Sharma P., Gupta A., Ghosh D., Honkote V., Nandakumar G., Ghose D. PG-RRT: A Gaussian Mixture Model Driven, Kinematically Constrained Bidirectional RRT for Robot Path Planning // 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE. P. 3666-3673.
  21. Nash A., Daniel K., Koenig S., Felner A. Thetaˆ*: Any-angle path planning on grids // AAAI. 2007. V. 7. P. 1177-1183.
  22. Tzafestas S. G. Introduction to Mobile Robot Control. — Oxford: Elsevier. 2014. URL: https://www.sciencedirect.com/science/article/pii/B9780124170490000018.
  23. Fierro R., Lewis F. Control of a nonholonomic mobile robot: backstepping kinematics into dynamics // Proceedings of 1995 34th IEEE Conference on Decision and Control. 1995. V. 4. P. 3805-3810.
  24. Ge H., Matsui M., Koshizuka N. An Open-IoT Approach on Elevator for Enabling Autonomous Robotic Vertical Mobility. // 2021 IEEE 3rd Global Conference on Life Sciences and Technologies (LifeTech). 2021. P. 139-141.
  25. Chand A. N., Yuta S. Design of an intelligent outdoor mobile robot with autonomous road-crossing function for urban environments. // 2012 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM). 2012. P. 355-362.
  26. Wang F., Chen G., Hauser K. Robot Button Pressing in Human Environments. // 2018 IEEE International Conference on Robotics and Automation (ICRA). 2018. P. 7173-7180.
  27. Meng X., He Y., Li Q., Gu F., Yang L., Yan T., Han J. Contact Force Control of an Aerial Manipulator in Pressing an Emergency Switch Process. // 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2018. P. 2107-2113.
  28. Wang W., Huang C., Lai I., Chen H. A robot arm for pushing elevator buttons. // Proceedings of SICE Annual Conference. 2010. P. 1844-1848.
  29. Zhu D., Min Z., Zhou T., Li T., Meng M. Q.-H. An Autonomous Eye-in-Hand Robotic System for Elevator Button Operation Based on Deep Recognition Network. // IEEE Transactions on Instrumentation and Measurement, V. 70, Art no. 2504113. 2021. P. 1-13.
  30. Tiyu F., Huiwu C., Jianjie S., Jinping L. Positioning and Pressing Elevator Button by Binocular Vision and Robot Manipulator. // 2018 International Conference on Security, Pattern Analysis, and Cybernetics (SPAC). 2018. P. 120-133.
  31. Liu J., Tian Y. Recognizing elevator buttons and labels for blind navigation. // Proc. IEEE 7th Annu. Int. Conf. CYBER Technol. Autom., Control, Intell. Syst. (CYBER). 2017. P. 1236-1240.
  32. Liu W., Anguelov D., Erhan D., Szegedy C. SSD: Single Shot MultiBox Detector. // Proc. Eur. Conf. Comp. Vis. 2016. P. 21-37.
  33. Yang P.-Y., Chang T.-H., Chang Y.-H., Wu B.-F. Intelligent mobile robot controller design for hotel room service with deep learning armbased elevator manipulator. // Proc. Int. Conf. Syst. Sci. Eng. (ICSSE). 2018. P. 1-6.
  34. Redmon J., Farhadi A. YOLO9000: Better, faster, stronger // arXiv preprint arXiv:1612.08242. 2016.
  35. Zhu D., Li T., Ho D., Zhou T., Meng M., Q.-H. A novel OCR-RCNN for elevator button recognition. // 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2018. P. 3626-3631.
  36. Liu J., Fang Y., Zhul D., Ma N., Meng M., Q.-H. LargeScale Dataset for Benchmarking Elevator Button Segmentation and Character Recognition. // arXiv preprint arXiv:2103.09030. 2021.
  37. Wang X., Zhang R., Kong T., Li L., Shen C. SOLOv2: Dynamic and Fast Instance Segmentation // arXiv preprint arXiv:2003.10152. 2020.
  38. Lin T.-Y., Maire M., Belongie S., Hays J., Perona P., Ramanan D., Doll´ar P., Zitnick C. L. Microsoft coco: Common objects in context / // European conference on computer vision. Springer. 2014. P. 740-755.
  39. Mironov K., Mambetov R., Panov A., Pushkarev D. Model Predictive Control with Torque Constraints for Velocity-Driven Robotic Manipulator // 2021 20th International Conference on Advanced Robotics (ICAR). 2021.
  40. Liu H., Soto R. A. R., Xiao F., Lee Y. J. YolactEdge: Realtime Instance Segmentation on the Edge // ICRA. 2021.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2. Fig. 1. The robotic system used in the experiments

Download (116KB)
Indexing metadata
3. Fig. 2. Interaction of the system software modules within the proposed STRL-Robotics architecture

Download (193KB)
Indexing metadata
4. Fig. 3. Structure diagram of the process of reconstruction of a three-dimensional terrain map

Download (57KB)
Indexing metadata
5. Fig. 4. Example of the constructed lidar map of a floor of an office building: a - the whole map; b - enlarged part of the map. Only corner points are shown for better visualisation

Download (101KB)
Indexing metadata
6. Fig. 5. Demonstration of planning with increased obstacles: a - geometric dimensions of the agent used to increase obstacles; b - planned trajectory under the condition that the robot is in the forbidden region; different levels of obstacle increase are shown in different shades of grey

Download (27KB)
Indexing metadata
7. Fig. 6. Operation of path following algorithms: a - original version; b - modified version

Download (40KB)
Indexing metadata
8. Fig. 7. Operation of tracking algorithms: a - algorithm from [20]; b - modified version. R1, R2 and P1, P2 are the actual and desired positions of the robot at moments t1 and t2 respectively, t1 < t2

Download (94KB)
Indexing metadata
9. Fig. 8. Ten consecutive paths used for the experiments: S and F are the start and finish points

Download (70KB)
Indexing metadata
10. Fig. 9. Coordination of ROS nodes during lift call

Download (90KB)
Indexing metadata
11. Fig. 10. Sequence of movements when calling the lift

Download (184KB)
Indexing metadata

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».