STRL-Robotics: интеллектуальное управление поведением робототехнической платформы в человеко-ориентированной среде

Обложка

Цитировать

Полный текст

Аннотация

В статье рассмотрена проблема синтеза поведения мобильной робототехнической платформы с манипулятором при решении задач в человеко-ориентированной среде. Представлена архитектура системы управления, которая оригинальным образом интегрирует модули, отвечающие за картирование среды, локализацию робототехнической системы на карте, планирование пути мобильной платформы между заданными точками, управление движением по спланированному пути, распознавание объектов на данных сенсоров и управление манипулятором при взаимодействии с распознанными объектами. Вышеуказанные компоненты реализованы для модельной задачи обеспечения мобильности робототехнической системы в многоэтажном офисном здании, оснащенном лифтами. В ходе экспериментов реализованная совокупность компонентов позволила реальной робототехнической системе использовать лифт офисного здания.

Полный текст

Доступ закрыт

Об авторах

Константин Валерьевич Миронов

Московский физико-технический институт (национальный исследовательский университет); Институт искусственного интеллекта AIRI

Автор, ответственный за переписку.
Email: mironovconst@gmail.com

доктор технических наук, старший научный сотрудник; старший научный сотрудник

Россия, Долгопрудный; Москва

Дмитрий Александрович Юдин

Московский физико-технический институт (национальный исследовательский университет); Институт искусственного интеллекта AIRI

Email: yudin.da@mipt.ru

кандидат технических наук, заведующий лабораторией; старший научный сотрудник

Россия, Долгопрудный; Москва

Мухаммад Алхаддад

Московский физико-технический институт (национальный исследовательский университет)

Email: alkhaddad.m@phystech.edu

младший научный сотрудник

Россия, Долгопрудный

Дмитрий Александрович Макаров

Московский физико-технический институт (национальный исследовательский университет); Федеральный исследовательский центр «Информатика и управление» РАН

Email: makarov@isa.ru

кандидат физико-математических наук, доцент; старший научный сотрудник

Россия, Долгопрудный; Москва

Даниил Сергеевич Пушкарев

Московский физико-технический институт (национальный исследовательский университет)

Email: dan.2k64@gmail.com

магистрант

Россия, Долгопрудный

Сергей Александрович Линок

Московский физико-технический институт (национальный исследовательский университет)

Email: linok.sa@phystech.edu

аспирант

Россия, Долгопрудный

Илья Вячеславович Белкин

Московский физико-технический институт (национальный исследовательский университет)

Email: belkin.iv@phystech.edu

аспирант

Россия, Долгопрудный

Андрей Сергеевич Криштопик

Московский физико-технический институт (национальный исследовательский университет)

Email: krishtopik.as@phystech.edu

стажер

Россия, Долгопрудный

Владислав Андреевич Головин

Московский физико-технический институт (национальный исследовательский университет)

Email: golovin.va@phystech.edu

магистрант

Россия, Долгопрудный

Константин Сергеевич Яковлев

Федеральный исследовательский центр «Информатика и управление» РАН

Email: yakovlev@isa.ru

кандидат физико-математических наук, ведущий научный сотрудник

Россия, Москва

Александр Игоревич Панов

Московский физико-технический институт (национальный исследовательский университет); Федеральный исследовательский центр «Информатика и управление» РАН

Email: pan@isa.ru

кандидат физико-математических наук, ведущий научный сотрудник

Россия, Долгопрудный; Москва

Список литературы

  1. Graser A., Heyer T., Fotoohi L., Lange U., Kampe H., Enjarini B., Heyer S., Fragkopoulos C., Ristic-Durrant D. A Supportive FRIEND at Work: Robotic Workplace Assistance for the Disabled // IEEE Robotics Automation Magazine. 2013. V. 20. No. 4. P. 148-159.
  2. Huete A. J., Victores J. G., Martinez S., Gimenez A., Balaguer C. Personal Autonomy Rehabilitation in Home Environments by a Portable Assistive Robot // IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews). 2012. V. 42. No. 4. P. 561-570.
  3. Ktistakis I. P., Bourbakis N. G. Assistive Intelligent Robotic Wheelchairs // IEEE Potentials. 2017. V. 36. No. 1. P. 10-13.
  4. Roa M. A., Dogar M. R., Pages J., Vivas C., Morales A., Correll N., Gorner M., Rosell J., Foix S., Memmesheimer R., Ferro F. Mobile Manipulation Hackathon: Moving into Real World Applications // IEEE Robotics Automation Magazine. 2021. V. 28. P. 112-124.
  5. Martin J., Ansuategi A., Maurtua I., Gutierrez A., Obreg´on D., Casquero O., Marcos M. A Generic ROS-Based Control Architecture for Pest Inspection and Treatment in Greenhouses Using a Mobile Manipulator // IEEE Access 2021. V. 9. P. 94981-94995.
  6. Макаров Д. А., Панов А. И., Яковлев К. С. Архитектура многоуровневой интеллектуальной системы управления беспилотными летательными аппаратами // Искусственный интеллект и принятие решений. 2015. № 3. С. 18-33. URL: https://elibrary.ru/item.asp?id=24876389.
  7. Панов А. И. Одновременное планирование и обучение в иерархической системе управления когнитивным агентом // Автоматика и телемеханика. 2022 Т. 8. № 6. С. 53-71.
  8. Макаров Д. А., Панов А. И., Яковлев К. С. STRL: многоуровневая система управления интеллектуальными агентами // Пятнадцатая национальная конференция по искусственному интеллекту с международным участием КИИ-2016 (3-7 октября 2016 г., г. Смоленск, Россия): Труды конференции. Т. 1. Смоленск : Универсум. 2016. С. 179-188.
  9. Панов А. И. Целеполагание и синтез плана поведения когнитивным агентом // Искусственный интеллект и принятие решений. 2018. № 2. С. 21–35.
  10. Осипов Г. С., Панов А. И. Отношения и операции в знаковой картине мира субъекта поведения // Искусственный интеллект и принятие решений. 2017. № 4. С. 5–22.
  11. Emel’yanov S., Makarov D., Panov A., Yakovlev K. Multilayer cognitive architecture for UAV control // Cognitive Systems Research. 2016. V. 39. P. 58-72. URL: http://link-inghub.elsevier.com/retrieve/pii/S1389041716000048.
  12. Belkin I., Abramenko A., Yudin D. Real-time lidar-based localization of mobile ground robot // Procedia Computer Science. 2021. V. 186 P. 440-448.
  13. Shan T., Englot B. LeGO-LOAM: Lightweight and Ground-Optimized Lidar Odometry and Mapping on Variable Terrain // 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2018. P. 47584765.
  14. Zhang J., Singh S. Aerial and Ground-Based Collaborative Mapping: An Experimental Study // Field and Service Robotics. 2018. P. 397-412.
  15. Labb´e M., Michaud F. RTAB-Map as an open-source lidar and visual simultaneous localization and mapping library for large-scale and long-term online operation // Journal of Field Robotics. 2019. V. 36, No. 2. P. 416-446.
  16. Rivera N., Hern´andez C., Baier J. Grid Pathfinding on the 2 k Neighborhoods // 06.2012.
  17. Koenig S., Likhachev M., Furcy D. Lifelong planning A // Artificial Intelligence. 2004. V. 155. No. 1/2. P. 93-146.
  18. Kuffner J. J., LaValle S. M. RRT-connect: An efficient approach to singlequery path planning // Proceedings 2000 ICRA. Millennium Conference. IEEE International Conference on Robotics and Automation. Symposia Proceedings (Cat. No. 00CH37065). V. 2. IEEE. 2000. P. 995-1001.
  19. Sharma P., Gupta A., Ghosh D., Honkote V., Nandakumar G., Ghose D. PG-RRT: A Gaussian Mixture Model Driven, Kinematically Constrained Bidirectional RRT for Robot Path Planning // 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE. P. 3666-3673.
  20. Nash A., Daniel K., Koenig S., Felner A. Thetaˆ*: Any-angle path planning on grids // AAAI. 2007. V. 7. P. 1177-1183.
  21. Tzafestas S. G. Introduction to Mobile Robot Control. — Oxford: Elsevier, 2014. URL: https: // www.sciencedirect.com / science / article / pii / B9780124170490000018.
  22. Fierro R., Lewis F. Control of a nonholonomic mobile robot: backstepping kinematics into dynamics // Proceedings of 1995 34th IEEE Conference on Decision and Control. 1995. V. 4. P. 3805-3810
  23. Ge H., Matsui M., Koshizuka N. An Open-IoT Approach on Elevator for Enabling Autonomous Robotic Vertical Mobility. // 2021 IEEE 3rd Global Conference on Life Sciences and Technologies (LifeTech), 2021. P. 139-141.
  24. Chand A. N., Yuta S. Design of an intelligent outdoor mobile robot with autonomous road-crossing function for urban environments. // 2012 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM). 2012. P. 355-362.
  25. Wang F., Chen G., Hauser K. Robot Button Pressing in Human Environments. // 2018 IEEE International Conference on Robotics and Automation (ICRA). 2018. P. 7173-7180.
  26. Meng X., He Y., Li Q., Gu F., Yang L., Yan T., Han J. Contact Force Control of an Aerial Manipulator in Pressing an Emergency Switch Process. // 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2018. P. 2107-2113.
  27. Wang W., Huang C., Lai I., Chen H. A robot arm for pushing elevator buttons. // Proceedings of SICE Annual Conference. 2010. P. 1844-1848.
  28. Zhu D., Min Z., Zhou T., Li T., Meng M. Q.-H. An Autonomous Eye-in-Hand Robotic System for Elevator Button Operation Based on Deep Recognition Network. // IEEE Transactions on Instrumentation and Measurement, V. 70, Art no. 2504113. 2021. P. 1-13.
  29. Tiyu F., Huiwu C., Jianjie S., Jinping L. Positioning and Pressing Elevator Button by Binocular Vision and Robot Manipulator. // 2018 International Conference on Security, Pattern Analysis, and Cybernetics (SPAC). 2018. P. 120-133.
  30. Liu J., Tian Y. Recognizing elevator buttons and labels for blind navigation. // Proc. IEEE 7th Annu. Int. Conf. CYBER Technol. Autom., Control, Intell. Syst. (CYBER). 2017. P. 1236 -1240.
  31. Liu W., Anguelov D., Erhan D., Szegedy C. SSD: Single Shot MultiBox Detector. // Proc. Eur. Conf. Comp. Vis. 2016. P. 21-37.
  32. Yang P.-Y., Chang T.-H., Chang Y.-H., Wu B.-F. Intelligent mobile robot controller design for hotel room service with deep learning armbased elevator manipulator. // Proc. Int. Conf. Syst. Sci. Eng. (ICSSE). 2018. P. 1-6.
  33. Redmon J., Farhadi A. YOLO9000: Better, faster, stronger // arXiv preprint arXiv:1612.08242. 2016.
  34. A novel OCR-RCNN for elevator button recognition. / D. Zhu, T. Li, D. Ho, T. Zhou, M. Q. Meng // 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2018. P. 3626-3631.
  35. Liu J., Fang Y., Zhul D., Ma N., Meng M., Q.-H. A LargeScale Dataset for Benchmarking Elevator Button Segmentation and Character Recognition. // arXiv preprint arXiv:2103.09030. 2021.
  36. Wang X., Zhang R., Kong T., Li L., Shen C. SOLOv2: Dynamic and Fast Iinstance Segmentation // arXiv preprint arXiv:2003.10152. 2020.
  37. Lin T.-Y., Maire M., Belongie S., Hays J., Perona P., Ramanan D., Doll´ar P., Zitnick C. L. Microsoft coco: Common objects in context / // European conference on computer vision. Springer. 2014. P. 740-755.
  38. Mironov K., Mambetov R., Panov A., Pushkarev D. Model Predictive Control with Torque Constraints for Velocity-Driven Robotic Manipulator // 2021 20th International Conference on Advanced Robotics (ICAR). 2021.
  39. Liu H., Soto R. A. R., Xiao F., Lee Y. J. YolactEdge: Realtime Instance Segmentation on the Edge // ICRA. 2021.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Используемая в экспериментах робототехническая система

Скачать (116KB)
Метаданные
3. Рис. 2. Взаимодействие программных модулей системы в рамках предлагаемой архитектуры STRL-Robotics

Скачать (193KB)
Метаданные
4. Рис. 3. Структурная схема процесса реконструкции трехмерной карты местности

Скачать (57KB)
Метаданные
5. Рис. 4. Пример построенной лидарной карты этажа офисного здания: а – вся карта; б – увеличенная часть карты. Показаны только угловые точки для лучшей визуализации

Скачать (101KB)
Метаданные
6. Рис. 5. Демонстрация планирования с увеличенными препятствиями: а - геометрические размеры агента, используемые для увеличения препятствий; б - спланированная траектория при условии нахождения робота в запрещенной области; разные уровни увеличения препятствия показаны разными оттенками серого

Скачать (27KB)
Метаданные
7. Рис. 6. Работа алгоритмов следования по пути: а - исходная версия; б - модифицированная версия

Скачать (40KB)
Метаданные
8. Рис. 7. Работа алгоритмов слежения: а – алгоритм из [20]; б – модифицированная версия. R1, R2 и P1, P2 – фактическое и желаемое положения робота в моменты t1 и t2 соответственно, t1 < t2

Скачать (94KB)
Метаданные
9. Рис. 8. Десять последовательных путей, использованных для экспериментов: S и F – точки старта и финиша

Скачать (70KB)
Метаданные
10. Рис. 9. Координация ROS-узлов при вызове лифта

Скачать (90KB)
Метаданные
11. Рис. 10. Последовательность движений при вызове лифта

Скачать (184KB)
Метаданные

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».