The Method of Forming a Digital Shadow of the Human Movement Process Based on the Combination of Motion Capture Systems

Cover Page

Cite item

Full Text

Abstract

The article deals with the problem of forming a digital shadow of the process of moving a person. An analysis of the subject area was carried out, which showed the need to formalize the process of creating digital shadows to simulate human movements in virtual space, testing software and hardware systems that operate on the basis of human actions, as well as in various systems of musculoskeletal rehabilitation. It was revealed that among the existing approaches to the capture of human movements, it is impossible to single out a universal and stable method under various environmental conditions. A method for forming a digital shadow has been developed based on combining and synchronizing data from three motion capture systems (virtual reality trackers, a motion capture suit, and cameras using computer vision technologies). Combining the above systems makes it possible to obtain a comprehensive assessment of the position and condition of a person regardless of environmental conditions (electromagnetic interference, illumination). To implement the proposed method, a formalization of the digital shadow of the human movement process was carried out, including a description of the mechanisms for collecting and processing data from various motion capture systems, as well as the stages of combining, filtering, and synchronizing data. The scientific novelty of the method lies in the formalization of the process of collecting data on the movement of a person, combining and synchronizing the hardware of the motion capture systems to create digital shadows of the process of moving a person. The obtained theoretical results will be used as a basis for software abstraction of a digital shadow in information systems to solve the problems of testing, simulating a person, and modeling his reaction to external stimuli by generalizing the collected data arrays about his movement.

About the authors

A. D Obukhov

Tambov State Technical University

Email: obuhov.art@gmail.com
Sovetskaya St. 106

A. A Volkov

Tambov State Technical University

Email: didim@eclabs.ru
Sovetskaya St. 106

N. A Vekhteva

Tambov State Technical University

Email: magicanloner@gmail.com
Sovetskaya St. 106

K. I Patutin

Tambov State Technical University

Email: kirill-patutin@mail.ru
Sovetskaya St. 106

A. O Nazarova

Tambov State Technical University

Email: nazarova.al.ol@yandex.ru
Sovetskaya St. 106

D. L Dedov

Tambov State Technical University

Email: hammer68@mail.ru
Sovetskaya St. 106

References

  1. Grieves M. Origins of the Digital Twin Concept. 2016. URL: https://www.researchgate.net/publication/307509727_ (дата обращения: 03.11.2022).
  2. Царев М.В., Андреев Ю.С. Цифровые двойники в промышленности: история развития, классификация, технологии, сценарии использования // Известия высших учебных заведений. Приборостроение. 2021. Т. 64. №. 7. С. 517-531.
  3. Kritzinger W. et al. Digital Twin in manufacturing: A categorical literature review and classification // IFAC-PapersOnLine. 2018. vol. 51. no. 11. pp. 1016-1022.
  4. Krüger J. et al. Innovative control of assembly systems and lines // CIRP annals. 2017. vol. 66. no. 2. pp. 707-730.
  5. Botín-Sanabria D.M. et al. Digital twin technology challenges and applications: A comprehensive review // Remote Sensing. 2022. vol. 14. no. 6. p. 1335.
  6. Pause D., Blum M. Conceptual Design of a Digital Shadow for the Procurement of Stocked Products // IFIP International Conference on Advances in Production Management Systems (APMS). IEEE, 2018. pp. 288-295.
  7. Srinivasan V. et al. Digital Shadow Model for automated Cabin assembly process. 2021.
  8. Lee S. et al. Scalable muscle-actuated human simulation and control // ACM Transactions on Graphics (TOG). 2019. vol. 38. no. 4. pp. 1-13.
  9. Park S. et al. Learning predict-and-simulate policies from unorganized human motion data // ACM Transactions on Graphics (TOG). 2019. vol. 38. no. 6. pp. 1-11.
  10. Mourot L. et al. A Survey on Deep Learning for Skeleton‐Based Human Animation // Computer Graphics Forum. 2022. vol. 41 (1). pp. 122-157.
  11. Nikolakis N. et al. The digital twin implementation for linking the virtual representation of human-based production tasks to their physical counterpart in the factory-floor // International Journal of Computer Integrated Manufacturing. 2019. vol. 32. no. 1. pp. 1-12.
  12. Gagneré G., Ternova A. A CAstelet in Virtual reality for shadOw AVatar (CAVOV) // ConVRgence (VRIC) Virtual Reality International Conference Proceedings. Simon Richir (dir.). International Journal of Virtual Reality. 2020. vol. 3316.
  13. Liu S., Zhang J., Zhang Y., Zhu R. A wearable motion capture device able to detect dynamic motion of human limbs // Nature communications. 2020. vol. 11. no. 1. pp. 1-12.
  14. Богомолов А.В. Информационные технологии цифровой адаптационной медицины // Информатика и автоматизация. 2021. Т. 20. №. 5. С. 1154-1182.
  15. Wu Y. et al. A Comprehensive Analysis of the Validity and Reliability of the Perception Neuron Studio for Upper-Body Motion Capture // Sensors. 2022. vol. 22. no. 18. pp. 6954.
  16. Niehorster D.C., Li L., Lappe M. The accuracy and precision of position and orientation tracking in the HTC vive virtual reality system for scientific research // i-Perception. 2017. vol. 8. no. 3. pp. 2041669517708205.
  17. Ikbal M.S., Ramadoss V., Zoppi M. Dynamic pose tracking performance evaluation of HTC Vive virtual reality system // IEEE Access, 2020. vol. 9. pp. 3798-3815.
  18. Cherkasov K.V. et al. The use of open and machine vision technologies for development of gesture recognition intelligent systems // Journal of Physics: Conference Series, IOP Publishing. 2018. vol. 1015. no. 3. pp. 032166.
  19. Moeslund T.B., Hilton A., Krüger V. A survey of advances in vision-based human motion capture and analysis // Computer vision and image understanding. 2006. vol. 104. no. 2-3. pp. 90-126.
  20. Hellsten T. et al. The Potential of Computer Vision-Based Marker-Less Human Motion Analysis for Rehabilitation // Rehabilitation Process and Outcome. 2021. vol. 10. pp. 11795727211022330.
  21. Mekruksavanich S., Hnoohom N., Jitpattanakul A. A Deep Residual-based Model on Multi-Branch Aggregation for Stress and Emotion Recognition through Biosignals // 2022 19th International Conference on Electrical Engineering / Electronics, Computer, Telecommunications and Information Technology (ECTI-CON). IEEE, 2022. pp. 1-4.
  22. Zielinski E. Live Perception and Real Time Motion Prediction with Deep Neural Networks and Machine Learning // Diss. Harvard University. 2021.
  23. Ohri A., Agrawal S., Chaudhary G.S. On-device Realtime Pose Estimation & Correction // International Journal of Advances in Engineering and Management (IJAEM). 2021.
  24. Choo C.Z.Y., Chow J.Y., Komar J. Validation of the Perception Neuron system for full-body motion capture // PloS one. 2022. vol. 17. no. 1. pp. e0262730.
  25. Obukhov A. et al. Organization of Three-Dimensional Gesture Control Based on Machine Vision and Learning Technologies // Computer Science On-line Conference. Springer, Cham, 2022. pp. 70-81.
  26. Bazarevsky V. et al. Blazepose: On-device real-time body pose tracking // arXiv preprint arXiv: 2006.10204. 2020.
  27. Chen Y. et al. Adversarial posenet: A structure-aware convolutional network for human pose estimation // Proceedings of the IEEE International Conference on Computer Vision, 2017. pp. 1212-1221.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».