Development of a Stress-Free Algorithm for Control of Running Platforms Based on Neural Network Technologies

Мұқаба

Дәйексөз келтіру

Толық мәтін

Аннотация

The article discusses the task of predicting human speed using neural network technologies and computer vision to minimize lags in treadmill control systems, which pose a health risk to the user. To solve this problem, a stress-free algorithm has been developed, including: predicting the position and speed of the user on the treadmill; calculating the treadmill speed based on the analysis of the user's position and movement characteristics; data collection and processing schemes for training neural network methods; and determining the necessary number of predicted frames to eliminate lags. The scientific novelty of the research lies in the development of a treadmill control algorithm that combines: computer vision technologies for recognizing the user's body model on the platform; neural networks; and machine learning methods to determine the final human speed based on combining data on the person's position in the frame and the current and predicted speed of the person. The proposed algorithm is implemented using Python libraries, and its validation was conducted during experimental studies analyzing the preceding 10 and 15 frames to predict the next 10 and 15 frames. Comparing machine learning algorithms (linear regression, decision tree, random forest, multilayer, convolutional, and recurrent neural networks) at different lengths of analyzed and predicted frames, the RandomForestRegressor algorithm showed the best accuracy in predicting position, while dense multilayer neural networks performed best in determining current speed. Experimental research has been conducted on applying the developed algorithm and models to determine human speed (achieving accuracy when forecasting in the range of 10-15 frames) as well as integrating them into treadmill control systems. Trials have shown the effectiveness of the proposed approach and the correctness of system operation under real conditions. The developed algorithm allows for not using noise-sensitive sensors that require attachment to the user's body but rather forecasting user actions through analyzing all points of the person's body to reduce lags in various human-machine systems.

Авторлар туралы

A. Obukhov

Tambov State Technical University

Email: obuhov.art@gmail.com
Sovetskaya St. 106

D. Dedov

Tambov State Technical University

Email: hammer68@mail.ru
Sovetskaya St. 106

D. Teselkin

Tambov State Technical University

Email: dteselk@mail.ru
Sovetskaya St. 106

A. Volkov

Tambov State Technical University

Email: didim@eclabs.ru
Sovetskaya St. 106

A. Nazarova

Tambov State Technical University

Email: nazarova.al.ol@yandex.ru
Sovetskaya St. 106

Әдебиет тізімі

  1. Сиухин А.А., Карпушкин С.В. Определение шаблона движения пользователя на тренажере // Вестник Воронежского государственного технического университета. 2022. Т. 18. № 5. С. 48–55.
  2. Kempski K.M., Ray N.T., Knarr B.A., Higginson J.S. Dynamic structure of variability in joint angles and center of mass position during user-driven treadmill walking // Gait & posture. 2019. vol. 71. pp. 241–244.
  3. Donlin M.C., Ray N.T., Higginson J.S. User-driven treadmill walking promotes healthy step width after stroke // Gait & posture. 2021. vol. 86. pp. 256–259.
  4. Wehden L.O., Reer F., Janzik R., Tang W.Y., Quandt T. The slippery path to total presence: How omnidirectional virtual reality treadmills influence the gaming experience // Media and Communication. 2021. vol. 9. no. 1. pp. 5–16.
  5. Nath A.S. Eustress and distress-a stimulant and deterrent to health and performance // Journal of Research Administration. 2023. vol. 5. no. 2. pp. 5106–5121.
  6. Hedjazi N., Benali A., Bouzit M., Dibi Z. An omnidirectional platform design: application to posture analysis // XIV Mediterranean Conference on Medical and Biological Engineering and Computing (IFMBE’2016). 2016. pp. 602–607.
  7. Lichtenstein L., Barabas J., Woods R.L., Peli E.A feedback-controlled interface for treadmill locomotion in virtual environments // ACM Transactions on Applied Perception (TAP). 2007. vol. 4. no. 1.
  8. De Luca A., Mattone R., Giordano P.R., Ulbrich H., Schwaiger M., Van den Bergh M., Koller-Meier E., Van Gool L. Motion control of the cybercarpet platform // IEEE Transactions on Control Systems Technology. 2012. рp. 410–427. doi: 10.1109/TCST.2012.2185051.
  9. Pyo S.H., Lee H., Yoon J. Development of a novel omnidirectional treadmill-based locomotion interface device with running capability // Applied Sciences. 2021. vol. 11(9). no. 4223.
  10. Pyo S., Lee H., Yoon J. A Sensitive and Accurate Walking Speed Prediction Method Using Ankle Torque Estimation for a User-Driven Treadmill Interface // IEEE Access. 2022. vol. 10. pp. 102440–102450.
  11. Lam W.W., Tang Y.M., Fong K.N. A systematic review of the applications of markerless motion capture (MMC) technology for clinical measurement in rehabilitation // Journal of NeuroEngineering and Rehabilitation. 2023. vol. 20. no. 1. pp. 1–26.
  12. Souman J.L., Giordano P.R., Frissen I., Luca A.D., Ernst M.O. Making virtual walking real: Perceptual evaluation of a new treadmill control algorithm // ACM Transactions on Applied Perception (TAP). 2010. vol. 7. no. 2. pp. 1–14.
  13. Kikuchi T., Sakai K., Ishiya K. Gait Analysis with Automatic Speed-Controlled Treadmill // Journal of Robotics and Mechatronics. 2015. vol. 27. no. 5. pp. 528–534.
  14. Auralius M., Yoon J.W. An automatic speed control system of a treadmill with ultrasonic sensors // Journal of Institute of Control, Robotics and Systems. 2011. vol. 17. no. 5. pp. 505–511.
  15. Borges M., Symington A., Coltin B., Smith T., Ventura, R. Analysis and accuracy improvement // IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS’2018). 2018. pp. 2610–2615.
  16. Obukhov A., Dedov D., Volkov A., Teselkin D. Modeling of Nonlinear Dynamic Processes of Human Movement in Virtual Reality Based on Digital Shadows // Computation. 2023. vol. 11(5). no. 85.
  17. Obukhov A., Volkov A., Pchelintsev A., Nazarova A., Teselkin D., Surkova E., Fedorchuk I. Examination of the Accuracy of Movement Tracking Systems for Monitoring Exercise for Musculoskeletal Rehabilitation // Sensors. 2023. vol. 23(19). no. 8058.
  18. Chung J.L., Ong L.Y., Leow M.C. Comparative analysis of skeleton-based human pose estimation // Future Internet. 2022. vol. 14(12). no. 380.
  19. Singhal R., Modi H., Srihari S., Gandhi A., Prakash C.O., Eswaran S. Body Posture Correction and Hand Gesture Detection Using Federated Learning and Mediapipe // 2nd International Conference for Innovation in Technology (INOCON’2023). 2023. pp. 1–6.
  20. Obukhov A.D., Krasnyanskiy M.N., Dedov D.L., Vostrikova V.V., Teselkin D.V., Surkova E.O. Control of adaptive running platform based on machine vision technologies and neural networks // Neural Computing and Applications. 2022. vol. 34. no. 15. pp. 12919–12946.
  21. Обухов А.Д., Назарова А.О. Метод управления на основе технологий компьютерного зрения и машинного обучения для адаптивных систем // Мехатроника, автоматизация, управление. 2023. Т. 24. № 1. С. 14–23.
  22. Surkova E., Teselkin D., Nazarova A., Arkhipov A. Structural and functional models of adaptive motion control system in virtual reality // AIP Conference Proceedings. 2023. vol. 2910. no. 1.
  23. Su B., Smith C., Gutierrez Farewik E. Gait phase recognition using deep convolutional neural network with inertial measurement units // Biosensors. 2020. vol. 10(9). no. 109.
  24. Li Y., Zhang S., Wang Z., Yang S., Yang W., Xia S.T., Zhou E. Tokenpose: Learning keypoint tokens for human pose estimation // Proceedings of the IEEE/CVF International conference on computer vision (ICCVW’2021). 2021. pp. 11313–11322.
  25. Yacchirema D., de Puga J.S., Palau C., Esteve M. Fall detection system for elderly people using IoT and ensemble machine learning algorithm // Personal and Ubiquitous Computing. 2019. vol. 23. pp. 801–817.
  26. Bartol K., Bojanic D., Petkovic T., Peharec S., Pribanicc T. Linear regression vs. deep learning: A simple yet effective baseline for human body measurement // Sensors. 2022. vol. 22(5). no. 1885.
  27. Turgeon S., Lanovaz M.J. Tutorial: Applying machine learning in behavioral research // Perspectives on Behavior Science. 2020. vol. 43. no. 4. pp. 697–723.
  28. Gupta A., Gupta K., Gupta K., Gupta K. Human Activity Recognition Using Pose Estimation and Machine Learning Algorithm // ISIC. 2021. vol. 21. pp. 25–27.
  29. Pham H.H., Salmane H., Khoudour L., Crouzil A., Velastin S.A., Zegers P. A unified deep framework for joint 3d pose estimation and action recognition from a single RGB camera // Sensors. 2020. vol. 20(7). no. 1825.

Қосымша файлдар

Қосымша файлдар
Әрекет
1. JATS XML
Жүктеу

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».