Трехпозиционное управление транспортным средством на основе нейроинтерфейса с применением машинного обучения

Обложка

Цитировать

Полный текст

Аннотация

Интерфейс мозг-компьютер представляет собой сложную систему, позволяющую управлять внешними электронными устройствами с помощью активности головного мозга. Эта система включает в себя несколько элементов – устройство считывания сигналов активности головного мозга, аппаратно-программный комплекс, выполняющий обработку и анализ этих сигналов, а также объект управления. Основную сложность представляет разработка методов и алгоритмов, способных правильно распознавать и предсказывать намерения человека, который использует этот интерфейс, чтобы обеспечить решение задач управления. В данной работе описывается математическая постановка задачи управления транспортным средством и предложенная алгоритмическая структура разработанной системы управления. Описываются методы предобработки сигналов ЭЭГ, их анализа, принятия решений о выдаче сигнала управления, описывается структура программной реализации этих методов, а также результаты экспериментальной проверки работоспособности системы. Для классификации сигналов ЭЭГ используются методы машинного обучения. Предложен новый метод классификации в машинном обучении – метод нечетких почти ближайших соседей, являющийся модификацией классического метода k-ближайших соседей и снижающий зависимость решения от выбора параметра k. Алгоритмы обработки сигналов ЭЭГ и управления реализованы на языке программирования Python. В качестве объекта управления рассматривается инвалидное кресло с дистанционным управлением, а в качестве задачи управления – поворот кресла вправо или влево. Для экспериментальной проверки работоспособности разработанной модели и алгоритмов всего было проведено более 15 испытаний c 5 испытуемыми в общей сложности. Разработанный и описанный в данной статье подход и его программная реализация в ходе испытаний продемонстрировали эффективность в задачах управления поворотом инвалидного кресла. Также было уделено особое внимание ресурсоёмкости программной реализации. Методы и алгоритмы были реализованы с учётом требований, возникающих при выполнении вычислений на малопроизводительных устройствах с ограниченным количеством памяти.

Об авторах

А. Л Фрадков

Институт проблем машиноведения РАН

Email: fradkov@mail.ru
Большой проспект В.О. 61

Н. А Бабич

Институт проблем машиноведения РАН

Email: nickware@mail.ru
Большой проспект В.О. 61

Список литературы

  1. Левицкая О.С., Лебедев М.А. Интерфейс мозг–компьютер: будущее в настоящем // Вестник РГМУ. 2016. № 2. С. 4–16.
  2. Каплан А.Я., Кочетова А.Г., Шишкин С.Л., Басюл И.А., Ганин И.П., Васильев А.Н., Либуркина С.П. Экспериментально-теоретические основания и практические реализации технологии «интерфейс мозг-компьютер» // Бюллетень сибирской медицины. 2013. № 12(2). С. 21–29.
  3. Лунев Д.В., Полетыкин С.К., Кудрявцев Д.О. Нейроинтерфейсы: обзор технологий и современные решения // Современные инновации, системы и технологии. 2022. № 2(3). C. 117–126.
  4. Станкевич Л.А., Сонькин К.М., Нагорнова Ж.В., Хоменко Ю.Г., Шемякина Н.В. Классификация электроэнцефалографических паттернов воображаемых движений пальцами руки для разработки интерфейса мозг-компьютер // Труды СПИИРАН. 2015. Т. 3(40). С. 163–182.
  5. Гунделах Ф.В., Станкевич Л.А. Классификация пространственно-временных паттернов на основе нейроморфных сетей // Информатика и автоматизация. 2024. Т. 23. № 3. С. 886–908.
  6. Гунделах Ф.В., Станкевич Л.А., Сонькин К.М., Нагорнова Ж.В., Шемякина Н.В. Применение интерфейсов «мозг-компьютер» в ассистивных технологиях // Труды СПИИРАН. 2020. Т. 19. № 2. С. 277–301.
  7. Лобода Ю.О., Функ А.В., Гасымов З.А., Рачкован О.А. Управление мехатронными системами нейроинтерфейсом // XIII Международная научно-практическая конференция «Электронные средства и системы управления», посвященная 55-летию ТУСУРа (г. Томск, 29 ноября – 1 декабря 2017 г.). 2017. С. 143–146.
  8. Бодин О.Н., Солодимова Г.А., Спиркин А.Н. Нейроинтерфейс для управления роботизированными устройствами // Измерение. Мониторинг. Управление. Контроль. 2019. № 4(30). С. 70–76.
  9. Миронов В.И., Лобов С.А., Крылова Н.П., Гордлеева C.Ю., Каплан А.Я., Буйлова Т.В., Бахшиев А.В., Щуровский Д.В., Вагнер В.О., Кастальский И.А., Ли А.Н., Казанцев В.Б. Разработка нейроуправляемого автомобиля для мобилизации людей с двигательным дефицитом – нейромобиля // Современные технологии в медицине (СТМ). 2018. Т. 10. № 4. С. 49–56.
  10. Rashid Mamunur, Sulaiman Norizam, P.P. Abdul Majeed Anwar, Musa Rabiu Muazu, Ab. Nasir Ahmad Fakhri, Bari Bifta Sama, Khatun Sabira. Current Status, Challenges, and Possible Solutions of EEG-Based Brain-Computer Interface: A Comprehensive Review. Frontiers in Neurorobotics. 2020. vol. 14. doi: 10.3389/fnbot.2020.00025.
  11. Varbu K., Muhammad N., Muhammad Y. Past, Present, and Future of EEG-Based BCI Applications. Sensors. 2022. vol. 22. no. 9. doi: 10.3390/s22093331.
  12. Yadav H., Maini S. Electroencephalogram based brain‑computer interface: Applications, challenges, and opportunities. Multimedia Tools and Applications. 2023. vol. 82. pp. 47003–47047.
  13. Сазонова Н.Н., Дегтярев С.В., Сазонова Е.С. Аппаратно-программный комплекс на основе нейроинтерфейса и vr-технологии в системе реабилитации пациентов с поражением головного мозга после инсульта // Информационные технологии в управлении, автоматизации и мехатронике: Сборник научных статей 4-й Международной научно-технической конференции (г. Курск, 7 апреля 2022 г.). 2022. С. 180–183.
  14. Боброва Е.В., Решетникова В.В., Вершинина Е.А., Гришин А.А., Исаев М.Р., Бобров П.Д., Герасименко Ю.П. Оценка эффективности управления мозг-компьютерным интерфейсом при обучении воображению движений верхних и нижних конечностей // Журнал высшей нервной деятельности им. И.П. Павлова. 2023. Т. 73. № 1. С. 52–61.
  15. Каплан А.Я. Некоторые теоретические и практические основания к реализации нейроинтерфейсных технологий в психиатрии // Психическое здоровье человека и общества. Актуальные междисциплинарные проблемы. Научно-практическая конференция (г. Москва, 30 октября 2017 г.). Москва: КДУ, 2018. С. 366–372.
  16. Wang H., Yan F., Xu T., Yin H., Chen P., Yue H., Chen C., Zhang H., Xu L., He Y., Bezerianos A. Brain-Controlled Wheelchair Review: From Wet Electrode to Dry Electrode, From Single Modal to Hybrid Modal, From Synchronous to Asynchronous. IEEE Access. 2021. vol. 9. pp. 55920–55938.
  17. Fernandez-Rodriguez A., Velasco-Alvarez F., Ron-Angevin R. Review of real brain-controlled wheelchairs. Journal of neural engineering. 2016. vol. 13. no. 6. doi: 10.1088/1741-2560/13/6/061001.
  18. Sha’abani M.N.A.H., Fuad N., Jamal N., Ismail M.F. kNN and SVM Classification for EEG: A Review. Lecture Notes in Electrical Engineering. Springer, Singapore. 2020. vol. 632. pp. 555–565.
  19. Palumbo A., Gramigna V., Calabrese B., Ielpo N. Motor-Imagery EEG-Based BCIs in Wheelchair Movement and Control: A Systematic Literature Review. Sensors 2021. vol. 21. no. 18. doi: 10.3390/s21186285.
  20. Яшин А.С., Васильев А.Н., Шишкин С.Л. Чем квазидвижения полезны для изучения произвольных движений? Взгляд со стороны нейронаук, психологии и философии. Гены и Клетки. 2023. Т. 18. № 4. С. 649–652.
  21. Babbysh N. Computing brain rhythm indicators of EEG signal. 5th Scientific School Dynamics of Complex Networks and their Applications (DCNA), Kaliningrad, Russian Federation. IEEE, 2021. pp. 32–35.
  22. Shanarova N., Pronina M., Lipkovich M., Ponomarev V., Müller A., Kropotov J. Application of Machine Learning to Diagnostics of Schizophrenia Patients Based on Event-Related Potentials. Diagnostics. 2023. vol. 13. no. 3. doi: 10.3390/diagnostics13030509.
  23. Lipkovich M., Knyazeva V., Aleksandrov A., Shanarova N., Sagatdinov A., Fradkov A. Evoked Potentials Detection During Self-Initiated Movements Using Machine Learning Approach. 2023 Fifth International Conference on Neurotechnologies and Neurointerfaces (CNN). Kaliningrad, Russian Federation, 2023. pp. 47–50.
  24. Овод И.В., Осадчий А.Е., Пупышев А.А., Фрадков А.Л. Формирование нейрообратной связина основе адаптивной модели активности головного мозга // Нейрокомпьютеры: разработка, применение. 2012. № 2. С. 36–41.
  25. Rybalko A., Fradkov A. Identification of Two-Neuron FitzHugh-Nagumo Model Based on the Speed-Gradient and Filtering. Chaos: An Interdisciplinary Journal of Nonlinear Science. 2023. vol. 33. no. 8. doi: 10.1063/5.0159132.
  26. Обухов С.А., Степанов В.П., Рудаков И.В. Математическая модель нейрокомпьютерного интерфейса на основе анализа вызванных потенциалов P300 // Вестник РГГУ. Серия: Информатика. Информационная безопасность. Математика. 2021. № 2. С. 48–67.
  27. Chen Z, Wang Y, Song Z. Classification of Motor Imagery Electroencephalography Signals Based on Image Processing Method. Sensors (Basel). 2021. vol. 21(14). doi: 10.3390/s21144646.
  28. Lun X., Liu J., Zhang Y., Hao Z., Hou Y., A Motor Imagery Signals Classification Method via the Difference of EEG Signals Between Left and Right Hemispheric Electrodes. Frontiers in Neuroscience. 2022. vol. 16. doi: 10.3389/fnins.2022.865594.
  29. Васильев В.П., Муро Э.Л., Смольский С.М. Основы теории и расчета цифровых фильтров: учебное пособие, 2-еизд., стер. // М.: НИЦ ИНФРА-М. 2024. 272 с.
  30. Hussin S.F., Birasamy G., Hamid Z. Design of Butterworth Band-Pass Filter // Politeknik and Kolej Komuniti Journal of Engineering and Technology. 2016. vol. 1. no. 1. pp. 32–46.
  31. Haykin S. Neural Networks: A Comprehensive Foundation Second Edition. 2019. 1104 p.
  32. Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. The MIT Press. 2012. 504 p.
  33. Капралов Н.В., Нагорнова Ж.В., Шемякина Н.В. Методы классификации ЭЭГ-паттернов воображаемых движений // Информатика и автоматизация. 2021. Т. 20. № 1. С. 94–132.
  34. Keller J.M., Gray M.R., Givens J.A. A fuzzy K-nearest neighbor algorithm // IEEE Transactions on Systems, Man, and Cybernetics. 1985. vol. 15. no. 4. pp. 580–585.
  35. Kumbure M.M., Luukka P. A generalized fuzzy k-nearest neighbor regression model based on Minkowski distance // Granular Computing. 2022. vol. 7. pp. 657–671.
  36. Бабич Н.А. Программная платформа для чтения, обработки и анализа данных ЭЭГ // Программная инженерия. 2023. № 5. С. 254–260.
  37. Официальная страница электроэнцефалографа NeoRecCAP. URL: https://mks.ru/product/neoreccap/ (дата обращения: 10.04.2024).
  38. Официальная страница процессорного модуля Orange-Pi-3B. URL: http://www.orangepi.org/html/hardWare/computerAndMicrocontrollers/details/Orange-Pi-3B.html (дата обращения: 03.05.2024).
  39. Kovalchukov A. Approximate Hindmarsh-Rose model identification: application to EEG data // 7th Scientific School on Dynamics of Complex Networks and their Applications (DCNA). 2023. pp. 151–154.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».