Метод интеллектуальной локализации взгляда на основе анализа ЭЭГ с использованием носимой головной повязки
- Авторы: Романюк В.Р1, Кашевник А.М1
-
Учреждения:
- Санкт-Петербургский Федеральный исследовательский центр Российской академии наук (СПб ФИЦ РАН)
- Выпуск: Том 23, № 2 (2024)
- Страницы: 521-541
- Раздел: Искусственный интеллект, инженерия данных и знаний
- URL: https://journal-vniispk.ru/2713-3192/article/view/265791
- DOI: https://doi.org/10.15622/ia.23.2.8
- ID: 265791
Цитировать
Полный текст
Аннотация
В стремительно развивающейся цифровой эпохе интерфейсы человеко-машинного взаимодействия непрерывно совершенствуется. Традиционные методы взаимодействия с компьютером, такие как мышь и клавиатура, дополняются и даже заменяются более интуитивными способами, которые включают технологии отслеживания глаз. Обычные методы отслеживания глаз используют камеры, которые отслеживают направление взгляда, но имеют свои ограничения. Альтернативным и многообещающим подходом к отслеживанию глаз является использование электроэнцефалографии, техники измерения активности мозга. Исторически ЭЭГ была ограничена в основном лабораторными условиями. Однако мобильные и доступные устройства для ЭЭГ появляются на рынке, предлагая более универсальное и эффективное средство для регистрации биопотенциалов. В данной статье представлен метод локализации взгляда с использованием электроэнцефалографии, полученной с помощью мобильного регистратора ЭЭГ в виде носимой головной повязки (компании BrainBit). Это исследование направлено на декодирование нейрональных паттернов, связанных с разными направлениями взгляда, с использованием продвинутых методов машинного обучения, в частности, нейронных сетей. Поиск паттернов выполняется как с использованием данных, полученных с помощью носимых очков с камерой для отслеживания глаз, так и с использованием неразмеченных данных. Полученные в исследовании результаты демонстрируют наличие зависимости между движением глаз и ЭЭГ, которая может быть описана и распознана с помощью предсказательной модели. Данная интеграция мобильной технологии ЭЭГ с методами отслеживания глаз предлагает портативное и удобное решение, которое может быть применено в различных областях, включающих медицинские исследования и разработку более интуитивных компьютерных интерфейсов.
Ключевые слова
Об авторах
В. Р Романюк
Санкт-Петербургский Федеральный исследовательский центр Российской академии наук (СПб ФИЦ РАН)
Автор, ответственный за переписку.
Email: romaniukvr@yandex.ru
14-я линия В.О. 39
А. М Кашевник
Санкт-Петербургский Федеральный исследовательский центр Российской академии наук (СПб ФИЦ РАН)
Email: alexey@iias.spb.su
14-я линия В.О. 39
Список литературы
- Holmqvist K., Nystrom M., Mulvey F. Eye tracker data quality: What it is and how to measure it // Proceedings of the Eye Tracking Research and Applications Symposium (ETRA). 2012. pp. 45–52.
- Jagla F., Jergelova M., Riecansky I. Saccadic eye movement related potentials. Physiological Research. 2007. vol. 56. no. 6. pp. 707–713. doi: 10.33549/physiolres.931368.
- Krigolson O.E., Williams C.C., Norton A., Hassall C.D., Colino F.L. Choosing MUSE: Validation of a Low-Cost, Portable EEG System for ERP Research // Frontiers in Neuroscience. 2017. vol. 11. doi: 10.3389/fnins.2017.00109.
- Brainbit. Brainbit Manual. URL: http://brainbit.com/ (accessed 09/01/2023).
- Georgiadis K., Kalaganis F.P., Riskos K., Matta E., Oikonomou V.P., Yfantidou I., Chantziaras D., Pantouvakis K., Nikolopoulos S., Laskaris N.A., Kompatsiaris I.. NeuMa – the absolute Neuromarketing dataset en route to an holistic understanding of consumer behaviour // Scientific Data. 2023. vol. 10(1). no. 508. doi: 10.1038/s41597-023-02392-9.
- Plochl M., Ossandon J., Konig P. Combining EEG and eye tracking: identification, characterization, and correction of eye movement artifacts in electroencephalographic data // Frontiers in Human Neuroscience. 2012. vol. 6. no. 278. URL: https://www.frontiersin.org/articles/10.3389/fnhum.2012.00278.
- Antoniou E., Bozios P., Christou V., Tzimourta K.D., Kalafatakis K.G. Tsipouras M., Giannakeas N., Tzallas A.T. EEG-Based Eye Movement Recognition Using Brain-Computer Interface and Random Forests // Sensors. 2021. vol. 21. no. 7. no. 2339. doi: 10.3390/s21072339.
- Shahbakhti M., Beiramvand M., Nazari M., Broniec-Wojcik A., Augustyniak P., Rodrigues A.S., Wierzchon M., Marozas V. VME-DWT: An Efficient Algorithm for Detection and Elimination of Eye Blink From Short Segments of Single EEG Channel // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2021. vol. 29. pp. 408–417.
- Stone D.B., Tamburro G., Fiedler P., Haueisen J., Comani S. Automatic Removal of Physiological Artifacts in EEG: The Optimized Fingerprint Method for Sports Science Applications // Frontiers in Human Neuroscience. 2018. vol. 12. no. 96.
- Maddirala A.K., Veluvolu K. Eye-blink artifact removal from single channel EEG with k-means and SSA // Scientific Reports. 2021. vol. 11(1). no. 11043.
- Klug M., Jeung S., Wunderlich A., Gehrke L., Protzak J., Djebbara Z., Argubi-Wollesen A., Wollesen B., Gramann K. The BeMoBIL Pipeline for automated analyses of multimodal mobile brain and body imaging data // bioRxiv. 2022. doi: 10.1101/2022.09.29.510051.
- Han J., Jiang G., Ouyang G., Li X. A Multimodal Approach for Identifying Autism Spectrum Disorders in Children // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2022. vol. 30. pp. 2003–2011.
- Ahtola E., Stjerna S., Stevenson N., Vanhatalo S. Use of eye tracking improves the detection of evoked responses to complex visual stimuli during EEG in infants // Clinical Neurophysiology Practice. 2017. vol. 2. pp. 81–90. URL: https://www.sciencedirect.com/science/article/pii/S2467981X17300070.
- Wang Y., Yu S., Ma N., Wang J., Hu Z., Liu Z., He J. Prediction of product design decision Making: An investigation of eye movements and EEG features // Advanced Engineering Informatics. 2020. vol. 45. no. 101095. doi: 10.1016/j.aei.2020.101095.
- Reiser J., Wascher E., Arnau S. Recording mobile EEG in an outdoor environment reveals cognitive-motor interference dependent on movement complexity // Scientific Reports. 2019. vol. 9(1). no. 13704.
- Buerkle A., Bamber T., Lohse N., Ferreira P. Feasibility of Detecting Potential Emergencies in Symbiotic Human-Robot Collaboration with a mobile EEG // Robotics and Computer-Integrated Manufacturing. 2021. vol. 72. no. 102179.
- Klug M., Gramann K. Identifying key factors for improving ICA-based decomposition of EEG data in mobile and stationary experiments // European Journal of Neuroscience. 2021. vol. 54. no. 12. pp. 8406–8420.
- Chiu N.-T., Huwiler S., Ferster M.L., Karlen W., Wu H.-T., Lustenberger C. Get rid of the beat in mobile EEG applications: A framework towards automated cardiogenic artifact detection and removal in single-channel EEG // Biomedical Signal Processing and Control. 2022. vol. 72. no. 103220. doi: 10.1016/j.bspc.2021.103220.
- Barz M., Sonntag D. Automatic Visual Attention Detection for Mobile Eye Tracking Using Pre-Trained Computer Vision Models and Human Gaze // Sensors. 2021. vol. 21(12). no. 4143. doi: 10.3390/s21124143.
- Zhou C., Shi Z., Huang T., Zhao H., Kaner J. Impact of swiping direction on the interaction performance of elderly-oriented smart home interface: EEG and eye-tracking evidence // Frontiers in Psychology. 2023. vol. 14.
- Tonsen M., Baumann C., Dierkes K. A High-Level Description and Performance Evaluation of Pupil Invisible. arXiv preprint arXiv:2009.00508. 2020.
Дополнительные файлы
