Intelligent Eye Gaze Localization Method Based on EEG Analysis Using Wearable Headband

Cover Page

Cite item

Full Text

Abstract

In the rapidly evolving digital age, human-machine interface technologies are continuously being improved. Traditional methods of computer interaction, such as a mouse and a keyboard, are being supplemented and even replaced by more intuitive methods, including eye-tracking technologies. Conventional eye-tracking methods utilize cameras to monitor the direction of gaze but have their limitations. An alternative and promising approach for eye-tracking involves the use of electroencephalography, a technique for measuring brain activity. Historically, EEG was primarily limited to laboratory conditions. However, mobile and accessible EEG devices are entering the market, offering a more versatile and effective means of recording bioelectric potentials. This paper introduces a gaze localization method using EEG obtained from a mobile EEG recorder in the form of a wearable headband (provided by BrainBit). The study aims to decode neural patterns associated with different gaze directions using advanced machine learning methods, particularly neural networks. Pattern recognition is performed using both ground truth data collected from wearable camera-based eye-tracking glasses and unlabeled data. The results obtained in this research demonstrate a relationship between eye movement and EEG, which can be described and recognized through a predictive model. This integration of mobile EEG technology with eye-tracking methods offers a portable and convenient solution that can be applied in various fields, including medical research and the development of more intuitive computer interfaces.

About the authors

V. R Romaniuk

St. Petersburg Federal Research Center of the Russian Academy of Sciences (SPC RAS)

Author for correspondence.
Email: romaniukvr@yandex.ru
14-th Line V.O. 39

A. M Kashevnik

St. Petersburg Federal Research Center of the Russian Academy of Sciences (SPC RAS)

Email: alexey@iias.spb.su
14-th Line V.O. 39

References

  1. Holmqvist K., Nystrom M., Mulvey F. Eye tracker data quality: What it is and how to measure it // Proceedings of the Eye Tracking Research and Applications Symposium (ETRA). 2012. pp. 45–52.
  2. Jagla F., Jergelova M., Riecansky I. Saccadic eye movement related potentials. Physiological Research. 2007. vol. 56. no. 6. pp. 707–713. doi: 10.33549/physiolres.931368.
  3. Krigolson O.E., Williams C.C., Norton A., Hassall C.D., Colino F.L. Choosing MUSE: Validation of a Low-Cost, Portable EEG System for ERP Research // Frontiers in Neuroscience. 2017. vol. 11. doi: 10.3389/fnins.2017.00109.
  4. Brainbit. Brainbit Manual. URL: http://brainbit.com/ (accessed 09/01/2023).
  5. Georgiadis K., Kalaganis F.P., Riskos K., Matta E., Oikonomou V.P., Yfantidou I., Chantziaras D., Pantouvakis K., Nikolopoulos S., Laskaris N.A., Kompatsiaris I.. NeuMa – the absolute Neuromarketing dataset en route to an holistic understanding of consumer behaviour // Scientific Data. 2023. vol. 10(1). no. 508. doi: 10.1038/s41597-023-02392-9.
  6. Plochl M., Ossandon J., Konig P. Combining EEG and eye tracking: identification, characterization, and correction of eye movement artifacts in electroencephalographic data // Frontiers in Human Neuroscience. 2012. vol. 6. no. 278. URL: https://www.frontiersin.org/articles/10.3389/fnhum.2012.00278.
  7. Antoniou E., Bozios P., Christou V., Tzimourta K.D., Kalafatakis K.G. Tsipouras M., Giannakeas N., Tzallas A.T. EEG-Based Eye Movement Recognition Using Brain-Computer Interface and Random Forests // Sensors. 2021. vol. 21. no. 7. no. 2339. doi: 10.3390/s21072339.
  8. Shahbakhti M., Beiramvand M., Nazari M., Broniec-Wojcik A., Augustyniak P., Rodrigues A.S., Wierzchon M., Marozas V. VME-DWT: An Efficient Algorithm for Detection and Elimination of Eye Blink From Short Segments of Single EEG Channel // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2021. vol. 29. pp. 408–417.
  9. Stone D.B., Tamburro G., Fiedler P., Haueisen J., Comani S. Automatic Removal of Physiological Artifacts in EEG: The Optimized Fingerprint Method for Sports Science Applications // Frontiers in Human Neuroscience. 2018. vol. 12. no. 96.
  10. Maddirala A.K., Veluvolu K. Eye-blink artifact removal from single channel EEG with k-means and SSA // Scientific Reports. 2021. vol. 11(1). no. 11043.
  11. Klug M., Jeung S., Wunderlich A., Gehrke L., Protzak J., Djebbara Z., Argubi-Wollesen A., Wollesen B., Gramann K. The BeMoBIL Pipeline for automated analyses of multimodal mobile brain and body imaging data // bioRxiv. 2022. doi: 10.1101/2022.09.29.510051.
  12. Han J., Jiang G., Ouyang G., Li X. A Multimodal Approach for Identifying Autism Spectrum Disorders in Children // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2022. vol. 30. pp. 2003–2011.
  13. Ahtola E., Stjerna S., Stevenson N., Vanhatalo S. Use of eye tracking improves the detection of evoked responses to complex visual stimuli during EEG in infants // Clinical Neurophysiology Practice. 2017. vol. 2. pp. 81–90. URL: https://www.sciencedirect.com/science/article/pii/S2467981X17300070.
  14. Wang Y., Yu S., Ma N., Wang J., Hu Z., Liu Z., He J. Prediction of product design decision Making: An investigation of eye movements and EEG features // Advanced Engineering Informatics. 2020. vol. 45. no. 101095. doi: 10.1016/j.aei.2020.101095.
  15. Reiser J., Wascher E., Arnau S. Recording mobile EEG in an outdoor environment reveals cognitive-motor interference dependent on movement complexity // Scientific Reports. 2019. vol. 9(1). no. 13704.
  16. Buerkle A., Bamber T., Lohse N., Ferreira P. Feasibility of Detecting Potential Emergencies in Symbiotic Human-Robot Collaboration with a mobile EEG // Robotics and Computer-Integrated Manufacturing. 2021. vol. 72. no. 102179.
  17. Klug M., Gramann K. Identifying key factors for improving ICA-based decomposition of EEG data in mobile and stationary experiments // European Journal of Neuroscience. 2021. vol. 54. no. 12. pp. 8406–8420.
  18. Chiu N.-T., Huwiler S., Ferster M.L., Karlen W., Wu H.-T., Lustenberger C. Get rid of the beat in mobile EEG applications: A framework towards automated cardiogenic artifact detection and removal in single-channel EEG // Biomedical Signal Processing and Control. 2022. vol. 72. no. 103220. doi: 10.1016/j.bspc.2021.103220.
  19. Barz M., Sonntag D. Automatic Visual Attention Detection for Mobile Eye Tracking Using Pre-Trained Computer Vision Models and Human Gaze // Sensors. 2021. vol. 21(12). no. 4143. doi: 10.3390/s21124143.
  20. Zhou C., Shi Z., Huang T., Zhao H., Kaner J. Impact of swiping direction on the interaction performance of elderly-oriented smart home interface: EEG and eye-tracking evidence // Frontiers in Psychology. 2023. vol. 14.
  21. Tonsen M., Baumann C., Dierkes K. A High-Level Description and Performance Evaluation of Pupil Invisible. arXiv preprint arXiv:2009.00508. 2020.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».