Classification Methods for EEG Patterns of Imaginary Movements

Cover Page

Cite item

Full Text

Abstract

The review focuses on the most promising methods for classifying EEG signals for non-invasive BCIs and theoretical approaches for the successful classification of EEG patterns. The paper provides an overview of articles using Riemannian geometry, deep learning methods and various options for preprocessing and "clustering" EEG signals, for example, common-spatial pattern (CSP). Among other approaches, pre-processing of EEG signals using CSP is often used, both offline and online. The combination of CSP, linear discriminant analysis, support vector machine and neural network (BPNN) made it possible to achieve 91% accuracy for binary classification with exoskeleton control as a feedback. There is very little work on the use of Riemannian geometry online and the best accuracy achieved so far for a binary classification problem is 69.3% in the work. At the same time, in offline testing, the average percentage of correct classification in the considered articles for approaches with CSP – 77.5 ± 5.8%, deep learning networks – 81.7 ± 4.7%, Riemannian geometry – 90.2 ± 6.6%. Due to nonlinear transformations, Riemannian geometry-based approaches and complex deep neural networks provide higher accuracy and better extract of useful information from raw EEG recordings rather than linear CSP transformation. However, in real-time setup, not only accuracy is important, but also a minimum time delay. Therefore, approaches using the CSP transformation and Riemannian geometry with a time delay of less than 500 ms may be in the future advantage.

About the authors

N. V Kapralov

Sechenov Institute of Evolutionary Physiology and Biochemistry RAS (IEPHB RAS)

Email: nikolay.kapralov@gmail.com
Toreza 44

Z. V Nagornova

Sechenov Institute of Evolutionary Physiology and Biochemistry RAS (IEPHB RAS)

Email: nagornova_zh@mail.ru
Toreza 44

N. V Shemyakina

Sechenov Institute of Evolutionary Physiology and Biochemistry RAS (IEPHB RAS)

Email: shemyakina_n@mail.ru
Toreza 44

References

  1. Официальный сайт базы данных медицинских и биологических публикаций Pubmed, созданной Национальным центром биотехнологической информации США. URL: https://pubmed.ncbi.nlm.nih.gov (дата обращения: 15.01.2021).
  2. Tang Z. et al. A Brain-Machine Interface Based on ERD/ERS for an Upper-Limb Exoskeleton Control // Sensors. 2016. vol. 16. no. 12. pp. 2050.
  3. Romero-Laiseca M.A. et al. A Low-Cost Lower-Limb Brain-Machine Interface Triggered by Pedaling Motor Imagery for Post-Stroke Patients Rehabilitation // IEEE Trans. Neural Syst. Rehabil. Eng. 2020. vol. 28. pp. 988–996.
  4. Belwafi K. et al. An embedded implementation based on adaptive filter bank for brain–computer interface systems // Journal of Neuroscience Methods. 2018. vol. 305. pp. 1–16.
  5. Cervera M.A. et al. Brain-computer interfaces for post-stroke motor rehabilitation: a meta-analysis // Ann. Clin. Transl. Neurol. 2018. vol. 5. no. 5. pp. 651–663.
  6. Bockbrader M.A. et al. Brain Computer Interfaces in Rehabilitation Medicine // PM&R. 2018. vol. 10. no. 9. pp. S233–S243.
  7. Бирюкова Е.В. и др. Восстановление двигательной функции руки с помощью экзоскелета кисти, управляемого интерфейсом мозг-компьютер. случай пациента с обширным поражением мозговых структур // Физиология человека. 2016. Т. 42. № 1. С. 19–30.
  8. Asensio-Cubero J., Gan J.Q., Palaniappan R. Multiresolution analysis over graphs for a motor imagery based online BCI game // Comput. Biol. Med. 2016. vol. 68. pp. 21–26.
  9. Stankevich L.A. et al. EEG pattern decoding of rhythmic individual finger imaginary movements of one hand // Human Physiology. 2016. vol. 42. no. 1. pp. 32.
  10. Lotte F. et al. A review of classification algorithms for EEG-based brain-computer interfaces: a 10 year update // J Neural Eng. 2018. vol. 15. no. 3. pp. 031005.
  11. Zhao X., Zhao J., Liu C., Cai W. Deep Neural Network with Joint Distribution Matching for Cross-Subject Motor Imagery Brain-Computer Interfaces // Biomed. Res. Int. 2020. vol. 2020. no. 7285057.
  12. Sonkin K.M. et al. Development of electroencephalographic pattern classifiers for real and imaginary thumb and index finger movements of one hand // Artif Intell Med. 2015. vol. 63. no. 2. pp. 107–117.
  13. Xu L. et al. Cross-Dataset Variability Problem in EEG Decoding With Deep Learning // Front. Hum. Neurosci. 2020. vol. 14. pp. 103.
  14. Zanini P. et al. Transfer Learning: A Riemannian Geometry Framework With Applications to Brain-Computer Interfaces // IEEE Trans. Biomed. Eng. 2018. vol. 65. no. 5. pp. 1107–1116.
  15. Rodrigues P.L.C., Jutten C., Congedo M. Riemannian Procrustes Analysis: Transfer Learning for Brain-Computer Interfaces // IEEE Trans. Biomed. Eng. 2019. vol. 66. no. 8. pp. 2390–2401.
  16. Ai Q. et al. Feature extraction of four-class motor imagery EEG signals based on functional brain network // J. Neural Eng. 2019. vol. 16. no. 2. pp. 026032.
  17. Schirrmeister R.T. et al. Deep learning with convolutional neural networks for EEG decoding and visualization // Human Brain Mapping. 2017. vol. 38. no. 11. pp. 5391–5420.
  18. Hartmann K. G., Schirrmeister R. T., Ball T. EEG-GAN: Generative adversarial networks for electroencephalograhic (EEG) brain signals // arXiv.org. 2018. URL: http://arxiv.org/abs/1806.01875 (дата обращения: 07.09.2020).
  19. Yang B. et al. A Framework on Optimization Strategy for EEG Motor Imagery Recognition. Proceedings of the 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). 2019. pp. 774–777.
  20. Ang K.K. et al. Filter Bank Common Spatial Pattern Algorithm on BCI Competition IV Datasets 2a and 2b // Front. Neurosci. 2012. vol. 6. no. 39.
  21. Gaur P., Pachori R.B., Wang H., Prasad G. A multi-class EEG-based BCI classification using multivariate empirical mode decomposition based filtering and Riemannian geometry // Expert Systems with Applications. 2018. vol. 95. pp. 201–211.
  22. McFarland D.J., McCane L.M., David S.V., Wolpaw J. R. Spatial filter selection for EEG-based communication // Electroencephalography and Clinical Neurophysiology. 1997. vol. 103. no. 3. pp. 386–394.
  23. Fukunaga K. Introduction to Statistical Pattern Recognition (2nd ed.) // New York: Academic Press. 1990. 592 p.
  24. Ramoser H., Müller-Gerking J., Pfurtscheller G. Optimal spatial filtering of single trial EEG during imagined hand movement // IEEE Trans. Rehab. Eng. 2000. vol. 8. no. 4. pp. 441–446.
  25. Müller-Gerking J., Pfurtscheller G., Flyvbjerg H. Designing optimal spatial filters for single-trial EEG classification in a movement task // Electroenc. Clin. Neurophys. 1999. vol. 110. no. 5. pp. 787–798.
  26. Meng J. et al. Noninvasive Electroencephalogram Based Control of a Robotic Arm for Reach and Grasp Tasks // Sci. Rep. 2016. vol 6. no. 38565.
  27. Barachant A., Bonnet S., Congedo M., Jutten C. Multiclass Brain–Computer Interface Classification by Riemannian Geometry // IEEE Trans. Biomed. Eng. 2012. vol. 59. no. 4. pp. 920–928.
  28. Lei B. et al. Walking Imagery Evaluation in Brain Computer Interfaces via a Multi-View Multi-Level Deep Polynomial Network // IEEE Trans. Neural Syst. Rehabil. Eng. 2019. vol. 27. no. 3. pp. 497–506.
  29. Zhang Z. et al. Modeling EEG-based Motor Imagery with Session to Session Online Adaptation. Proceedings of the 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). 2018. pp. 1988–1991.
  30. Majidov I., Whangbo T. Efficient Classification of Motor Imagery Electroencephalography Signals Using Deep Learning Methods // Sensors. 2019. vol. 19. no. 7. pp. 1736.
  31. Delisle-Rodriguez D. et al. System based on subject-specific bands to recognize pedaling motor imagery: towards a BCI for lower-limb rehabilitation // J. Neural Eng. 2019. vol. 16. no. 056005.
  32. Lotte F. et al. A review of classification algorithms for EEG-based brain-computer interfaces // J. Neural Eng. 2007. vol. 4. no. 2. pp. R1.
  33. Guan S., Zhao K., Yang S. Motor Imagery EEG Classification Based on Decision Tree Framework and Riemannian Geometry // Computational Intelligence and Neuroscience. 2019. vol. 2019. no. 5627156.
  34. Frolov A.A. et al. Post-stroke Rehabilitation Training with a Motor-Imagery-Based Brain-Computer Interface (BCI)-Controlled Hand Exoskeleton: A Randomized Controlled Multicenter Trial // Front. Neurosci. 2017. vol. 11. pp. 400.
  35. Lisi G., Rivela D., Takai A., Morimoto J. Markov Switching Model for Quick Detection of Event Related Desynchronization in EEG // Front. Neurosci. 2018. vol. 12. p. 24. doi: 10.3389/fnins.2018.00024
  36. Lawhern V.J. et al. EEGNet: A Compact Convolutional Network for EEG-based Brain-Computer Interfaces // J. Neural Eng. 2018. vol. 15. no. 056013.
  37. Tayeb Z. et al. Validating Deep Neural Networks for Online Decoding of Motor Imagery Movements from EEG Signals // Sensors. 2019. vol. 19. no. 1. p. 210.
  38. Schalk G. et al. BCI2000: A General-Purpose Brain-Computer Interface (BCI) System // IEEE TBME. 2004. vol. 51. no. 6. pp. 1034–1043.
  39. Gramfort A. et al. MEG and EEG data analysis with MNE-Python // Front. Neurosci. 2013. vol. 7. pp. 267.
  40. Tangermann M. et al. Review of the BCI Competition IV // Front. Neurosci. 2012. vol. 6. pp. 5.
  41. Manton J.H. A globally convergent numerical algorithm for computing the centre of mass on compact Lie groups // Proceedings of the ICARCV Conference. 2004. pp. 2211–2216.
  42. Barachant A., Bonnet S., Congedo M., Jutten C. Classification of covariance matrices using a Riemannian-based kernel for BCI applications // Neurocomputing. 2013. vol. 112. pp. 172–178.
  43. Congedo M., Barachant A. A special form of SPD covariance matrix for interpretation and visualization of data manipulated with Riemannian geometry. Proceedings of the Bayesian Inference and Maximum Entropy Methods in Science and Engineering. 2014. pp. 495–503.
  44. Haykin S. Neural Networks: A Comprehensive Foundation (2 ed.). // Prentice Hall, 1998. 842 p.
  45. Hinton G. E., Salakhutdinov R.R. Reducing the Dimensionality of Data with Neural Networks // Science. 2006. vol. 313. no. 5786. pp. 504–507.
  46. LeCun Y. et al. Backpropagation Applied to Handwritten Zip Code Recognition // Neural Computation. 1989. vol. 1. no. 4. pp. 541–551.
  47. Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation. 1997. vol. 9. no. 8. pp. 1735–1780.
  48. Brunner C., Leeb R., Mueller-Putz G., Schlögl A., Pfurtscheller G. BCI Competition 2008 – Graz data set A. URL: http://bbci.de/competition/iv/desc_2a.pdf (дата обращения: 07.09.2020).
  49. Zhang R., Zong Q., Dou L., Zhao X. A novel hybrid deep learning scheme for four-class motor imagery classification // J. Neural Eng. 2019. vol. 16. no. 6. pp. 066004.
  50. Li Y. et al. A Channel-Projection Mixed-Scale Convolutional Neural Network for Motor Imagery EEG Decoding // IEEE Trans. Neural Syst. Rehabil. Eng. 2019. vol. 27. no. 6. pp. 1170–1180.
  51. Sakhavi S., Guan C., Yan S. Learning Temporal Information for Brain-Computer Interface Using Convolutional Neural Networks // IEEE Trans. Neural Netw. Learning Syst. 2018. vol. 29. no. 11. pp. 5619–5629.
  52. Luo T., Zhou C., Chao F. Exploring spatial-frequency-sequential relationships for motor imagery classification with recurrent neural network // BMC Bioinformatics. 2018. vol. 19. no. 344.
  53. Xie X. et al. Motor Imagery Classification Based on Bilinear Sub-Manifold Learning of Symmetric Positive-Definite Matrices // IEEE Trans. Neural Syst. Rehabil. Eng. 2016. vol. 25. no. 6. pp. 504–516.
  54. Meng J. et al. A Study of the Effects of Electrode Number and Decoding Algorithm on Online EEG-Based BCI Behavioral Performance // Front. Neurosci. 2018. vol. 12. pp. 227.
  55. Singh A., Lal S., Guesgen H. Reduce Calibration Time in Motor Imagery Using Spatially Regularized Symmetric Positives-Definite Matrices Based Classification // Sensors. 2019. vol. 19. no. 2. pp. 379.
  56. Gurve D. et al. Subject-specific EEG channel selection using non-negative matrix factorization for lower-limb motor imagery recognition // J. Neural Eng. 2020. vol. 17. no. 2. p. 026029.
  57. Kumar S., Mamun K., Sharma A. CSP-TSM: Optimizing the performance of Riemannian tangent space mapping using common spatial pattern for MI-BCI // Computers in Biology and Medicine. 2017. vol. 91. pp. 231–242.
  58. Ha K.-W., Jeong J.-W. Motor Imagery EEG Classification Using Capsule Networks // Sensors. 2019. vol. 19. no. 13. pp. 2854.
  59. Dai M. et al. EEG Classification of Motor Imagery Using a Novel Deep Learning Framework // Sensors. 2019. vol. 19. no. 3. pp. 551.
  60. Chu Y. et al. A Decoding Scheme for Incomplete Motor Imagery EEG With Deep Belief Network // Front. Neurosci. 2018. vol. 12. pp. 680.
  61. Wu H et al. A Parallel Multiscale Filter Bank Convolutional Neural Networks for Motor Imagery EEG Classification // Front. Neurosci. 2019. vol. 13. pp. 1275.
  62. Tang X.-L., Ma W.-C., Kong D.-S., Li W. Semisupervised Deep Stacking Network with Adaptive Learning Rate Strategy for Motor Imagery EEG Recognition // Neural Computation. 2019. vol. 31. no. 5. pp. 919–942. doi: 10.1162/neco_a_01183
  63. Foong R. et al. Assessment of the Efficacy of EEG-Based MI-BCI With Visual Feedback and EEG Correlates of Mental Fatigue for Upper-Limb Stroke Rehabilitation // IEEE Trans. Biomed. Eng. 2020. vol. 67. no. 3. pp. 786–795.
  64. Shemyakina N.V., Dan’ko S.G. Changes in the power and coherence of the β2 EEG band in subjects performing creative tasks using emotionally significant and emotionally neutral words // Hum. Physiol. 2007. vol. 33. pp. 20–26.
  65. Шемякина Н.В., Данько С.Г. Влияние эмоциональной окраски воспринимаемого сигнала на электроэнцефалографические корреляты творческой деятельности // Физиология человека. 2004. Т. 30. № 2. С. 22–29.
  66. Schmidt H., Avitabile D., Montbrió E., Roxin A. Network mechanisms underlying the role of oscillations in cognitive tasks // PLoS Comput. Biol. 2018. vol. 14. no. 9. pp. e1006430. doi: 10.1371/journal.pcbi.1006430. PMID: 30188889; PMCID: PMC6143269.
  67. Neuper C., Scherer R., Reiner M., Pfurtscheller G. Imagery of motor actions: differential effects of kinesthetic and visual-motor mode of imagery in single-trial EEG // Cogn. Brain. Res. 2005. vol. 25. no. 3. pp. 668–677.
  68. She Q. et al. A hierarchical semi-supervised extreme learning machine method for EEG recognition // Med. Biol. Eng. Comput. 2019. vol. 57. pp. 147–157.
  69. Costa A.P., Møller J.S., Iversen H.K., Puthusserypady S. An adaptive CSP filter to investigate user independence in a 3-class MI-BCI paradigm // Comput. Biol. Med. 2018. vol. 103. pp. 24–33.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».