Specifics of visual information processing in children with hearing impairment in a learning situation: eye tracking research

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

The article examines the problem of the consequences of early auditory deprivation, which leads to neural and cognitive reorganization of visual information processing. The aim of the study was to use an eye tracker to identify the specifics of visual processing that occurs as a result of auditory deprivation in early life. The main task was to determine the strategies of eye movement patterns in the process of perception of visualizations of educational materials while solving mental tasks using an eye-tracking device, which would reveal a number of features of visual processing in children with hearing impairments. A comparative analysis was carried out between typically developing children and children with cochlear implants aged 5–7 years. To determine features of visual perception, we used visual representations of educational material to bring experimental conditions closer to natural learning situations. In order to trace the specifics of visual information processing in a learning situation, we used classical tasks for excluding objects, simple non-verbal analogies, recognizing objects in illustrations, and analyzed the features of oculomotor activity during the perception of stimuli by children. Eye movement tracking was carried out using a stationary GP3 eye tracker. Using scanning methods and analyzing the fixation sequence, differences in visual information processing between children with hearing impairments and those without were revealed. Changes in search strategies (an increase in switching, repeated views, patterns, and sequences of transitions between areas) were recorded, as well as changes in spatial distribution of attention, sequence of visual processing, dynamics of the field of interest, and repeatability and directionality of scanning images. Children with hearing impairment are characterized by a bottom-up strategy and chaotic search for information features. Changes in the sequence of information processing and distribution of visual attention affect the learning process in perceptual actions aimed at visual detection, recognition, discrimination, or identification of information necessary for mental operations.

About the authors

Ya. K. Smirnova

Altai State University; Candidate of Sciences (Psychology), Associate Professor of the Department of General and Applied Psychology

Author for correspondence.
Email: yana.smirnova@mail.ru
656049, Barnaul, Lenin Ave., 61, Russia

References

  1. Anosova L.V., Krylova O.V., Shashukova E.A., Levin S.V. Dinamika psikhicheskogo razvitiya detei s sensonevral’noi tugoukhost’yu 4-i stepeni posle kokhlearnoi implantatsii na fone neiroprotektornoi terapii. Rossiiskaya otorinolaringologiya. 2015. № 2(75). P. 13–17. (In Russian)
  2. Akhutina T.V., Pylaeva N.M. Diagnostika zritel’no-verbal’nykh funktsii u detei 5–7 let. Shkol’nyi psikholog. 2001. № 15(87). P. 36–43. (In Russian)
  3. Donskaya N.Yu., Linikova N.I. Bukvar’ dlya shkol slaboslyshashchikh. Moscow: Prosveshchenie, 1992. (In Russian)
  4. Pavlova N.N., Rudenko L.G. Ekspress-diagnostika v detskom sadu: Komplekt materialov dlya pedagogov-psikhologov detskikh doshkol’nykh obrazovatel’nykh uchrezhdenii. Moscow: Genezis, 2008. (In Russian)
  5. Semago N.Ya., Semago M.M. Diagnosticheskii al’bom dlya issledovaniya osobennostei poznavatel’noi deyatel’nosti: doshkol’nyi i mladshii shkol’nyi vozrast. Moscow: ARKTI, 2022. (In Russian)
  6. Skuratova K.A., Shelepin E.Yu., Shelepin K.Yu. Programmnye vozmozhnosti primeneniya metoda aitrekinga v issledovaniyakh zritel’nogo vospriyatiya. Rossiiskii psikhologicheskii zhurnal. 2022. № 19(4). P. 173–185. (In Russian)
  7. Bavelier D., Brozinsky C., Tomann A., Mitchell T., Neville H., Liu G. Impact of early deafness and early exposure to sign language on the cerebral organization for motion processing. The Journal of Neuroscience. 2001. V. 21(22). P. 8931–8942.
  8. Bavelier D., Dye M.W., Hauser P.C. Do deaf individuals see better? Trends in Cognitive Sciences. 2006. V. 10(11). P. 512–518.
  9. Bavelier D., Hirshorn E.A. I see where you’re hearing: How cross-modal plasticity may exploit homologous brain structures. Nature Neuroscience. 2010. V. 13(11). P. 1309–1311.
  10. Bavelier D., Neville H.J. Cross-modal plasticity: Where and how? Nature Reviews Neuroscience. 2002. V. 3. P. 443–452.
  11. Bharadwaj S.V., Mehta J.A. An exploratory study of visual sequential processing in children with cochlear implants. International Journal of Pediatric Otorhinolaryngology. 2016. V. 85. P. 158–165.
  12. Bottari D., Heimler B., Caclin A., Dalmolin A., Giard M.H., Pavani F. Visual change detection recruits auditory cortices in early deafness. Neuroimage. 2014. V. 1(94). P. 172–184.
  13. Cattaneo Z., Lega C., Cecchetto C., Papagno C. Auditory deprivation affects biases of visuospatial attention as measured by line bisection. Experimental Brain Research. 2014. V. 232(9). P. 2767–2773.
  14. Chen Q., He G., Chen K., Jin Z., Mo L. Altered spatial distribution of visual attention in near and far space after early deafness. Neuropsychologia. 2010. V. 48(9). P. 2693–2698.
  15. Conway C., Pisoni D., Kronenberger W. The Importance of sound for cognitive sequencing abilities: the auditory scaffolding hypothesis. Current Directions in Psychological Science. 2009. V. 18. P. 275–279.
  16. Conway C.M., Karpicke J., Anaya E.M., Henning S.C., Kronenberger W.G., Pison D.B. Nonverbal cognition in deaf children following cochlear implantation: Motor sequencing disturbances mediate language delays. Deve- lopmental Neuropsychology. 2011. V. 36. Р. 237–254.
  17. Dawson P., Busby P., McKay C., Clark G. Short-term auditory memory in children using cochlear implants and its relevance to receptive language. Journal of Speech, Language, and Hearing Research. 2002. V. 45. P. 789–801.
  18. Daza M.T., Phillips-Silver J. Development of attention networks in deaf children: support for the integrative hypothesis. Research in Developmental Disabilities. 2013. V. 34(9). P. 2661–2668.
  19. Dowaliby F., Lang H. Adjunct aids in instructional prose: A multimedia study with deaf college students. Journal of Deaf Studies and Deaf Education. 1999. № 4. P. 270–282.
  20. Dye M.W., Bavelier D. Attentional enhancements and deficits in deaf populations: an integrative review. Restorative Neurology and Neuroscience. 2010. V. 28(2). P. 181–192.
  21. Fagan M.K., Pisoni D.B., Horn D.L., Dillon C.M. Neuropsychological correlates of vocabulary, reading, and working memory in deaf children with cochlear implants. Journal of Deaf Studies and Deaf Education. 2007. V. 12(4). P. 461–471.
  22. Heming J.E., Brown L.N. Sensory temporal processing in adults with early hearing loss. Brain and Cognition. 2005. V. 59(2). P. 173–182.
  23. Iversen J.R., Patel A.D., Nicodemus B., Emmorey K. Synchronization to auditory and visual rhythms in hearing and deaf individuals. Cognition. 2015. V. 134. P. 232–244.
  24. Jarodzka H., Holmqvist K., Grube H. Eye tracking in Educational Science: Theoretical frameworks and research agendas. Journal of Eye Movement Research. 2017. V. 10(1). Р. 1–18.
  25. Kyle F.E., Harris M. Longitudinal patterns of emerging literacy in beginning deaf and hearing readers. The Journal of Deaf Studies and Deaf Education. 2011. V. 16(3). P. 289–304.
  26. Levänen S., Jousmäki V., Hari R. Vibration-induced auditory-cortex activation in a congenitally deaf adult. Current Biology. 1998. V. 8(15). P. 869–872.
  27. Marschark M., Edwards L., Peterson C., Crowe K., Walton D. Understanding theory of mind in deaf and hearing college students. Journal of Deaf Studies and Deaf Education. 2019. V. 24(2). P. 104–118.
  28. Marschark M., Spencer L.J., Durki A., Borgna G., Convertino C., Machmer E., Kronenberger W.G., Trani A. Understanding language, hearing status, and visual-spatial skills. Journal of Deaf Studies and Deaf Education. 2015. V. 20(4). P. 310–330.
  29. Monroy C., Chen C.H., Houston D., Yu C. Action prediction during real-time parent-infant interactions. Developmental science. 2021. V. 24(3). Art. e13042.
  30. Pisoni D., Cleary M. Measures of working memory span and verbal rehearsal speed in deaf children after cochlear implantation. Ear and Hearing. 2003. V. 24. P. 106–120.
  31. Quittner A.L., Leibach P, Marciel K. The impact of cochlear implants on young deaf children: New methods to assess cognitive and behavioral development. Archives of Otolaryngology — Head & Neck Surgery. 2004. V. 130(5). P. 547–554.
  32. Sarant J.Z., Harris D.C., Benneta L.A. Academic outcomes for school-aged children with severe–profound hearing loss and early unilateral and bilateral cochlear implants. Journal of Speech, Language, and Hearing Research. 2015. V. 58(3). P. 1017–1032.
  33. Seymour J.L., Low K.A., Maclin E.L., Chiarelli A.M., Mathewson K.E., Fabiani M., Gratton G., Dye M.W.G. Reorganization of neural systems mediating peripheral visual selective attention in the deaf: An optical imaging study. Hearing Research. 2017. V. 343. P. 162–175.
  34. Soto-Rey J., Pérez-Tejero J., Rojo-González J.J., Reina R. Study of reaction time to visual stimuli in athletes with and without a hearing impairment. Perceptual and Motor Skills. 2014. V. 119(1). P. 123–132.
  35. Stevens C., Neville H. Neuroplasticity as a double-edged sword: Deaf enhancements and dyslexic deficits in motion processing. Journal of Cognitive Neuroscience. 2006. V. 18(5). P. 701–714.
  36. Thakur R., Jayakumar J., Pant S. Visual perception and attentional skills in school-age children: A cross-sectional study of reading proficiency in the hearing impaired. Indian Journal of Community Medicine. 2023. V. 4. P. 544–549.
  37. Tharpe A.M., Ashmead D., Sladen D.P., Ryan H.A., Rothpletz A.M. Visual attention and hearing loss: past and current perspectives. Journal of the American Academy of Audiology. 2008. V. 19. P. 741–747.
  38. Voss P., Tabry V., Zatorre R.J. Trade-off in the sound localization abilities of early blind individuals between the horizontal and vertical planes. The Journal of Neuroscience. 2015. V. 35(15). P. 6051–6056.
  39. Yurkovic-Harding J., Lisandrelli G., Shaffe R.C., Dominick K.C., Pedapati E. Erickson V., Yu C.A.C., Kennedy D. Children with ASD establish joint attention during free-flowing toy play without face looks. Current Biology. 2022. V. 32(12). Р. 2739–2746.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Copyright (c) 2025 Russian Academy of Sciences

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».