Особенности конструирования события в тексте и иллюстрации. Глазодвигательные реакции и дискурсивные интерпретации

Обложка

Цитировать

Полный текст

Аннотация

В работе исследуются комбинаторные эффекты в выборе техник конструирования события в гетеросемиотическом единстве текста и изображения на материале иллюстрированных книг. Гипотеза исследования, заключающаяся в том, что активность и сопряженность параметров конструирования события будет определять интерпретацию гетеросемиотического единства, верифицируется в ходе окулографического анализа и последующего анализа дискурсивных ответов участников. Анализу подвергаются 12 групп параметров: параметры истинности, общего типа, типа отношений, управляемости, завершенности, моментальности, результативности, оценочности, локализации в пространстве, локализации во времени, повторяемости, причинно-следственных отношений; в ходе анализа устанавливается их роль в создании текста и изображения, а также особенности их резонанса, или особенности дублирования их активности в тексте и изображении. Для отбора стимульных образцов используется методика определения их типичности и уникальности с помощью факторного анализа с привлечением показателей параметров конструирования; показатели уникальности установлены в диапазоне от 0.111 до 0.675, что обеспечивает вариативность привлекаемых образцов. В ходе эксперимента выявлено, что продолжительность пребывания взгляда в зонах текста и изображения обусловлена особенностями конструирования события. Увеличение продолжительности фиксаций в зонах текста наблюдается, если событие в изображении представлено как задействующее отношения физического контакта, как статическое и желательное. Если в тексте не представлены событие создания и разрушения, событие-достижение цели, событие, имеющее временные отсылки, событие с выраженными причинными и следственными отношениями, то возрастает продолжительность фиксаций в зоне изображения. Активность параметров также определяет выбор дискурсивных паттернов в дескриптивном, нарративном дискурсах и дискурсе-рассуждении. Установлено ограниченное количество параметров конструирования события, сопряженных с выбором нарративных паттернов; выбор дискурса-рассуждения сопряжен одновременно с ограниченным количеством параметров конструирования текста и с достаточно большим их количеством в изображении. Полученные данные позволяют использовать разработанную систему параметров конструирования события в тексте и изображении для реализации прогностической оценки успешности интерпретации гетеросемиотических единств. Результаты также способствуют интегрированию на единых основаниях достижений лингвокогнитивной и когнитивно-семиотической парадигм к анализу гетеросемиотических единств.

Об авторах

Мария Ивановна Киосе

Московский государственный лингвистический университет

Автор, ответственный за переписку.
Email: maria_kiose@mail.ru
ORCID iD: 0000-0001-7215-0604

доктор филологических наук, доцент, ведущий научный сотрудник Центра социокогнитивных исследований дискурса

119034, Российская Федерация, Москва, ул. Остоженка, 38

Список литературы

  1. Itti, L. (2005). Quantifying the contribution of low-level saliency to human eye movements in dynamic scenes. Visual Cognition, 12 (6), 1093-1123.
  2. Komogortsev, O. & Khan, J.I. (2006). Perceptual attention focus prediction for multiple viewers in case of multimedia perceptual. In: ETRA 2006 - Proceedings of the Eye Tracking Research and Application Symposium, Räihä K-J., Duchowski A.T (eds.). California: San Diego. pp. 101-108.
  3. Wilming, N., Onat, S., Ossandón, J.P., Açık, A., Kietzmann, T.C., Kaspar, K., Gameiro, R.R., Vormberg, A. & König, P. (2016). An extensive dataset of eye movements during viewing of complex images. Scientific Data, 4. URL: https://www.nature.com/articles/sdata2016126. pdf (accessed: 12.05.2020).
  4. Lautenbacher, O.P. (2012). From still pictures to moving pictures: eye-tracking text and image. In: Eye Tracking in Audiovisual Translation, E. Perego (Ed.). Roma: Aracne Editrice. pp. 133-154.
  5. Antipov, V.N. & Zhegallo, A.V. (2017). Three-dimensional perception of flat images in computerized environment. Experimental Psychology, 7(3), 97-111.
  6. Kaspar, K. & König, P. (2011). Viewing behavior and the impact of low-level image properties across repeated presentations of complex scenes. Journal of Vision, 11, 1-29.
  7. Kirtley, C. (2018). How images draw the eye: an eye-tracking study of composition. Empirical Studies of the Arts, 36 (1), 41-70.
  8. Steptoe, W., Oyekoya, O. & Steed, A. (2010). Eyelid kinematics for virtual characters. Journal of Visualization and Computer Animation, 21 (3), 161-171.
  9. Voroshiliva, М.B. & Zlokazov, К.V. (2017). Psychological methods of Creole texts study. Political Science, 2, 126-137. (In Russ.).
  10. Baldry, A.P. & Thibault, P.J. (2006). Multimodal Transcription and Text. London: Equinox.
  11. Giora, R. (2003). On our mind: Salience, context, and figurative language. Oxford: Oxford University Press.
  12. Gibbs, R. & Tendal, M. (2006). Cognitive effort and effects in metaphor comprehension: Relevance theory and psycholinguistics. Mind and Language, 21(3), 379-403.
  13. Schmid, H-J. (ed.) (2016). Entrenchment and the psychology of language learning. How we reorganize and adapt linguistic knowledge. Washington DC: Mouton de Gruyter.
  14. Merleau-Ponty, M. (2005). Phenomenology of perception, C. Smith (transl.). London: Routledge.
  15. Clark, A. (2006). Language, embodiment and the cognitive niche. Trends Cogn. Sci., 10, 370-374.
  16. Danziger, E. & Rumsey, A. (eds.) (2013). Intersubjectivity across Languages and Cultures. Special issue of Language and Communication. Amsterdam: Elsevier,
  17. Sinha, C. (2015). Language and other artifacts: Socio-cultural dynamics of niche construction. Frontiers in Psychology, 6. URL: https://www.frontiersin.org/articles/10.3389/fpsyg.2015.01601/full (accessed: 12.01.2021).
  18. Pustejovsky, J. (1995). The Generative Lexicon. Cambridge, Massachusetts: MIT Press.
  19. Talmy, L. (1996). Fictive motion in language and caption. In: Language and Space, P. Bloom, M. Peterson, L. Nadel, and M. Garrett (eds.). Cambridge, MA: MIT Press. pp. 211-276.
  20. Jackendoff, R. (2002). Foundations of language: Brain, meaning, grammar, evolution. Oxford: Oxford University Press.
  21. Bergen, B. (2015). Embodiment. In: Handbook of Cognitive Linguistics, E. Dabrowska, D. Divjak (eds.). BerlIn: Walter de Gruyter. pp. 10-30.
  22. Vendler, Z. (1967). Facts and Events. In: Linguistics in Philosophy. Ithaca, NY. pp. 12-146.
  23. Аrutunova, N.D. (1988). Types of linguistic meanings: Assessment, event, fact. Мoscow: Nauka. (In Russ.). Арутюнова Н.Д. Типы языковых значений. Оценка, событие, факт. М.: Наука, 1988.
  24. Paducheva, Е.V. (1985). Utterance and its coreference with reality. Мoscow: Nauka. (In Russ.) Падучева Е.В. Высказывание и его соотнесенность с действительностью (Референциальные аспекты семантики местоимений). М.: Наука, 1985.
  25. van Dijk, T.A. (1981). Studies in the pragmatics of discourse. The Hague-BerlIn: Mouton.
  26. Tomlin, R.S. (1987). Linguistic reflections of cognitive events. In: Coherence and Grounding in Discourse, R.S. Tomlin (Ed.). Amsterdam: Benjamins. pp. 455-480.
  27. Tenny, C. & Pustejovsky, J. (eds.) (1991). Events as Grammatical Objects: The Converging Perspectives of Lexical Semantics and Syntax. Stanford, Ca: CSLI Publications.
  28. Novikov, L.А. (2001). Dynamic composition. In: Selected Papers. Vol. II. Esthetic aspects in language. Miscellanea. Moscow: RUDN publ. pp. 409-412. (In Russ.).
  29. Novikov, L.А. (1991). Stylistic of ornamental prose of Andrej Belyi. Мoscow: RUDN publ. (In Russ.).
  30. Demyankov, V.Z. (1983). Event in semantics, pragmatics and interpretation coordinates. Izvestiya АN USSR. Literature and language series, 42 (4), 320-329. (In Russ.).
  31. Labov, W. (1972). Language of the Inner City. Studies in the Black English Vernacular. Philadelphia: University of Pennsylvania Press.
  32. Cienki, A. & Iriskhanova, O. (eds.) (2018). Aspectuality across languages. Event construal in speech and gesture. Amsterdam: John Benjamins.
  33. Boldyrev, N.N. & Vinogradova, S.G. (2016). Composite sentence and its metacognitive modeling. Issues of cognitive linguistics, 3, 69-76. (In Russ.). https://doi.org/10.20916/1812-3228-2016-3-69-76
  34. Baker, P. & Egbert, J. (eds.) (2016). Triangulating methodological approaches in corpuslinguistic research. London: Routledge.
  35. Kiose, M.I. & Efremov, A.A. (2020). HETEROSTAT software. Registered in FIPI 21.09.2020, registration number 2020661240.
  36. Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient estimation of word representations in vector space. In: Proceedings of ICLR Workshop. pp. 430-443. URL: https://www.arxiv-vanity.com/papers/1301.3781/ (accessed: 1.04.2021).
  37. Paradis, C., Löhndorf, S., van de Weijer, J. & Willners, C. (2015). Semantic profiles of antonymic adjectives in discourse. Linguistics, 53 (1), 153-191.
  38. Kiose, M.I. (2021). Linguistic creativity and discourse profiles of English language children’s novels. Russian Journal of Linguistics, 25 (1), 147-164. https://doi.org/10.22363/2687-0088-2021-25-1-147-164

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».