Event Construal in Text and Image. Gaze Behavior and Discourse Interpretations

Мұқаба

Дәйексөз келтіру

Толық мәтін

Аннотация

The study explores the combinatorial prevalence effect in Event construal techniques in text and image components of heterosemiotic book pages. We hypothesize that their activity and contingency affect their interpretation, here tested in the oculographic experiment and discourse responses check. To proceed, we develop the parametric system applied for 100 book pages annotation and further statistical analysis. This study reveals the relevance of Truth, Type, Relation, Manageability, Completeness, Instantness, Achievement, Evaluation, Space location, Time location, Repeatability, Cause and effect parameter groups in Event construal in text and image as well as their resonance in concomitant activity. To select the samples serving as stimuli in the oculographic experiment, we apply Principal component analysis, which assigns Uniqueness indices to the samples, here ranging from 0.111 to 0.675, and provides diversity of Event construal techniques to be tested in terms of their interpretation. The results evidence that participants applied different text and image attention distribution patterns with longer fixations on text component in case the image displayed physical contact, static and desirable events. When the creation or destruction events, events-achievement, events located in time or causal events were not present in the text, the participants were more likely to address the image, not the text. Parameter activity also affects the choice of Descriptive, Narrative and Speculative discourse responses, with a restricted number of parameters stimulating Narrative discourse, with a restricted in text and vast in image number of parameters stimulating Speculative discourse, which evidences in favor of their more predetermined and predicted character. Hopefully, the results may be used to predict the interpretation effects and to further cognitive linguistic and semiotic research coordination.

Авторлар туралы

Maria Kiose

Moscow State Linguistic University

Хат алмасуға жауапты Автор.
Email: maria_kiose@mail.ru
ORCID iD: 0000-0001-7215-0604

Doctor habil. of Philology, Associate Professor, Leading Researcher of the Centre for Socio-Cognitive Studies

119034, Russian Federation, Moscow, Ostozhenka, 38

Әдебиет тізімі

  1. Itti, L. (2005). Quantifying the contribution of low-level saliency to human eye movements in dynamic scenes. Visual Cognition, 12 (6), 1093-1123.
  2. Komogortsev, O. & Khan, J.I. (2006). Perceptual attention focus prediction for multiple viewers in case of multimedia perceptual. In: ETRA 2006 - Proceedings of the Eye Tracking Research and Application Symposium, Räihä K-J., Duchowski A.T (eds.). California: San Diego. pp. 101-108.
  3. Wilming, N., Onat, S., Ossandón, J.P., Açık, A., Kietzmann, T.C., Kaspar, K., Gameiro, R.R., Vormberg, A. & König, P. (2016). An extensive dataset of eye movements during viewing of complex images. Scientific Data, 4. URL: https://www.nature.com/articles/sdata2016126. pdf (accessed: 12.05.2020).
  4. Lautenbacher, O.P. (2012). From still pictures to moving pictures: eye-tracking text and image. In: Eye Tracking in Audiovisual Translation, E. Perego (Ed.). Roma: Aracne Editrice. pp. 133-154.
  5. Antipov, V.N. & Zhegallo, A.V. (2017). Three-dimensional perception of flat images in computerized environment. Experimental Psychology, 7(3), 97-111.
  6. Kaspar, K. & König, P. (2011). Viewing behavior and the impact of low-level image properties across repeated presentations of complex scenes. Journal of Vision, 11, 1-29.
  7. Kirtley, C. (2018). How images draw the eye: an eye-tracking study of composition. Empirical Studies of the Arts, 36 (1), 41-70.
  8. Steptoe, W., Oyekoya, O. & Steed, A. (2010). Eyelid kinematics for virtual characters. Journal of Visualization and Computer Animation, 21 (3), 161-171.
  9. Voroshiliva, М.B. & Zlokazov, К.V. (2017). Psychological methods of Creole texts study. Political Science, 2, 126-137. (In Russ.).
  10. Baldry, A.P. & Thibault, P.J. (2006). Multimodal Transcription and Text. London: Equinox.
  11. Giora, R. (2003). On our mind: Salience, context, and figurative language. Oxford: Oxford University Press.
  12. Gibbs, R. & Tendal, M. (2006). Cognitive effort and effects in metaphor comprehension: Relevance theory and psycholinguistics. Mind and Language, 21(3), 379-403.
  13. Schmid, H-J. (ed.) (2016). Entrenchment and the psychology of language learning. How we reorganize and adapt linguistic knowledge. Washington DC: Mouton de Gruyter.
  14. Merleau-Ponty, M. (2005). Phenomenology of perception, C. Smith (transl.). London: Routledge.
  15. Clark, A. (2006). Language, embodiment and the cognitive niche. Trends Cogn. Sci., 10, 370-374.
  16. Danziger, E. & Rumsey, A. (eds.) (2013). Intersubjectivity across Languages and Cultures. Special issue of Language and Communication. Amsterdam: Elsevier,
  17. Sinha, C. (2015). Language and other artifacts: Socio-cultural dynamics of niche construction. Frontiers in Psychology, 6. URL: https://www.frontiersin.org/articles/10.3389/fpsyg.2015.01601/full (accessed: 12.01.2021).
  18. Pustejovsky, J. (1995). The Generative Lexicon. Cambridge, Massachusetts: MIT Press.
  19. Talmy, L. (1996). Fictive motion in language and caption. In: Language and Space, P. Bloom, M. Peterson, L. Nadel, and M. Garrett (eds.). Cambridge, MA: MIT Press. pp. 211-276.
  20. Jackendoff, R. (2002). Foundations of language: Brain, meaning, grammar, evolution. Oxford: Oxford University Press.
  21. Bergen, B. (2015). Embodiment. In: Handbook of Cognitive Linguistics, E. Dabrowska, D. Divjak (eds.). BerlIn: Walter de Gruyter. pp. 10-30.
  22. Vendler, Z. (1967). Facts and Events. In: Linguistics in Philosophy. Ithaca, NY. pp. 12-146.
  23. Аrutunova, N.D. (1988). Types of linguistic meanings: Assessment, event, fact. Мoscow: Nauka. (In Russ.). Арутюнова Н.Д. Типы языковых значений. Оценка, событие, факт. М.: Наука, 1988.
  24. Paducheva, Е.V. (1985). Utterance and its coreference with reality. Мoscow: Nauka. (In Russ.) Падучева Е.В. Высказывание и его соотнесенность с действительностью (Референциальные аспекты семантики местоимений). М.: Наука, 1985.
  25. van Dijk, T.A. (1981). Studies in the pragmatics of discourse. The Hague-BerlIn: Mouton.
  26. Tomlin, R.S. (1987). Linguistic reflections of cognitive events. In: Coherence and Grounding in Discourse, R.S. Tomlin (Ed.). Amsterdam: Benjamins. pp. 455-480.
  27. Tenny, C. & Pustejovsky, J. (eds.) (1991). Events as Grammatical Objects: The Converging Perspectives of Lexical Semantics and Syntax. Stanford, Ca: CSLI Publications.
  28. Novikov, L.А. (2001). Dynamic composition. In: Selected Papers. Vol. II. Esthetic aspects in language. Miscellanea. Moscow: RUDN publ. pp. 409-412. (In Russ.).
  29. Novikov, L.А. (1991). Stylistic of ornamental prose of Andrej Belyi. Мoscow: RUDN publ. (In Russ.).
  30. Demyankov, V.Z. (1983). Event in semantics, pragmatics and interpretation coordinates. Izvestiya АN USSR. Literature and language series, 42 (4), 320-329. (In Russ.).
  31. Labov, W. (1972). Language of the Inner City. Studies in the Black English Vernacular. Philadelphia: University of Pennsylvania Press.
  32. Cienki, A. & Iriskhanova, O. (eds.) (2018). Aspectuality across languages. Event construal in speech and gesture. Amsterdam: John Benjamins.
  33. Boldyrev, N.N. & Vinogradova, S.G. (2016). Composite sentence and its metacognitive modeling. Issues of cognitive linguistics, 3, 69-76. (In Russ.). https://doi.org/10.20916/1812-3228-2016-3-69-76
  34. Baker, P. & Egbert, J. (eds.) (2016). Triangulating methodological approaches in corpuslinguistic research. London: Routledge.
  35. Kiose, M.I. & Efremov, A.A. (2020). HETEROSTAT software. Registered in FIPI 21.09.2020, registration number 2020661240.
  36. Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient estimation of word representations in vector space. In: Proceedings of ICLR Workshop. pp. 430-443. URL: https://www.arxiv-vanity.com/papers/1301.3781/ (accessed: 1.04.2021).
  37. Paradis, C., Löhndorf, S., van de Weijer, J. & Willners, C. (2015). Semantic profiles of antonymic adjectives in discourse. Linguistics, 53 (1), 153-191.
  38. Kiose, M.I. (2021). Linguistic creativity and discourse profiles of English language children’s novels. Russian Journal of Linguistics, 25 (1), 147-164. https://doi.org/10.22363/2687-0088-2021-25-1-147-164

Қосымша файлдар

Қосымша файлдар
Әрекет
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».