Multimodal Communicative Moves in Expositive Dialogue: Common and Novel Topic Elaboration

Capa

Citar

Texto integral

Resumo

The study explores the distribution and structure of multimodal clusters presenting a series of communicative moves in expositive dialogues: Request, Elaboration, and Response. We hypothesize that multimodal clustering of moves will be predetermined by the use of either common (for both participants) or novel topic elaboration as a nucleus move within the cluster. To proceed, we conduct a multimodal experiment which recorded the participants’ gesture with motion capture system (Perception Neuron Motion Capture) and gaze with eye-tracking glasses (Tobii Pro Glasses 2), as well as their speech and overall multimodal behavior with a stationary camera. The study reveals significant differences in the use of both face-oriented gaze and contactestablishing gesture as modulated by Request and Response moves within common or novel topic elaboration clusters; however, face-oriented gaze use manifests both higher frequency and diversity. Mutual face-oriented gaze prevails at the Request move preceding common topic elaboration, whereas elaborating a novel topic is found to produce a more involved gaze reaction of the listener during the Response moves. Additionally, simultaneous (by both participants) verbal move is more typical of common topic elaboration. The results evidence that social interaction and communication in expositive dialogue is processed multimodally and predetermines the role of gaze, gesture and verbal moves in communicative moves clusters.

Sobre autores

Maria Kiose

Moscow State Linguistic University; Institute of Linguistics RAS

Autor responsável pela correspondência
Email: maria_kiose@mail.ru
ORCID ID: 0000-0001-7215-0604
Scopus Author ID: 56642747500
Researcher ID: AAB-7989-2019

D.Sc. in Philology, Associate Professor, Leading Researcher of the Centre for Socio-Cognitive Studies of Moscow State Linguistic University; Leading Researcher; Laboratory for multichannel communication Institute of Linguistics, RAS

38, Ostozhenka, Moscow, Russian Federation, 119034; 1, B. Kislovsky, Moscow, Russian Federation, 125009

Anna Leonteva

Moscow State Linguistic University; Institute of Linguistics RAS

Email: lentevanja27@gmail.com
PhD in Linguistics, Researcher at the Center for Socio-Cognitive Discourse Studies (SCoDis), Moscow State Linguistic University ; Junior Researcher; Laboratory for multichannel communication Institute of Linguistics, RAS 38, Ostozhenka, Moscow, Russian Federation, 119034; 1, B. Kislovsky, Moscow, Russian Federation, 125009

Olga Agafonova

Moscow State Linguistic University; Institute of Linguistics RAS

Email: olga.agafonova92@gmail.com
ORCID ID: 0000-0002-2184-163X
Código SPIN: 3516-1947

Junior Researcher at the Center for Socio-Cognitive Discourse Studies (SCoDis), Moscow State Linguistic University; Junior Researcher, Laboratory for multichannel communication Institute of Linguistics, RAS

38, Ostozhenka, Moscow, Russian Federation, 119034; 1, B. Kislovsky, Moscow, Russian Federation, 125009

Andrey Petrov

Moscow State Linguistic University; Institute of Linguistics RAS

Email: petrov.drew@yandex.ru
ORCID ID: 0000-0003-0368-8800
Código SPIN: 7290-4450

Researcher at the Center for Socio-cognitive Discourse Studies (SCoDis), Moscow State Linguistic University ; Researcher, Laboratory for multichannel communication Institute of Linguistics, RAS

38, Ostozhenka, Moscow, Russian Federation, 119034; 1, B. Kislovsky, Moscow, Russian Federation, 125009

Bibliografia

  1. Carlson, L. (1983). Dialogue Games. An Approach to Discourse Analysis. Dordrecht: D. Reidel Publ.
  2. Baranov, A.N. & Kreydlin, G.E. (1992). Illocutionary Forcing in the Structure of Dialogue. Topics in the Study of Language, 2, 84-99. (In Russ.).
  3. Shvedova, N.Yu. (2003). Essays on the syntax of Russian spoken speech. Moscow: Azbukovnik. Шведова Н.Ю. Очерки по синтаксису русской разговорной речи. М.: Азбуковник, 2003.
  4. Kendon, A. (1995). Gestures as illocutionary and discourse structure markers in Southern Italian conversation. Journal of Pragmatics, 23(3), 247-279.
  5. Brône, G., Feyaerts, K. & Oben, B. (2013). Multimodal turn-taking in dialogue: on the interplay of eye gaze, speech and gesture. In: Proceedings of AFLiCo5: Empirical approaches to multi-modality and to language variation. Lille. pp. 21-22.
  6. Kendrick, K.H. & Holler, J. (2017). Gaze direction signals response preference in conversation. Research on Language and Social Interaction, 50, 12-32.
  7. Korotaev, N.A. (2023). Collaborative constructions in Russian conversations: A multichannel perspective. In: Computational Linguistics and Intellectual Technologies. Proceedings from the Annual International Conference “Dialogue”, 22. Moscow. pp. 250-258. (In Russ.).
  8. Haxby, J.V., Hoffman, E.A. & Gobbini, M.I. (2000). The distributed human neural system for face perception. Trends in Cognitive Sciences, 4, 223-233.
  9. Senju, A. & Johnson, M.H. (2009). The eye contact effect: mechanisms and development. Trends in Cognitive Sciences, 13, 127-134.
  10. Burgoon, J.K., Guerrero, L.K. & Floyd, K. (2010). Nonverbal Communication. London: Routledge.
  11. Givón, T. (1987). Beyond foreground and background. In: R.S. Tomlin (Ed.) Coherence and grounding in discourse. Amsterdam: Benjamins. pp. 175-188.
  12. Chafe, W. (1994). Discourse, Consciousness, and Time. The Flow and Displacement of Conscious Experience in Speaking and Writing. Chicago: The University of Chicago Press.
  13. Longacre, R. (1983). The grammar of discourse. New York: Plenum.
  14. Duncan, S. (1974). On the structure of speaker-auditor interaction during speaking turns. Language and Society, 3, 161-180.
  15. Mann, W.C. & Thompson, S.A. (1987). Rhetorical Structure Theory. A Theory of text Organization. California: University of Southern California.
  16. Kibrik, A.A. & Podlesskaya, V.I. (2009). Night Dream Stories. A corpus study of spoken Russian discourse. Moscow: Languages of Slavic Culture.
  17. Maschler, Y. & Schiffrin, D. (2015). Discourse Markers: Language, Meaning, and Context. In: The Handbook of Discourse Analysis. Second Edition. Vol. I. London: Bloomsbury Publishing Plc. pp. 189-221.
  18. Sharonov, I.A. (2016). Discursive words and communicatives. In: Computational Linguistics and Intellectual Technologies. Papers from the Annual International Conference “Dialogue”, 15. Moscow. pp. 605-615. (In Russ.).
  19. Sherstinova, T.Yu. (2016). The Structure of everyday dialogue as the sequence of speech acts. In: Computational Linguistics and Intellectual Technologies. Proceedings from the Annual International Conference “Dialogue”, 15. Moscow. pp. 616-631.
  20. Bogdanova-Beglarian, N., Sherstinova, T., Blinova, O. & Martynenko, G. (2017). Linguistic Features and Sociolinguistic Variability in Everyday Spoken Russian. In: Karpov A., Potapova R., Mporas I. (eds) Speech and Computer. SPECOM 2017. Lecture Notes in Computer Science. Vol. 10458. Springer: Cham. pp. 503-511.
  21. Troshchenkova, E.V. & Blinova, O.V. (2020). Pragmatic markers in the aspect of communicative alignment. Science Journal of Volgograd State University. Linguistics, 19(3), 49-58.
  22. Nippold, M.A. & Scott, C.M. (eds.). (2010). Expository discourse in children, adolescents, and adults: Development and disorders. New York: Psychology Press.
  23. Lundine, J.P. (2016). The Language of Learning: Expository Discourse and the Influences of Cognition and Language [dissertation]. Columbus: The Ohio State University publ.
  24. Iriskhanova, O.K., Kiose, M.I., Leonteva, A.V. & Agafonova, O.V. (2023). Vague reference in expository discourse: multimodal regularities of speech and gesture. In: Computational Linguistics and Intellectual Technologies. Proceedings from the Annual International Conference “Dialogue”, 22. Moscow. pp. 172-180.
  25. Schiffrin, D. (1987). Discourse Markers. Studies in Interactional Sociolinguistics. Vol. 5. Cambridge: Cambridge University Press.
  26. Blakemore, D. (2002). Relevance and Linguistic Meaning: The Semantics and Pragmatics of Discourse Markers. Cambridge: Cambridge University Press.
  27. Fraser, B. (2015). The combining of Discourse Markers. A beginning. Journal of Pragmatics, 86, 48-53.
  28. Putina, O.N. (2021). Functioning of discourse markers in a dialogue unity RequestResponse (featuring Russian and English languages) [dissertation]. Perm. (In Russ.).
  29. Bulygina, Т.V. & Shmelev, A.D. (1982). Dialogical functions of several types of questions. The Bulletin of the Russian Academy of Sciences. Studies in Literature and Language, 41(4), 314-326. (In Russ.).
  30. Curioni, A., Knoblich, G.K., Sebanz, N. & Sacheli, L.M. (2020). The engaging nature of interactive gestures. PLoS ONE, 15(4). https://doi. org/10.1371/journal.pone.0232128
  31. Bavelas, J.B., Chovil, N., Coates, L. & Roe, L. (1995). Gestures Specialized for Dialogue. Personality and Social Psychology Bulletin, 21(4), 394-405. https://doi. org/10.1177/0146167295214010
  32. Alibali, M.W., Spencer, R., Knox, L. & Kita, S. (2011). Spontaneous gestures influence strategy choices in problem solving. Psychological Science, 22, 1138-1144.
  33. Gukson, T., Goldin-Meadow, S., Newcombe, N. & Shipley, T. (2013). Individual differences in mental rotation: What does gesture tell us? Cognitive Processing, 14, 153-162.
  34. Kang, S., Tversky, B. & Black, J.B. (2014). Gesture and speech in explanations to experts and novices. Spatial Cognition and Computation, 15, 1-26.
  35. Tam, G. & Tellier, M. (2021). Gesture Helps Second and Foreign Language Learning and Teaching. In: Morgenstern, A. & Goldin-Meadow, S. (eds). Gesture in Language: Development Across the Lifespan. Berlin: Mouton de Gruyter. pp. 336-363.
  36. Beilock, S.L. & Goldin-Meadow, S. (2010). Gesture changes thought by grounding it in action. Psychological Science, 21, 1605-1611.
  37. Yasui, E. (2013). Collaborative idea construction: Repetition of gestures and talk in joint brainstorming. Journal of Pragmatics, 46(1), 157-172.
  38. Rodero, E. (2022). Effectiveness, Attractiveness, and Emotional Response to Voice Pitch and Hand Gestures in Public Speaking. Frontiers in Communication, 7, 869084. https:// doi: 10.3389/fcomm.2022.869084
  39. George, N. & Conty, L. (2008). Facing the gaze of others. Neurophysiologie Clinique, 38(3), 197-207.
  40. Brône, G., Oben, B., Jehoul, A., Vranjes, J. & Feyaerts, K. (2017). Eye gaze and viewpoint in multimodal interaction management. Cognitive Linguistics, 28(3), 449-483.
  41. Richardson, D.C. & Dale, R. (2005). Looking to understand: The coupling between speakers’ and listeners’ eye movements and its relationship to discourse comprehension. Cognitive Science, 29(6), 1045-1060.
  42. Clark, H.H. & Krych, M.A. (2004). Speaking while monitoring addressees for understanding. Journal of Memory and Language, 50(1), 62-81.
  43. Amati, F. & Brennan, S.E. (2018). Eye gaze as a cue for recognizing intention and coordinating joint action. In: Brône, G. & Oben, B. (eds.), Eye-tracking in Interaction: Studies on the role of eye gaze in dialogue, 21-46. Amsterdam / Philadelphia: John Benjamins Publ.
  44. Rossano, F. (2012). Gaze in conversation. In: J. Sidnell & T. Stivers (eds.) The handbook of conversation analysis. Malden, MA: Wiley-Blackwell. pp. 308-329.
  45. Goodwin, C. (1981). Conversational organization: Interaction between speakers and hearers. New York: Academic Press.
  46. Beattie, G.W. (1979). Planning units in spontaneous speech: Some evidence from hesitations in speech and speaker gaze direction in conversation. Linguistics, 17, 61-78.

Arquivos suplementares

Arquivos suplementares
Ação
1. JATS XML
Baixar

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».