Multimodal Media Communication Texts: A Research Tool for Analyzing Social Digital Media Video Posts


Cite item

Full Text

Abstract

Multimodal texts are polycode semiotically complex media communication texts, including videos, requiring special research tools. Previously, multimodal texts were studied mainly based on qualitative methodology and methods hat allow for a description of media phenomena. But the study of patterns is not included in the scope of qualitative methodology. This article analyzes the principles on which a new research tool is based, characterizes the role of hermeneutics in interpreting a multimodal text, and explains how mixed methods research can be used to analyze multimodal texts. Mixed methodology involves the integration of qualitative and quantitative approaches, which allows one to move from descriptive analysis to explanatory analysis. The authors have created a classifier of social media video posts using TikTok as an example, with the help of which you can carry out your own systematization and analyze videos as part of your own research. It is emphasized that the use of a classifier in coding video materials allows one to enter the field of mixed methodology and determine patterns in the representation of video content, which is not possible when relying only on qualitative methods.

About the authors

Nadezhda K. Radina

HSE University; Lobachevsky State University

Author for correspondence.
Email: rasv@yandex.ru
ORCID iD: 0000-0001-8336-1044
SPIN-code: 6184-6314

grand PhD in Political Sciences, Professor of the Department of Theory and History of International Relations, Institute of International Relations and World History, Lobachevsky State University; Senior Researcher, Laboratory of Theory and Practice of Decision-Making Support Systems, HSE University

2 Ulyanova St, Nizhny Novgorod, 603005, Russian Federation; 25/12 B. Pecherskaya St, Nizhny Novgorod, 603155, Russian Federation

References

  1. Ali-zade, A.A. (2020). Mixed methods methodology as a new research paradigm in social sciences and humanities. Social sciences and humanities. Domestic and foreign literature. Series 8: Science studies. INION RAN’s Journals of Abstracts Collection, (4), 30–44. (In Russ.)
  2. Astashkin, A.G., & Bresler, M.G. (2018). Social media in the structure of modern network communication. Scientific notes of Kazan State University, 160(4), 814–822. (In Russ.)
  3. Bengtsson, S., & Johansson, S. (2021). A phenomenology of news: Understanding news in digital culture. Journalism, 22(11), 2873–2889. https://doi.org/10.1177/1464884919901194
  4. Dugalich, N.M. (2018). Realisation of Political Cartoons in Creolized Texts on the Material of the Arabic and French Languages [Doctoral dissertation]. Moscow. (In Russ.)
  5. Guinaudeau, B., Votta, F., & Munger, K. (2022). Fifteen Seconds of Fame: TikTok and the Supply Side of Social Video. Computational communication research, 4(2), 463–485. https://doi.org/10.5117/CCR2022.2.004.GUIN
  6. Henrickson, L., & Meroño-Peñuela, A. (2022). The Hermeneutics of Computer-Gene­rated Texts. Configurations, 30(2), 115–139. https://doi.org/10.1353/con.2022.0008
  7. Hradziushka, A.A. (2023). Platform journalism: Specifics and trends. Journal of the Belarusian State University. Journalism, (1), 4–9. (In Russ.)
  8. Kress, G. (2009). Multimodality: A Social Semiotic Approach to Contemporary Communication. London: Routledge.
  9. Lynch, M. (2017). Media of Cooperation. Ethnomethodology, GPS, and Tacit Knowledge. Media in Action. Interdisciplinary Journal on Cooperative Media, (1), 149–154. http://dx.doi.org/10.25969/mediarep/16241
  10. Muchitsch, V. (2024). Sad Girls on TikTok: Musical and Multimodal Participatory Practi­ces as Affective Negotiations of Ordinary Feelings and Knowledges in Online Music Cultures. Popular Music and Society, 47(2), 231–247. https://doi.org/10.1080/03007766.2024.2320589
  11. Polyakov, M.L. (2023). Interaction of digital platforms and states: events and phenomena 2019–2022. Bulletin of Voronezh State University. Philology. Journalism Series, (1), 116–120. (In Russ.)
  12. Radina, N.K. (2021) Interdisciplinary classifier for quantitative media research based on political cartoons. Mediascope, (3). (In Russ.) https://doi.org/10.30547/mediascope.3.2021.8
  13. Ryzhkova, M.V., Eremin V.V., & Bauer V.P. (2021). Consumer resistance on the digital platform: deployment and overcoming. Information Society, (6), 24–42. (In Russ.) https://doi.org/10.52605/16059921_2021_06_24
  14. Strauss, A., & Corbin, J. (2001). Fundamentals of Qualitative Research: Grounded Theory, Procedures, and Techniques. Moscow: Editorial URSS Publ. (In Russ.)
  15. Wibawa, D. (2024). Ulama and Terrorism in Media: Phenomenology Research about the Perceptions of Ulama to Terrorism News in Indonesia Mass Media. Asian Journal of Communication, 34(3), 353–366. http://x.doi.org/10.1080/01292986.2023.2295852

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».