Artificial Intelligence in the Work of a Psychologist: An Example of Analysis of Verbal Forecasts. Part I

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

The relevance of the research is determined by the need to develop a methodology for using artificial intelligence systems to expand human capabilities, in particular, in relation to solving problems of classifying qualitative data based on the use of Large Language Models (LLM). The purpose of the research described in this 1st article (a 2-part cycle) was to present a methodological approach that implements the use of large language models to classify individual verbal predictions about possible and impossible events in the future. Chinese participants (n = 149 gave 447 predictions) generated descriptions of events using the Wenciuxin (SoJump) system according to the specified three conditions: possible – improbable – impossible. The resulting corpus of open responses in Chinese was analyzed using five modern LLMs: GPT-4, Claude 3.5, Qwen 2.5-72B, Gemini Pro 1.5, and Llama 3.1-70B. After the training procedure, each model was assigned to analyze the responses based on several semantic parameters. An analysis of the responses of five large language models (Claude 3.5 Sonnet, GPT-4, Gemini Pro, LLaMA 3, and Qwen) revealed both significant similarities and noticeable differences in their approaches to analyzing verbal predictions (Chinese study participants). The integrative meta-model synthesized the results into a single heading, which allowed reliability testing within each model and comparative analysis between models. The revealed differences in the analytical approaches implemented by the models indicate that, although these models have common capabilities in identifying the main themes and patterns of semantic units represented in the participants’ verbal forecasts, they demonstrate different strengths in the aspects of text analysis they identify, which significantly expands the capabilities of a research psychologist. The obtained high reliability indicators (consistency between and within the models) indicate the potential of artificial intelligence technologies in applied scientific activities in the field of “mixed” methods.

About the authors

S. A. Kornilov

Moscow State University named after M.V. Lomonosov

Author for correspondence.
Email: sa.kornilov@gmail.com
125009, Moscow, Mokhovaya St., 11, bldg. 9, Russia

T. V. Kornilova

Moscow State University named after M.V. Lomonosov

Email: tvkornilova@mail.ru
125009, Moscow, Mokhovaya St., 11, bldg. 9, Russia

W. Ziyi

Moscow State University named after M.V. Lomonosov

Email: ziyiw480@gmail.com
125009, Moscow, Mokhovaya St., 11, bldg. 9, Russia

References

  1. Vzorin G.D., Ushakov D.V. Obrazy Cheloveka: ot “fasetochnogo videnija” – k Homo Complexus. Obrazovatel’naja politika. 2023. V. 94, № 2. P. 8–19. doi: 10.22394/2078-838X-2023-2-8-18. (In Russian)
  2. Znakov V.V. Teoreticheskie osnovanija psihologii vozmozhnogo. Vestnik Sankt-Peterburgskogo universiteta. Psihologija. 2022. V. 12, № 2. P. 122–131. doi: 10.21638/spbu16.2022.202 (In Russian)
  3. Kornilova T.V. Intellektual’no-lichnostnyj potencial cheloveka v uslovijah neopredelennosti i riska. Sankt-Peterburg: Nestor-Istorija, 2016. (In Russian)
  4. Kornilova T.V., Tihomirov O.K. Prinjatie intellektual’nyh reshenij v dialoge s komp’juterom. Moscow: Izdatel’stvo MGU, 1990. (In Russian)
  5. Bender E.M., Koller A. Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020. Р. 5185–5198. Association for Computational Linguistics.
  6. Bran A.M., Cox S., Schilter O. et al. Augmenting large language models with chemistry tools. Nature Machine Intelligence. 2024. V. 6(5). P. 525–535. doi: 10.1038/s42256-024-00832-8
  7. Brown T., Mann B., Ryder N. et al. Language models are few-shot learners. In Advances in Neural Information Processing Systems. 2020. V. 33. Р. 1877–1901.
  8. Buhr C.R., Smith H., Huppertz T. et al. ChatGPT Versus Consultants: Blinded Evaluation on Answering Otorhinolaryngology Case–Based Questions. Journal of Medical Internet Research Medical Education. 2023. V. 9. P. e49183. doi: 10.2196/491839.
  9. Engelbart D.C. Augmenting Human Intellect: A conceptual framework. Summary Report AFOSR-3233. Stanford Research Institute, 1962.
  10. Hutchins E. Cognition in the Wild. MIT Press, 1995.
  11. Krippendorff K. Content analysis: An introduction to its methodology (4th ed.). Sage Publications, 2018.
  12. Liu S., Fang Y. Use Large Language Models for Named Entity Disambiguation in Academic Knowledge Graphs. In Proceedings of the 2023 3rd International Conference on Education, Information Management and Service Science (EIMSS 2023). New York: Atlantis Press, 2023. Р. 681–691.
  13. Liu M.D., Salganik M.J. Successes and Struggles with Computational Reproducibility: Lessons from the Fragile Families Challenge. Successes and Struggles with Computational Reproducibility. Technical Report. 2019. OSF.io. https://osf.io/preprints/socarxiv/ g3pdb/.
  14. Miles M.B., Huberman A.M., Saldaña J. Qualitative data analysis: A methods sourcebook (3rd ed.). Sage Publications, 2014.
  15. Nasution A.H., Onan A. ChatGPT Label: Comparing the Quality of Human-Generated and LLM-Generated Annotations in Low-Resource Language NLP Tasks. IEEE Access. 2024. V. 12. Р. 71876–71900.
  16. Newell A., Simon H.A. Human problem solving. 1972. Prentice-Hall.
  17. Ouyang L., Wu J., Jiang X. et al. Training language models to follow instructions with human feedback. 2022. arXiv preprint arXiv:2203.02155.
  18. Saldaña J. The Сoding Manual for Qualitative Researchers (3rd ed.). 2016. Sage Publications.
  19. Wong M.-F. EuclidNet: Deep Visual Reasoning for Constructible Problems in Geometry. Advances in Artificial Intelligence and Machine Learning; 2023. Research 3 (1). P. 839–852.
  20. Zhou R., Chen L.Y.K. Is LLM a Reliable Reviewer? A Comprehensive Evaluation of LLM on Automatic Paper Reviewing Tasks. In Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024). 2024. Р. 9340–9351.

Supplementary files

Supplementary Files
Action
1. JATS XML

Copyright (c) 2025 Russian Academy of Sciences

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».