ChatGPT Presence in Academic Writing: Detecting AI-Generated Text in Undergraduate and Graduate Students’ Research Proposal Literature Reviews

Мұқаба

Дәйексөз келтіру

Толық мәтін

Аннотация

With the rapid development of artificial intelligence (AI) tools, concerns emerge regarding students’ unethical uses of these tools to produce AI-generated research texts or their parts, and to present them as original writing. This issue is compounded by the lack of reliable tools for detecting machine-generated text. To address these concerns, the present study aimed to identify distinctive features of ChatGPT-generated research proposal literature reviews ( N = 45) and investigate the presence of these features in English-language literature reviews produced by undergraduate and graduate students from two Russian universities. During the first stage, an analysis of AI-generated texts and a small sample of graduate students’ ( N = 12) literature reviews was conducted. Findings revealed that many features typical of AI-generated texts were clearly present in student texts suggesting that these features may serve as indicators of machine-generated writing. One such feature was the unusually high recurrence of lexical items (predominantly with abstract meanings) in both AI-generated and student texts. Drawing on these insights, a frequency analysis was performed using AntConc to explore the occurrence of these items in AI-generated texts and compile a list of the most frequent items indicative of machine-generated writing (referred to in this study as “ChatGPT language”). At the second stage, findings on the initial indicators were validated, refined, and expanded based on an analysis of a larger sample of 47 English language literature reviews prepared by bachelor and master students. The study identified ten indicators of AI-generated writing pertaining to content, structure, and language use in literature reviews, which are detailed and illustrated in the paper. The study’s findings contribute valuable practical and research insights which may aid all those involved in teaching English language academic writing, reviewing students’ academic texts, and supervising research projects across diverse EAP contexts.

Авторлар туралы

Vera Dugartsyrenova

National Research University Higher School of Economics

Хат алмасуға жауапты Автор.
Email: vdugartsyrenova@hse.ru
ORCID iD: 0000-0002-7476-7461
SPIN-код: 9368-4699

PhD in Pedagogics, is Associate Professor at the School of Foreign Languages

20 Myasnitskaya St, Moscow, 101100, Russian Federation

Әдебиет тізімі

  1. Arzyutova, S.N. (2023). ChatGPT using in English language teaching. Humanitarian Studies. Pedagogy and Psychology, (16), 39–47. (In Russ.) https://doi.org/10.24412/2712-827X-2023-16-39-47
  2. Voronin, A.N., & Palenova, V.V. (2024). The future of psychology: Is effective interaction with ChatGPT possible? RUDN Journal of Psychology and Pedagogics, 21(3), 831–857. (In Russ.) https://doi.org/10.22363/2313-1683-2024-21-3-831-857
  3. Lopanova E.V., & Savina, N.V. (2024). On the problem of using neural networks in students’ educational activities. Education Research Environment, 1(1), 23–40. (In Russ.) https://doi.org/10.23859/3034-1760.2024.33.52.002
  4. Cherkasova, M.N., & Taktarova, A.V. (2024). Artificially generated academic text (а linguopragmatic aspect). Philology. Theory & Practice, 17(7), 2551–2557. (In Russ.) https://doi.org/10.30853/phil20240363
  5. ChatGPT Generative Pre-trained Transformer, C., & Zhavoronkov, A. (2022). Rapamycin in the context of Pascal’s Wager: Generative pre-trained transformer perspective. Oncoscience, 9, 82–84. https://doi.org/10.18632/oncoscience.571
  6. Choi, E.P.H., Lee, J.J., Ho, M.-H., Kwok, J.Y.Y., & Lok, K.Y.W. (2023). Chatting or cheating? The impacts of ChatGPT and other artificial intelligence language models on nurse education. Nurse Education Today, 125, 105796. https://doi.org/10.1016/j.nedt.2023.105796
  7. Dalgıç, A., Yaşar, E., & Demir, M. (2024). ChatGPT and learning outcomes in tourism education: The role of digital literacy and individualized learning. Journal of Hospitality, Leisure, Sport & Tourism Education, 34, 100481. https://doi.org/10.1016/j.jhlste.2024.100481
  8. Deng, J., & Lin, Y. (2023). The benefits and challenges of ChatGPT: An overview. Frontiers in Computing and Intelligent Systems, 2(2), 81–83. https://doi.org/10.54097/fcis.v2i2.4465
  9. Dergaa, I., Chamari, K., Zmijewski, P., & Ben Saad, H. (2023). From human writing to artificial intelligence generated text: examining the prospects and potential threats of ChatGPT in academic writing. Biology of Sport, 40(2), 615–622. https://doi.org/10.5114/biolsport.2023.125623
  10. Else, H. (2023). Abstracts written by ChatGPT fool scientists. Nature, 613(7944), 423–423. https://doi.org/10.1038/d41586-023-00056-7
  11. Gao, C.A., Howard, F.M., Markov, N.S., Dyer, E.S., Ramesh, S., Luo, Y., & Alexander T. Pearson, A.T. (2023). Comparing scientific abstracts generated by ChatGPT to real abstracts with detectors and blinded human reviewers. npj Digital Medicine, 6, 75. https://doi.org/10.1038/s41746-023-00819-6
  12. González, R., Poenaru, D., Woo, R., Trappey, A. F., Carter, S., Darcy, D., Encisco, E., Gulack, B., Miniati, D., Tombash, E., & Huang, E.Y. (2024). ChatGPT: What every pediatric surgeon should know about its potential uses and pitfalls. Journal of Pediatric Surgery, 59(5), 941–947. https://doi.org/10.1016/j.jpedsurg.2024.01.007
  13. Huang, J., & Tan, M. (2023). The role of ChatGPT in scientific communication: Writing better scientific review articles. American journal of cancer research, 13(4), 1148–1154.
  14. Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779. https://doi.org/10.1016/j.patter.2023.100779
  15. Lingard, L. (2023). Writing with ChatGPT: An illustration of its capacity, limitations & implications for academic writers. Perspectives on Medical Education, 12(1), 261–270. https://doi.org/10.5334/pme.1072
  16. Pavlik, J.V. (2023). Collaborating with ChatGPT: Considering the implications of generative artificial intelligence for journalism and media education. Journalism & Mass Communication Educator, 78(1), 84–93. https://doi.org/10.1177/10776958221149577
  17. Rafiq, S., Nawaz, A., & Afzal, A. (2025). The future of AI in academic writing: A case study of undergraduate and postgraduate assessments. Dialogue Social Science Review, 3(1), 1280–1297.
  18. Rahimi, F., & Abadi, A.T.B. (2023). ChatGPT and publication ethics. Archives of Medical Research, 54(3), 272–274. https://doi.org/10.1016/j.arcmed.2023.03.004
  19. Rudolph, J., Tan, S., & Tan, S. (2023). ChatGPT: Bullshit spewer or the end of traditional assessments in higher education? Journal of Applied Learning & Teaching, 6(1), 342–363. https://doi.org/10.37074/jalt.2023.6.1.9
  20. Sallam, M. (2023). ChatGPT utility in healthcare education, research, and practice: Systematic review on the promising perspectives and valid concerns. Healthcare, 11(6), 887. https://doi.org/10.3390/healthcare11060887
  21. Stokel-Walker, C. (2023). ChatGPT listed as author on research papers: Many scientists disapprove. Nature, 613(7945), 620–621. https://doi.org/10.1038/d41586-023-00107-z
  22. Weber-Wulff, D., Anohina-Naumeca, A., Bjelobaba, S., Foltýnek, T., Guerrero-Dib, J., Popoola, O., Šigut, P., & Waddington, L. (2023). Testing of detection tools for AI-generated text. International Journal for Educational Integrity, 19(1), 26. https://doi.org/10.1007/s40979-023-00146-z

Қосымша файлдар

Қосымша файлдар
Әрекет
1. JATS XML
Жүктеу

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».