On the question of the specifics of the formulation and use of the Turing test for the ChatGPT

Cover Page

Cite item

Full Text

Abstract

The subject of the research in this article are the features and regularities of the functioning of systems based on ChatGPT technologies, the knowledge of which makes it possible to formulate appropriate modifications of the Turing test, as well as the features and regularities of the formulation and use of the Turing test for systems based on ChatGPT technologies. The purpose of the study is to identify the features and patterns of functioning of systems based on the technologies of ChatGPT, as well as the features and patterns of formulation and use of the Turing test for systems based on the technologies of Chat GPT. As research methods, the method of social experiment was used, when during the study of a system based on Chat GPT technologies, certain questions were asked, answers were received, the analysis of which allowed us to conclude about the features of the "thinking" of systems based on ChatGPT technologies. In the course of the study, the following was found. Unlike human thinking, which is based on certain facts, the "thinking" of systems based on ChatGPT technologies, in some cases is not based on facts that take place in reality, often the user is given deliberately false information about facts and circumstances that take place in reality. In contrast to human thinking, which is usually systemic in nature, the "thinking" of systems based on ChatGPT technologies is disorderly and fragmentary. Systems based on ChatGPT technologies cannot admit their mistakes, and attempts to force systems based on ChatGPT technologies to critically comprehend their answers lead to a malfunction of these systems. The article also provides a Turing test developed by the author for ChatGPT, which made it possible to identify the features of the "thinking" of systems based on ChatGPT technologies.

References

  1. Алексеев А. Ю. Компьютерные средства комплексного теста Тьюринга // Искусственный интеллект в решении актуальных социальных и экономических проблем XXI века: сборник статей по материалам Восьмой всероссийской научно-практической конференции с международным участием, Пермь, 25–26 октября 2022 года. – Пермь: Пермский государственный национальный исследовательский университет, 2022. – С. 23-28.
  2. Горбачева А. Г. Тест Тьюринга: диагностика человеческого в интерфейсе человек-машина // Человек.RU. – 2015. г. – 10. – С. 99-106.
  3. Данилина, Е. В. Селюкова Г. П. Алан Тьюринг и искусственный интелект // Актуальные вопросы науки и хозяйства: новые вызовы и решения: Сборник материалов LIV Студенческой научно-практической конференции, посвящённой 75-летию Победы в Великой Отечественной войне, Тюмень, 19–20 марта 2020 года. Тюмень: Государственный аграрный университет Северного Зауралья, 2020. – Т. Часть 2. – С. 42-345.
  4. Ефимов А. Р. Посттьюринговая методология: разрушение стены на пути к общему искусственному интеллекту // Интеллект. Инновации. Инвестиции. – 2020 г. – 2. – С. 74-80.
  5. Ефимова С. А. Развитие искусственного интеллекта // Цифровая наука. 2020 г. 6. С. 49-58.
  6. Жадан. А Как я написал диплом с помощью ChatGPT и оказался в центре спора о нейросетях в образовании // https://journal-tinkoff-ru. 22 февраль 2023 г. 9 Октябрь 2023 г. https://journal-tinkoff-ru.turbopages.org/journal.tinkoff.ru/s/neuro-diploma/?parent_reqid=1696780968504726-1216878690899660191200206-production-app-host-sas-turbo-27&recommendation=true.
  7. Малютин Н. К. "Имитация жизни": искусственный интеллект и перспективы человеческого // Формирование гуманитарной среды в вузе: инновационные образовательные технологии. Компетентностный подход. 2018 г. Т. 1. С. 191-196.
  8. Овчинникова Г. В Семантическая асимметрия французских юридических терминов и «Ложные друзья» переводчика // Вестник МПА ВПА (сборник научных трудов). 2023 г. 3. С. 206-208.
  9. Сальников, И. С. Сальников Р.С. Роботооператоры и тест Тьюринга [Дневник] // Системы и средства искусственного интеллекта. 2013 г. Т. 1. С. 181-184.
  10. Ставровский И. К. Может ли машина мыслить: не-бихевиористский подход [Конференция] // Философия в XXI веке: социально-философские проблемы современной науки и техники : Материалы I Международной научно-практической конференции, Москва, Зеленоград-Красноярск, 12 мая 2023 года. – Красноярск: Красноярский государственный аграрный университет, 2023. С. 119-122.
  11. Сурков А. В. Искусственный интеллект и сознание: состояние исследований и перспективы // Практическая философия: состояние и перспективы : Сборник материалов III научной конференции, Симферополь, 17–18 мая 2020 года / ред. О.А. Габриелян.-Симферополь: Общество с ограниченной ответственностью «Издательство Типография «Ариал», 2020. С. 135-137.
  12. Флоренсов А. Н. Применение критерия Тьюринга для исследования динамики искусственного интеллекта [Дневник] // Омский научный вестник. 2018 г. 1: Т. 157. С. 91-94.
  13. Alan Turing «Computing Machinery and Intelligence // Mind. 1950 г. no. 236 : Т. vol. LIX. P. 433-460.
  14. Ausat, A. M. A., Massang, B., Efendi, M., Nofirman, N., & Riady, Y. Can chat GPT replace the role of the teacher in the classroom: A fundamental analysis. // Journal on Education.-2023 г. P. 16100-16106.
  15. Baskara FX Risang. The Promises and Pitfalls of Using Chat GPT for Self-Determined Learning in Higher Education: An Argumentative Review // Prosiding Seminar Nasional Fakultas Tarbiyah dan Ilmu Keguruan IAIM Sinja. 2023 г. Т. Т. 2. P. 95-101.
  16. Bhattacharya, K., Bhattacharya, A. S., Bhattacharya, N., Yagnik, V. D., Garg, P., Kumar, S ChatGPT in surgical practice – a New Kid on the Block // Indian Journal of Surgery. 2023. г. 4. P. 1-25.
  17. Elkins K., Chun J. Can GPT-3 pass a writer’s Turing test? // Journal of Cultural Analytics. 2020 г. 2: Т. 5.-P. 1-16.
  18. Huallpa J. J. Exploring the ethical considerations of using Chat GPT in university education. // Periodicals of Engineering and Natural Sciences. 2023 г. 4: Т. 11. P. 105-115.
  19. Kenneth J. Arrow Social Choice and Individual Values-Yale: Yale University Press, 1963.
  20. Khan, A., Khan, S., Zia-Ul-Islam, S., Khan, M Communication Skills of a Teacher and Its Role in the Development of the Students' Academic Success // Journal of Education and Practice..-2017 г. 1: Т. 8. P. 18-21.
  21. Lelepary, H. L., Rachmawati, R., Zani, B. N., & Maharjan, K. GPT Chat: Opportunities and Challenges in the Learning Process of Arabic Language in Higher Education. // JILTECH: Journal International of Lingua & Technology. 2023 г. 1: Т. 2. P. 11-23.
  22. Lund B. D., Wang T. Chatting about ChatGPT: how may AI and GPT impact academia and libraries? // Library Hi Tech News. 2023. г. 3: Т. 40. P. 26-29.
  23. Maboloc. C. R. Chat GPT: the need for an ethical framework to regulate its use in education // Journal of Public Health. 2023 г. P. fdad125.
  24. Nov, Oded, Nina Singh, and Devin Mann. Putting ChatGPT’s Medical Advice to the (Turing) Test: Survey Study [Дневник] // JMIR Medical Education..-2023 г. 1: Т. Т. 9. P. 39-46.
  25. Saariluoma P., Karvonen A Theory languages in designing artificial intelligence [Дневник] // AI & SOCIETY. 2023 г. P. 1-10.
  26. Tajik E., Tajik F. A. A comprehensive Examination of the potential application of Chat GPT in Higher Education Institutions // TechRxiv. Preprint. 2023 г. P. 1-10.
  27. Wang. Y. On abstract intelligence: Toward a unifying theory of natural, artificial, machinable, and computational intelligence // International Journal of Software Science and Computational Intelligence (IJSSCI). 2009 г. 1: Т. 1.-P. 1-17.
  28. Yu. H Reflection on whether Chat GPT should be banned by academia from the perspective of education and teaching] // Frontiers in Psychology. 2023 г. Т. 14. P. 1-12.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».