Использование системы автоматизированной оценки Criterion в обучении студентов языковых специальностей написанию эссе на иностранном языке: результаты экспериментальной проверки

Обложка

Цитировать

Полный текст

Аннотация

Актуальность. Современные инструменты искусственного интеллекта (ИИ) способны взять на себя некоторые функции преподавателя иностранного языка, тем самым оптимизировать процесс обучения. Одной из таких является функция преподавателя по проверке и оценке письменных работ (эссе) студентов. В научной литературе имеются работы, описывающие поэтапные методики обучения студентов написанию эссе на иностранном языке, включающие индивидуальную внеаудиторную практику обучающихся с инструментом ИИ в ходе доработки черновой версии эссе. На основе получения от инструмента ИИ оценочной обратной связи студенты могут доработать свои эссе в языковом, структурном и содержательном аспектах. Система автоматизированной оценки письменных работ Criterion является одним из современных инструментов ИИ, который можно использовать в обучении. Однако проверка эффективности данной системы не выступала предметом отдельного исследования. Цель исследования – уточнить этапы обучения студентов языковых специальностей написанию эссе на иностранном языке с использованием оценочной обратной связи от системы автоматизированной оценки Criterion и проверить эффективность данной методики в ходе экспериментального обучения.Материалы и методы. Участниками исследования выступили студенты 2 курса специальности 45.05.01 «Перевод и переводоведение» ФГБОУ ВО «Липецкий государственный технический университет» (КГ = 25 и ЭГ = 25). Студенты КГ обучались по традиционной методики обучения эссе, исключающей использование инструментов ИИ, а участники ЭК – по инновационной методике, включающей индивидуальную внеаудиторную практику студентов с системой Criterion с целью получения оценочной обратной связи для доработки эссе. В качестве аспектов контроля выступали: а) лексическая сторона письменной речи; б) грамматическая сторона письменной речи; в) организационная структура работы; г) содержание работы.Результаты исследования. Доказано, что инновационная методика обучения студентов написанию эссе, основанная на интеграции системы автоматизированной оценки эссе Criterion в процесс обучения, является более эффективной по сравнению с традиционной методикой в овладении студентами а) организационной структурой эссе (t = 2,82 при p = = 0,004) и б) содержательной стороной творческой работы (t = 3,05 при p = 0,002). Однако статистический анализ результатов не подтвердил преимущество инновационной методики в формировании лексических (t = 1,44 при p = 0,08) и грамматических (t = 1,36 при p = 0,09)навыков речи студентов языкового вуза.Выводы. Новизна исследования состоит в разработке этапов обучения студентов написанию эссе на основе практики с системой автоматизированного контроля Criterion с целью получения оценочной обратной связи для доработки эссе. Полученные результаты могут использоваться в методике обучения учащихся средних школ и студентов вузов в обучении письменной речи.

Об авторах

А. А. Прибыткова

ФГБОУ ВО «Липецкий государственный педагогический университет им. П.П. Семенова-Тян-Шанского»

Email: Anechka86@mail.ru
ORCID iD: 0000-0003-2561-6656

кандидат педагогических наук, доцент кафедры лингвистики и межкультурной коммуникации

398020, Российская Федерация, г. Липецк, ул. Ленина, 42

Т. Ю. Тормышова

ФГБОУ ВО «Липецкий государственный технический университет»

Email: tatyanalip@list.ru
ORCID iD: 0009-0005-2435-7359

кандидат педагогических наук, доцент кафедры иностранных языков

398042, Российская Федерация, г. Липецк, ул. Московская, 30

О. Н. Хаустов

ФГБОУ ВО «Липецкий государственный технический университет»

Автор, ответственный за переписку.
Email: o.khaustov@mail.ru
ORCID iD: 0009-0002-6947-4397

кандидат педагогических наук, доцент кафедры иностранных языков

398042, Российская Федерация, г. Липецк, ул. Московская, 30 *Адрес для переписки: anechka86@mail.ru

Список литературы

  1. Сысоев П.В. Искусственный интеллект в образовании: осведомленность, готовность и практика применения преподавателями высшей школы технологий искусственного интеллекта в профессиональной деятельности // Высшее образование в России. 2023. Т. 32. № 10. С. 9-33. https://doi.org/10.31992/0869-3617-2023-32-10-9-33, https://elibrary.ru/tzytkm
  2. Сысоев П.В. Технологии искусственного интеллекта в обучении иностранному языку // Иностранные языки в школе. 2023. № 3. С. 6-16. https://elibrary.ru/qfmzhw
  3. Авраменко А.П., Ахмедова А.С., Буланова Е.Р. Технология чат-ботов как средства формирования иноязычной грамматической компетенции при самостоятельном обучении // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2023. Т. 28. № 2. С. 386-394. https://doi.org/10.20310/1810-0201-2023-28-2-386-394, https://elibrary.ru/abfjqp
  4. Перминова Г.В. Использование чат-бота ChatGPT в процессе обучения немецкому языку как второму иностранному // Иностранные языки в школе. 2023. № 8. С. 46-54. https://elibrary.ru/rkuvac
  5. Сысоев П.В., Филатов Е.М., Сорокин Д.О. Чат-боты в обучении иностранному языку: проблематика современных работ и перспективы предстоящих исследований // Вестник Московского университета. Серия 19: Лингвистика и межкультурная коммуникация. 2023. № 3. С. 46-59. https://doi.org/10.55959/MSU-2074-1588-19-26-3-3, https://elibrary.ru/moyjhp
  6. Харламенко И.В. Чат-боты в обучении английскому языку // Иностранные языки в школе. 2023. № 3. С. 55-59. https://elibrary.ru/lebneu
  7. Perdana I., Farida M. Online grammar checkers and their use for EFL writing // Journal of English Teaching, Applied Linguistics, and Literatures. 2019. Vol. 2. № 2. P. 67-76. http://dx.doi.org/10.20527/jetall.v2i2.7332
  8. Dembsey J.M. Closing the Grammarly Gaps: A Study of Claims and Feedback from an Online Grammar Program // The Writing Center Journal. 2017. Vol. 36. № 1. P. 63-100. https://doi.org/10.7771/2832-9414.1815
  9. Jayavalan K., Razali A.B. Effectiveness of online grammar checker to improve secondary students’ English narrative essay writing // International Research Journal of Education and Sciences. 2018. Vol. 2. № 1. P. 1-6.
  10. Manap M.R., Ramli N.F., Kassim A.A.M. Web 2.0 automated essay scoring application and human ESL essay assessment: A comparison study // European Journal of English Language Teaching. 2019. Vol. 5. № 1. P. 146-162. http://dx.doi.org/10.5281/zenodo.3461784
  11. Сысоев П.В., Филатов Е.М. ChatGPT в исследовательской работе студентов: запрещать или обучать? // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2023. Т. 28. № 2. С. 276-301. https://doi.org/10.20310/1810-0201-2023-28-2-276-301, https://elibrary.ru/sphxkz
  12. Сысоев П.В., Филатов Е.М. Методика обучения студентов написанию иноязычных творческих работ на основе оценочной обратной связи от искусственного интеллекта // Перспективы науки и образования. 2024. № 1 (67). С. 115-135. https://doi.org/10.32744/pse.2024.1.6, https://elibrary.ru/tmstly
  13. Сысоев П.В., Филатов Е.М., Сорокин Д.О. Обратная связь в обучении иностранному языку: от информационных технологий к искусственному интеллекту // Язык и культура. 2024. № 65. С. 242-261. https://doi.org/10.17223/19996195/65/11
  14. Wang J., Brown M.S. Automated Essay Scoring Versus Human Scoring: A Comparative Study // Journal of Technology, Learning, and Assessment. 2007. Vol. 6. № 2. P. 1-29.
  15. Guo K., Wang D. To resist it or to embrace it? Examining ChatGPT’s potential to support teacher feedback in EFL writing // Education and Information Technologies. 2023. P. 1-29. https://doi.org/10.1007/s10639-023-12146-0
  16. Тормышова Т.Ю., Рязанцева Т.Ю., Суханова Н.И. Обучение студентов-лингвистов написанию эссе на иностранном языке на основе работы с системой автоматизированной оценки Criterion // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2024. Т. 29. № 1. С. 99-108. https://doi.org/10.20310/1810-0201-2024-29-1-99-108, https://elibrary.ru/pdgnzr
  17. Сысоев П.В. Этика и ИИ-плагиат в академической среде: понимание студентами вопросов соблюдения авторской этики и проблемы плагиата в процессе взаимодействия с генеративным искусственным интеллектом // Высшее образование в России. 2024. Т. 33. № 2. С. 31-53. https://doi.org/10.31992/0869-3617-2024-33-2-31-53
  18. Кретов Д.В. Методика обучения студентов языковых специальностей иноязычному письменному речевому высказыванию на основе метода взаимной оценки (английский язык, языковой вуз): автореф. дис. … канд. пед. наук. М., 2023. 26 с.
  19. Хмаренко Н.И. Обучение студентов иноязычной письменной речи на основе педагогической технологии «Обучение в сотрудничестве» с использованием ИКТ (английский язык, языковой вуз): автореф. дис. … канд. пед. наук. Тамбов, 2023. 25 с.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML


Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».