A COMPREHENSIVE APPROACH TO EVALUATING THE EFFECTIVENESS OF ONLINE COURSES

Cover Page

Cite item

Full Text

Abstract

Background. In the context of digital transformation, a thorough assessment of the effectiveness of online courses is required to ensure a high-quality educational process, identify optimal teaching methods and timely correction of curricula. The relevance of the research is caused by the need to find new solutions for evaluating the effectiveness of online courses, since existing methods either focus solely on quantitative indicators, which does not allow an adequate assessment of the perception and assimilation of educational material, or are limited to qualitative indicators subject to subjectivity and possible distortions. Inaccuracies in the assessment lead to incorrect management decisions to improve educational materials, student dissatisfaction, and inappropriate use of financial and time resources, which negatively affects the overall level of the educational process. The purpose of the research is to develop and test an integrated approach that will allow for a comprehensive analysis of the educational process and identify problem areas that require correction. Materials and methods. The methodological basis of the research is the systematization of the results of the analysis of scientific literature, practical developments and personal experience of the author, which allowed to form a comprehensive methodology for evaluating the effectiveness of online courses. Results. A concept has been developed based on a balance of qualitative and quantitative indicators, the use of tools that guarantee the reliability and reliability of data, and the use of the Bayesian mathematical model to predict changes in the effectiveness of the exchange rate when indicators change. The practical implementation is demonstrated by the example of the online course "Web Design". Conclusions. Actions to optimize the course structure, recommended by the results of a comprehensive effectiveness assessment, led to an improvement in the quality of the educational process, an increase in the level of material assimilation and an increase in overall student satisfaction.

About the authors

Irina P. Burukina

Penza State University

Author for correspondence.
Email: burukinairina@gmail.com

Candidate of technical sciences, associate professor, head of the sub-department of computer-aided design system

(40 Krasnaya street, Penza, Russia)

References

  1. Najafi H. et al. University of Toronto instructors’ experiences with developing MOOCs. International Review of Research in Open and Distributed Learning. 2015;16(3):233– 255.
  2. Semaeva O.V. Distance learning in the context of modern realities. Mir nauki. Pedagogika i psikhologiya = The world of science. Pedagogy and psychology. 2020;8(4):21. (In Russ.)
  3. Tsironis A., Katsanos C., Xenos M. Comparative usability evaluation of three popular MOOC platforms. 2016 IEEE Global Engineering Education Conference (EDUCON). 2016:608–612.
  4. Pet'kova Yu.R. The history of the development of distance education. Positive and negative sides of the MOE. Uspekhi sovremennogo estestvoznaniya = The successes of modern natural science. 2015;(3):199–204. (In Russ.)
  5. Bozhday A.S., Sviridova V.V. The methodology of numerical assessment of the level of digital transformation of priority areas of socio-economic processes in the regions. Modeli, sistemy, seti v ekonomike, tekhnike, prirode i obshchestve = Models, systems, and networks in economics, technology, nature, and society. 2023;(2):172–184. (In Russ.)
  6. Kirkpatrick D.L. Techniques for Evaluation Training Programs. Journal of the American Society of Training Directors. 1959;(13):21–26.
  7. Tlekhuray-Berzegova L.T., Byuller E.A., Chinazirova S.K. Stages of personnel training system development and methods of evaluating its effectiveness: an analytical review. Instituty i mekhanizmy innovatsionnogo razvitiya: mirovoy opyt i rossiyskaya praktika = Institutions and mechanisms of innovative development: international experience and Russian practice. 2021:220–226. (In Russ.)
  8. Arystanbek A., Zhagparova S. Effective lesson planning as the basis of quality education: theoretical foundations and recommendations. Bіlіm-Obrazovanie = Bіlіm-Education. 2023;105(2):60–71. (In Russ.)
  9. Il'ina L.A. The practice of evaluating the effectiveness of investments in training in industrial enterprises of the Russian Federation. Vestnik Samarskogo munitsipal'nogo instituta upravleniya = Bulletin of the Samara Municipal Institute of Management. 2009;(10):43–53. (In Russ.)
  10. Surovitskaya G.V. Models for the implementation of university innovation policy. Modeli, sistemy, seti v ekonomike, tekhnike, prirode i obshchestve = Models, systems, and networks in economics, technology, nature, and society. 2023;(2):77–86. (In Russ.)
  11. Isaeva M.K. The Bayesian decision-making process. Strategicheskoe planirovanie i razvitie predpriyatiy = Strategic planning and enterprise development. 2017:255–258. (In Russ.)
  12. Kozhomberdieva G.I., Burakov D.P. On the use of Bayes formula in quality assessment tasks. Mezhdunarodnaya konferentsiya po myagkim vychisleniyam i izmereniyam = International Conference on Soft Computing and Measurements. 2017;1:31–34. (In Russ.)
  13. Agresti A., Hitchcock D.B. Bayesian Inference for Categorical Data Analysis, Statistical Methods and Applications. Journal of the Italian Statistical Society. 2005;(14):297–330.
  14. Vetrov D.P., Kropotov D.A. Bayesovskie metody mashinnogo obucheniya: ucheb. posobie = Bayesian Machine Learning Methods : a tutorial. Moscow, 2007:88. (In Russ.)
  15. Bosov A.V., Martyushova Ya.G., Naumov A.V., Sapunova A.P. A Bayesian approach to building an individual user trajectory in a distance learning system. Informatika i ee primeneniya = Computer science and its applications. 2020;14(3):86–93. (In Russ.)
  16. Gelman A., Carlin J., Stern H. et al. Bayesian Data Analysis. 3nd ed. CRC Press, 2013.
  17. Artamonova Yu.A. About Bayes' theorem. Matematika, informatika, fizika: problemy i perspektivy = Mathematics, computer science, physics: problems and prospects. 2023:87–90. (In Russ.)
  18. Sudipta P., Burman R. R., Singh R. Training effectiveness evaluation: Advancing a Kirkpatrick model based composite framework. Evaluation and Program Planning. 2024;107:102494.
  19. Phillips P.P., Phillips J.J. How to Measure the Return on your HR Investment. Strategic HR Review. 2002;1(4):1–9.
  20. Chen R. et al. Task-specific parameter decoupling for class incremental learning. Information Sciences. 2023;651:119731.
  21. Ryndina S.V., Kulikova S.V., Mikhailova K.D. Custom Internet of things: the problem of data protection. Models, Systems, Networks in Economics, Engineering, Nature and Society. 2020;(2). doi: 10.21685/2227-8486-2020-2-11
  22. Maksimova E.A., Maksimova T.P. Smart contract as a tool of modern digital technologies: possibilities and limitations. Ekonomicheskoe razvitie v XXI veke: tendentsii, vyzovy, prespektivy = Economic development in the 21st century: trends, challenges, prospects. 2019:225. (In Russ.)
  23. Styuart R., Piter N. Iskusstvennyy intellekt: sovremennyy podkhod: per. s angl. 2-e izd. = Artificial Intelligence: a modern approach : translated from English. 2nd ed. Moscow: Vil'yams, 2007:1408. (In Russ.)
  24. Kolpakova K.A., Volkova A.D. John McCarthy's contribution to the development of artificial intelligence. Izobretateli i ikh izobreteniya: sb. tezisov rabot uchastnikov XIV Vseros. studencheskoy issled. konf., posvyashch.165-letney godovshchine so dnya rozhdeniya russkogo fizika Aleksandra Stepanovicha Popova = Inventors and their inventions : collection of abstracts of works by participants of the XIV All-Russian Academic Research. conf., dedication.165th anniversary of the birth of Russian physicist Alexander Stepanovich Popov. Tikhoretsk: TTZhT – filial RGUPS, 2024:240. (In Russ.)
  25. Nikolenko S.I., Kadurin A., Arkhangel'skaya E. Glubokoe obuchenie: pogruzhenie v mir neyronnykh setey = Deep learning: diving into the world of neural networks. Saint Petersburg: Piter, 2023:476. (In Russ.)

Supplementary files

Supplementary Files
Action
1. JATS XML
Download


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».