Presentation and Analysis of Structural Knowledge in Learning Tasks Using the Example of a Complex Literary Text

Cover Page

Cite item

Full Text

Abstract

The lack of reliable instruments for automated assessment of learning outcomes leads to an overload of teachers who do not have sufficient resources to fully and objectively assess numerous students. A promising approach to solving this problem seems to be the use of markers of the formation of students’ structural knowledge, describing the interrelations of the components of the object being studied. The purpose of this study, based on the novel The Master and Margarita by M.A. Bulgakov, is to show that the structural knowledge of the subjects reflects the features and current level of understanding of the novel, as well as the change in this level as a result of learning. The study used PathFinder network scaling algorithm to extract and visualize significant connections between the novel’s characters based on subjective assessments of their pairwise connectivity. The experimental group consisted of high school seniors who studied the novel as part of the school curriculum under the guidance of their teacher. The comparison group included readers of the novel with different levels of experience in comprehending the text. The results of the study confirmed the possibility of assessing the structural knowledge of complex literary texts by the parameters of their network representation (coherence, expansion, and conciseness, balance of tree-like and coalition relationships). A significant difference was found in key indicators of the structural knowledge in the experimental and comparison group. According to the learning results in the experimental group, a statistically significant increase was revealed in the correlation of the students’ structural knowledge with that of their teacher. The analysis of the shortcomings of the extracted knowledge structures makes it possible to individualize teaching, reduce labor intensity and increase objectivity of the assessment of the learning results. The proposed approach requires verification on large samples and in other knowledge areas (in particular, in the training of operators of complex technical systems).

About the authors

Victor M. Dozortsev

Digital Technology Center LLC

Author for correspondence.
Email: vdozortsev@mail.ru
ORCID iD: 0000-0002-3082-2879

Doctor of Engineering Sciences, Development Director

9 Godovikova St, building 17, Moscow, 129085, Russian Federation

Evgeniya A. Vishtal

Untitled bank

Email: vishtal.ea@phystech.edu
ORCID iD: 0009-0004-4072-1600

Bachelor of Applied Physics and Maths, Head of the Anti-Fraud Department

42A Shota Rustaveli St, Tashkent, 100070, Republic of Uzbekistan

Ekaterina S. Ashirova

St. Petersburg Gubernatorial Physics and Mathematics Lyceum 30

Email: nezabutkka@mail.ru
ORCID iD: 0009-0000-3293-1350

Master of Pedagogy, Teacher of Russian language and literature

8A Antonenko lane, St. Petersburg, 190000, Russian Federation

Anastasia S. Mironova

Yandex

Email: an.mironova.gml@gmail.com
ORCID iD: 0009-0002-3110-5908

Master of Applied Physics and Maths, product manager

16 Lev Tolstoy St, Moscow, 119034, Russian Federation

References

  1. Acton, W.H., Johnson, P.J., & Goldsmith, T.E. (1994). Structural knowledge assessment: Comparison of referent structures. Journal of Educational Psychology, 86(2), 303–311. https://doi.org/10.1037/0022-0663.86.2.303
  2. Amith, M., Cunningham, R., Savas, L.S., Boom, J., Schvaneveldt, R., Tao, C., & Cohen, T. (2017). Using pathfinder networks to discover alignment between expert and consumer conceptual knowledge from online vaccine content. Journal of Biomedical Informatics, 74, 33–45. https://doi.org/10.1016/j.jbi.2017.08.007
  3. Cañas, A. J., Hill, G., Carff, R., Suri, N., Lott, J., Gómez, G., Eskridge, T.C., Arroyo, M., & Carvajal, R. (2004). CmapTools: A knowledge modeling and sharing environment. Concept maps: Theory, methodology, technology. Proceedings of the First International Conference on Concept Mapping (vol. 1, pp. 125–133). Navarra: Universidad Publica de Navarra.
  4. Dozortsev, V.M., & Mironova, A.S. (2020). On the use of structural knowledge characteristics for transfer assessment in the training of industrial operators. Actual problems of psychology of labor, engineering psychology and ergonomics. Proceedings of the Scientific and Practical Seminar, (iss. 9, pp. 117–162). Moscow: Institute of psychology Russian academy of sciences. (In Russ.) https://doi.org/10.38098/ergo.2020.009
  5. Dozortsev, V.M., Oboznov, A.A., Nazin, V.A., Gutsikova, S.V., & Mironova, A.S. (2014). Forming operator’s conceptual understanding of process plant: an actual task and an objective result of computerized training. Automation in Industry, (12), 13-19. (In Russ.).
  6. Ericsson, K.A., & Simon, H.A. (1998). How to study thinking in everyday life: Contrasting think-aloud protocols with descriptions and explanations of thinking. Mind, Culture, and Activity, 5(3), 178–186. https://doi.org/10.1207/s15327884mca0503_3
  7. Furlough, C., & Gillan, D.J. (2020). Assessing the ability of multidimensional scaling and pathfinder networks to measure spatial knowledge. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 64(1), 303–307. https://doi.org/10.1177/ 1071181320641070
  8. Gardner, Н. (1983). Frames of mind: The theory of multiple intelligences. New York: Basic Books.
  9. Goldsmith, T.E., Johnson, P.J., & Acton, W.H. (1991). Assessing structural knowledge. Journal of Educational Psychology, 83(1), 88–96. https://doi.org/10.1037/0022-0663.83.1.88
  10. Gunstone, R.F. (1980). Word association and the description of cognitive structure. Research in Science Education, 10(1), 45–53. https://doi.org/10.1007/bf02356308
  11. Hagberg, A.A., Schult, D.A., & Swart, P.J. (2008). Exploring network structure, dynamics, and function using NetworkX. SciPy 2008. Proceedings of the 7th Python in Science Conference (pp. 11–15). Pasadena, CA: SciPy. https://doi.org/10.25080/tcwv9851
  12. Ifenthaler, D., Masduki, I., & Seel, N.M. (2011). The mystery of cognitive structure and how we can detect it: tracking the development of cognitive structures over time. Instructi­onal Science, 39(1), 41–61. https://doi.org/10.1007/s11251-009-9097-6
  13. Ifenthaler, D., Pirnay-Dummer, P., & Spector, J.M. (Eds.). (2008). Understanding models for learning and instruction: Essays in Honor of Norbert M. Seel. Springer New York.
  14. Johnson, P.J., Goldsmith, T.E., & Teague, K.W. (1995). Similarity, structure, and knowledge: A representational approach to assessment. In P.D. Nichols, S.F. Chipman, R.F. Brennan (Eds.). Cognitively Diagnostic Assessment (pp. 221–249). Mahwah, N.J: Lawrence Erlbaum Associates, Inc. https://doi.org/10.4324/9780203052969-10
  15. Jonassen, D.H. (1987). Assessing cognitive structure: Verifying a method using pattern notes. Journal of Research & Development in Education, 20(3), 1–14.
  16. Meyer, B. (2008). The effects of computer-elicited structural and group knowledge on complex problem solving performance. Ph.D. in Psychology Thesis. Berlin: Humboldt University Berlin. https://doi.org/10.5167/uzh-9204
  17. Nisbett, R.E., & Wilson, T.D. (1977). Telling more than we can know: Verbal reports on mental processes. Psychological Review, 84(3), 231–259. https://doi.org/10.1037/0033-295X.84.3.231
  18. Oboznov, A.A., Chernetskaya, E.D., & Bessonova, Y.V. (2013). Conceptual models of nuclear station in operators with different occupational length of service. Psikhologicheskii Zhournal, 34(4), 47–57. (In Russ.)
  19. Pirnay-Dummer, P., Ifenthaler, D., & Spector, J.M. (2010). Highly integrated model assessment technology and tools. Educational Technology Research and Development, 58(1), 3–18. https://doi.org/10.1007/s11423-009-9119-8
  20. Politowicz, M.S., Sato, T., Chancey, E.T., & Yamani, Y. (2022). Pathfinder networks for measuring operator mental model structure with a simple autopilot system. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 66(1), 883–887. https://doi.org/10.1177/1071181322661510
  21. Sanchez, S.M. (2021). Concept Sourcing for Mental Models: A Study of Mental Models & Expertise Using a Video Game Context. MS in Psychology Thesis. Raleigh, NC: North Carolina State University.
  22. Schvaneveldt, R.W., Durso, F.T., & Dearholt, D.W. (1989). Network structures in proximity data. In G.H. Bower (Eds.), Psychology of Learning and Motivation (vol. 24, pp. 249–284). New York: Academic Press, Inc. https://doi.org/10.1016/s0079-7421(08)60539-3
  23. Seel, N.M. (1999). Educational diagnosis of mental models: Assessment problems and tech­nology-based solutions. Journal of Structural Learning & Intelligent Systems, 14(2), 153–185.
  24. Shavelson, R.J. (1972). Some aspects of the correspondence between content structure and cognitive structure in physics instruction. Journal of Educational Psychology, 63(3), 225–234. https://doi.org/10.1037/h0032652
  25. Snow, R.E. (1989). Toward assessment of cognitive and conative structures in learning. Educational Researcher, 18(9), 8–14. https://doi.org/10.3102/0013189x018009008
  26. Trumpower, D.L., & Sarwar, G.S. (2010). Effectiveness of structural feedback provided by pathfinder networks. Journal of Educational Computing Research, 43(1), 7–24. https://doi.org/10.2190/ec.43.1.b
  27. Trumpower, D.L., & Vanapalli, A.S. (2016). Structural assessment of knowledge as, of, and for learning. In M. Spector, B. Lockee, M. Childress (Eds.), Learning, Design, and Techno­logy (pp. 1–22). Cham: Springer. https://doi.org/10.1007/978-3-319-17727-4_23-1
  28. Trumpower, D.L., Sharara, H., & Goldsmith, T.E. (2010). Specificity of structural assessment of knowledge. The Journal of Technology, Learning and Assessment, 8(5), 1–32.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».