РАЗРАБОТКА ПОДХОДА К КОЛИЧЕСТВЕННОЙ МУЛЬТИМОДАЛЬНОЙ ОЦЕНКЕ КОГНИТИВНОЙ НАГРУЗКИ ИНТЕРВЬЮЕРОВ: РЕЗУЛЬТАТЫ ПИЛОТНОГО КВАЗИЭКСПЕРИМЕНТА
- Авторы: Девятко И.Ф.1,2
-
Учреждения:
- Национальный исследовательский университет «Высшая школа экономики»
- Институт социологии ФНИСЦ РАН
- Выпуск: Том 18, № 4 (2018)
- Страницы: 627-637
- Раздел: Вопросы истории, теории и методологии
- URL: https://journal-vniispk.ru/2313-2272/article/view/340453
- DOI: https://doi.org/10.22363/2313-2272-2018-18-4-627-637
- ID: 340453
Цитировать
Полный текст
Аннотация
Представление о том, что опросный инструментарий, опосредующий коммуникацию между интервьюером и респондентом, влияет на качество опросных данных, давно превратилось в общеизвестную методологическую мудрость. Однако влияние на качество данных когнитивной нагрузки, испытываемой интервьюером в процессе проведения интервью, пока не получило систематического рассмотрения в существующей литературе. В ситуации, когда анкета заполняется интервьюером, именно последний должен распределять ограниченные индивидуальные ресурсы внимания, памяти, визуального и моторного контроля, а также использовать навыки активного слушания и интерпретации, чтобы свести к минимуму недопонимание вопроса респондентом и собственные ошибки фиксации ответов. Тем не менее, среди различных методов предварительного тестирования качества опросного инструментария или оценки потенциальных эффектов способа проведения опроса методы мультимодальной количественной оценки когнитивной нагрузки интервьюера, сопряженной с использованием опросного инструментария во время интервью, все еще редки или практически отсутствуют. В статье представлены: краткий перечень субъективных, поведенческих и физиологических мер когнитивной нагрузки, используемых в таких дисциплинарных областях, как когнитивная наука, эргономика и т.д., а также описание и обсуждение предварительных результатов пилотного квазиэксперимента, участниками которого стали интервьюеры «Российского мониторинга экономического положения и здоровья населения НИУ ВШЭ», проходившие обучение в процессе перехода от интервьюирования с помощью бумажной анкеты (PAPI) к использованию компьютерных технологий в процессе проведения интервью (CAPI). Результаты исследования позволили продемонстрировать некоторые преимущества и технические ограничения, связанные с параллельным использованием варианта популярной шкалы самооценки когнитивной нагрузки (шкала Пааса) и простого физиологического индикатора (частота сердечных сокращений), дополненных данными видеозаписи с экрана планшета, применявшегося в процессе интервьюирования, в целях мультимодальной количественной оценки когнитивной нагрузки интервьюера при проведении интервью.
Об авторах
Инна Феликсовна Девятко
Национальный исследовательский университет «Высшая школа экономики»; Институт социологии ФНИСЦ РАН
Автор, ответственный за переписку.
Email: deviatko@gmail.com
доктор социологических наук, профессор департамента социологии Национального исследовательского университета «Высшая школа экономики»; главный научный сотрудник Института социологии Федерального научно-исследовательского социологического центра Российской академии наук
ул. Мясницкая, 11, Москва, 101000, Россия; ул. Кржижановского, 24/35-5, Москва, 117218, РоссияСписок литературы
- Bogdanov M.B., Lebedev D.V. “Glavnoe — ne boyatsya” — vozdejstvie treningov na ozhidaniya intervyuerov pri perekhode ot PAPI k CAPI [“Do not worry!” — training’s impact on interviewers’ expectations towards the change from PAPI to CAPI]. Sociologiya: Metodologiya, Metody, Matematicheskoe Modelirovanie. 2017; 45: 102—132 (In Russ.).
- Deviatko I.F., Lebedev D.V. Glazami intervyuera, glazami respondenta: kontury novogo podkhoda k otsenke kognitivnoj nagruzki pri provedenii oprosa [Through the eyes of the interviewer, through the eyes of the respondent: A new approach to the assessment of cognitive load during the interview. Monitoring Obschestvennogo Mneniya: Ekonomicheskie i Socialnye Peremeny. 2017; 5: 1—19 (In Russ.).
- Terentev E.A., Mavletova A.M., Kosolapov M.S. Intervyuirovanie s pomoschyu kompyuternyh tekhnologij v longityudnyh obsledovaniyah domohozyajstv [Computer-assisted personal interviewing for longitudinal household studies]. Monitoring Obschestvennogo Mneniya: Ekonomicheskie i Socialnye Peremeny. 2018; 3: 47—64 (In Russ.).
- Bassili J.N., Scott B.S. Response latency as a signal to question problems in survey research. Public Opinion Quarterly. 1996; 60 (3): 390—399.
- Bratfisch O., Borg G., Dornic S. Perceived Item Difficulty in Three Tests of Intellectual Performance Capacity. Stockholm: Institute of Applied Psychology; 1972. Report No. 29.
- Chen F. et al. Robust Multimodal Cognitive Load Measurement. Springer International Publishing; 2016.
- Couper M.P., Burt G. Interviewer attitudes toward computer-assisted personal interviewing (CAPI). Social Science Computer Review. 1994; 12 (1): 38—54.
- Critchley H.D. Electrodermal responses: What happens in the brain. The Neuroscientists. 2002; 8 (2): 132—142.
- De Leeuw E.D., Hox J.J., Snijkers G. The effect of computer-assisted interviewing on data quality. International Journal of Market Research. 1995; 37 (4): 325—344.
- Hoogerheide V., Renkl A., Fiorella L., Paas F., van Gog T. Enhancing example-based learning: Teaching on video increases arousal and improves problem-solving performance. Journal of Educational Psychology. 2018. http://dx.doi.org/10.1037/edu0000272.
- Hӧhne J.C., Schlosser S., Krebs D. Investigating cognitive effort and response quality of question formats in web surveys using paradata. Field Methods. 2017; 29 (4): 365—382.
- Jbara A., Feitelson D.G. How programmers read regular code: A controlled experiment using eye tracking. Empirical Software Engineering. 2017; 22 (3): 1440—1477.
- Kaminska O., Foulsham T. Real-world eye-tracking in face-to-face and web modes. Journal of Survey Statistics and Methodology. 2014; 2 (3): 343—359.
- Paas F.G. Training strategies for attaining transfer of problem-solving skill in statistics: A cognitive-load approach. Journal of Educational Psychology. 1992; 84 (4): 429—434.
- Paas F., Tuovinen J.E., Tabbers H., Van Gerven P.W.M. Cognitive load measurement as a means to advance cognitive load theory. Educational psychologist. 2003; 38 (1): 63—71.
- Sharot T., Phelps E.A. How arousal modulates memory: Disentangling the effects of attention and retention. Cognitive, Affective, & Behavioral Neuroscience. 2004; 4 (3): 294—306.
- Stodel M. But what will people think? Getting beyond social desirability bias by increasing cognitive load. International Journal of Market Research. 2015; 57 (2): 313—321.
Дополнительные файлы
