Прогноз дезадаптации курсантов с применением методов машинного обучения
- Авторы: Юсупов В.В.1, Фищенко Д.Е.2, Ятманов А.Н.1, Григорьев С.Г.1
-
Учреждения:
- Военно-медицинская академия им. С.М. Кирова
- Санкт-Петербургский государственный педиатрический медицинский университет
- Выпуск: № 4 (2023)
- Страницы: 90-96
- Раздел: Социально-психологические проблемы
- URL: https://journal-vniispk.ru/1995-4441/article/view/271197
- DOI: https://doi.org/10.25016/2541-7487-2023-0-4-90-96
- ID: 271197
Цитировать
Полный текст
Аннотация
Актуальность. Методы машинного обучения позволяют с высокой точностью проводить классификацию и прогноз различных состояний и исходов у человека. Выбор оптимального метода представляет собой актуальную задачу исследователей.
Цель – оценить эффективность методов машинного обучения в прогнозировании дезадаптации курсантов.
Методология. Обследованы 1822 курсанта Военного учебно-научного центра Военно-морского флота «Военно-морская академия имени Адмирала Флота Советского Союза Н.Г. Кузнецова» в возрасте от 18 до 27 лет. Обследованные разделены на 2 группы: норма (n = 1507) и дезадаптация (n = 315). Обследование проведено с применением многофакторного личностного опросника «Адаптивность» и методики диагностики интеллектуального развития КР-3-85. Статистическую обработку проводили с применением пакета программ Stat Soft Statistica 10.0. Осуществили проверку на нормальность показателей с помощью критерия Колмогорова–Смирнова. Сравнительный анализ показателей с нормальным распределением оценивали при помощи t-критерия Стьюдента. Ранговую корреляцию Спирмена применили с целью проверки данных на мультиколлинеарность. Математическое моделирование проведено с использованием нейронных сетей, дискриминантного анализа, Байесовского алгоритма. Эффективность моделей оценивали по уровню чувствительности и специфичности.
Результаты и их анализ. Нейронная сеть и Байесовский алгоритм являются мощным инструментом классификации. Они позволяют достоверно классифицировать курсантов с социально-психологической дезадаптацией. При этом Байесовский алгоритм характеризуется высокой чувствительностью, а нейронная сеть – специфичностью. Известным недостатком моделирования с применением дискриминантного анализа является потеря данных. Дискриминантным анализом не смогли классифицировать курсантов с социально-психологической дезадаптацией.
Заключение. Применение машинного обучения повысит эффективность мероприятий медико- психологического сопровождения курсантов. Нейронные сети являются оптимальным методом в прогнозировании дезадаптации.
Ключевые слова
Полный текст
Введение
Количество публикаций на тему медико- психологического сопровождения военнослужащих с применением технологии машинного обучения имеет тенденцию к увеличению, указывая на растущий интерес исследователей к данной проблеме [1, 4].
При проведении сопровождения военнослужащих иностранных государств наиболее стабильно учеными применяются методы дискриминантного анализа, нейронные сети и дерево решений [3, 4]. На данный момент бóльший интерес у исследователей вызывает применение метода Байесовского алгоритма [2, 5].
Цель – оценить эффективность методов машинного обучения в прогнозировании дезадаптации курсантов.
Материал и методы
Обследованы 1822 курсанта Военного учебно-научного центра Военно-морского флота «Военно-морская академия имени Адмирала Флота Советского Союза Н.Г. Кузнецова» в возрасте от 18 до 27 лет, которых разделили на 2 группы: «норма» (n = 1507) и «дезадаптация» (n = 315). Обследование провели с применением многофакторного личностного опросника (МЛО) «Адаптивность» и методики диагностики интеллектуального развития КР-3-85.
Статистическую обработку проводили с применением пакета программ Statistica 10.0. Результаты проверили на нормальность показателей с помощью критерия Колмогорова– Смирнова. Сравнительный анализ показателей с нормальным распределением оценивали при помощи t-критерия Стьюдента. Анализ ранговой корреляции Спирмена с целью проверки данных на зависимости между предикторами (мультиколлинеарность), которая затрудняет оценку и анализ общего результата, может стать причиной переобучаемости модели, что приведет к неверному результату и увеличит сложность модели машинного обучения. Математическое моделирование осуществляли с использованием нейронных сетей, дискриминантного анализа, Байесовского алгоритма.
Эффективность моделей оценивали по уровню чувствительности, специфичности и точности прогноза. Чувствительность (истинно положительная пропорция) отражает долю положительных результатов, которые правильно идентифицированы как таковые. Специфичность (истинно отрицательная пропорция) отражает долю отрицательных результатов, которые правильно идентифицированы как таковые. Точность отражает какой процент положительных объектов правильно классифицирован.
Результаты и их анализ
При анализе результатов обследования выявлено, что курсанты 2-й группы (с дезадаптацией) характеризуются более низкими показателями личностного адаптационного потенциала, моральной нормативности, результатов тестов: память на фигуры, установление закономерности (табл. 1).
Таблица 1
Показатели обследованных курсантов, (М ± SD) балл
Показатель | Дезадаптация | Норма | p < |
МЛО «Адаптивность» | |||
Личностный адаптационный потенциал (ЛАП) | 6,2 ± 1,7 | 6,7 ± 1,5 | 0,05 |
Нервно-психическая устойчивость (НПУ) | 6,2 ± 1,7 | 6,6 ± 1,7 |
|
Коммуникативный потенциал (КП) | 6,6 ± 1,7 | 6,9 ± 1,7 |
|
Моральная нормативность (МН) | 6,6 ± 1,8 | 7,2 ± 1,7 | 0,05 |
Методика КР-3-85 | |||
Аналогии (А) | 6,2 ± 1,7 | 6,4 ± 1,8 |
|
Числовые ряды (ЧР) | 6,1 ± 1,9 | 6,5 ± 1,8 |
|
Память на фигуры (ПФ) | 6,0 ± 1,7 | 6,5 ± 1,8 | 0,05 |
«Узоры» (У) | 6,7 ± 1,7 | 6,7 ± 1,7 |
|
Арифметический счет (АС) | 6,1 ± 2,1 | 6,6 ± 2,0 |
|
Вербальная память (ВП) | 6,4 ± 2,1 | 6,7 ± 1,7 |
|
Установление закономерности (УЗ) | 6,9 ± 1,8 | 6,4 ± 1,8 | 0,05 |
Силлогизмы (С) | 6,7 ± 1,6 | 6,4 ± 1,6 |
|
Исключение слова (ИС) | 6,4 ± 2,0 | 6,6 ± 1,8 |
|
«Кубы» (К) | 6,2 ± 1,9 | 6,5 ± 2,0 |
|
Общее интеллектуальное развитие (ОИР) | 6,3 ± 1,2 | 6,6 ± 1,2 |
|
При проверке данных на наличие линейной зависимости между предикторами выявлено, что показатели личностного адаптационного потенциала по методике МЛО «Адаптивность» и общего интеллектуального развития по методике КР-3-85 являются интегральными и имеют высокий коэффициент корреляции с другими показателями (от 0,65 до 0,87 при р < 0,01). Таким образом, при обучении моделей данные показатели не применяем.
Проведено обучение нейронной сети с помощью метода многократных подвыборок. Обследованные курсанты случайным образом разделены на подвыборки: 70 % – обучающая, 15 % – контрольная и 15 % – тестовая. Тип сети: многослойный персептрон и радиальная базисная функция. Согласно теореме Колмогорова–Арнольда–Хехта–Нильсена [6], количество скрытых нейронов – в пределах от 20 до 148. Обучение проводили с участием 20, 100 и 148 скрытых нейронов.
Программой были сгенерированы более 70 сетей типа «двухслойный персептрон», из них выбраны сети под номерами 7, 14, 17 и 51, обладающие наилучшими прогностическими способностями. Характеристики сетей приведены в табл 2.
Таблица 2
Характеристики нейронных сетей при классификации курсантов с дезадаптацией
Архитектура | Исследовательские выборки | Алгоритм обучения | Функция ошибки | Функция активации нейронов | |||
обучающая | контрольная | тестовая | скрытых | выходных | |||
7.MLP 13-20-2 | 84,09 | 84,61 | 80,58 | BFGS 31 | Энтропия | Гиперболическая | Софтмакс |
14.MLP 13-20-2 | 84,71 | 78,75 | 81,31 | BFGS 38 | Энтропия | Логистическая | Софтмакс |
17.MLP 13-20-2 | 83,46 | 84,61 | 81,31 | BFGS 29 | Энтропия | Логистическая | Софтмакс |
51.MLP 13-148-2 | 83,62 | 80,58 | 84,98 | BFGS 35 | Энтропия | Логистическая | Софтмакс |
Топология сети отображена в первом столбце – архитектура. В первой строке имеем: 7.MLP 13-20-2: 7 – номер сети, MLP – многослойный персептрон, архитектура представлена следующими тремя цифрами, первое число (13) указывает на количество входящих переменных в модели сети, второе (20) – количество скрытых нейронов, третье (2) – число выходных нейронов, количество прогнозируемых качеств. В трех последующих столбцах таблицы отображены производительности сетей – процент правильно классифицированных сетью объектов в обучающей, тестовой и контрольной выборке (см. табл. 2). При построении сети был использован алгоритм обучения Broyden Fletcher-Goldfarb-Shanno (BFGS). Цифра рядом с наименованием алгоритма обучения (для сети 7–31) указывает на количество итераций, за которые сеть была обучена.
Для выбора более эффективной сети провели анализ матрицы ошибок классификации, включающей все подвыборки (табл. 3).
Таблица 3
Матрица ошибок классификации выбранных моделей
Сеть | Показатель | Дезадаптация | Норма | Общая группа |
7.MLP 13-20-2 | Все | 315 | 1507 | 1822 |
| Правильно | 38 | 1486 | 1524 |
| Неправильно | 277 | 21 | 298 |
| Правильно (%) | 12,1 | 98,6 | 83,6 |
| Неправильно (%) | 87,9 | 1,4 | 16,4 |
14.MLP 13-20-2 | Все | 315 | 1507 | 1822 |
| Правильно | 15 | 1503 | 1518 |
| Неправильно | 300 | 4 | 304 |
| Правильно (%) | 4,8 | 99,7 | 83,3 |
| Неправильно (%) | 95,2 | 0,, | 16,7 |
17.MLP 13-20-2 | Все | 315 | 1507 | 1822 |
| Правильно | 23 | 1495 | 1518 |
| Неправильно | 292 | 12 | 304 |
| Правильно (%) | 7,3 | 99,2 | 83,3 |
| Неправильно (%) | 92,7 | 0,8 | 16,7 |
51.MLP 13-148-2 | Все | 315 | 1507 | 1822 |
| Правильно | 26 | 1493 | 1519 |
| Неправильно | 289 | 14 | 303 |
| Правильно (%) | 8,3 | 99,1 | 83,4 |
| Неправильно (%) | 91,7 | 0,9 | 16,6 |
Выявлено, что сеть 7 имеет более высокую прогностическую способность – 83,6 %, а также площадь под ROC-кривой – 0,65 (табл. 4).
Таблица 4
Площади под ROC-кривыми и пороги ROC-кривых нейронных сетей
Показатель | 7.MLP13-20-2 | 14. MLP 13-20-2 | 17. MLP 13-20-2 | 51. MLP 13-148-2 |
Площадь Порог | 0,646 0,156 | 0,624 0,161 | 0,619 0,170 | 0,632 0,146 |
Таким образом, нейронная сеть MLP 13-20-2 является наиболее эффективной в диагностике социальной дезадаптации курсантов среди других сетей.
Ведущими показателями, определяющими модель 7.MLP 13-20-2, являются: «кубы», арифметический счет, моральная нормативность, коммуникативный потенциал, узоры, аналогии и память на фигуры (табл. 5). Чувствительность модели равна 0,12, специфичность – 0,98, точность – 0,64.
Таблица 5
Вклад показателей модели 7.MLP 13-20-2
Модель | Показатель по психологическим методикам обследования курсантов | ||||||||||||
К | АС | МН | КП | ВП | ЧР | С | УЗ | У | А | ИС | НПУ | ПФ | |
7.MLP 13-20-2 | 1,06 | 1,06 | 1,05 | 1,03 | 1,02 | 1,02 | 1,02 | 1,03 | 1,02 | 1,03 | 1,01 | 1,02 | 1,03 |
Проведено моделирование с применением Байесовского алгоритма. Байесовский алгоритм – это алгоритм классификации, основанный на теореме Байеса с допущением о независимости признаков. При его проведении каждый показатель рассматривается как совокупность вероятностей возникновения события «дезадаптация – отсутствие дезадаптации» при всех вариантах стенов (рисунок) или других размерных показателях.
Вероятность возникновения события «дезадаптация – отсутствие дезадаптации» у курсантов.
Например, при получении курсантом 8 стен по шкале нервно-психическая устойчивость с вероятностью 0,162 он будет отнесен к группе дезадаптация и с вероятностью 0,206 – к норме. Определяют большее среднее значение вероятности отнесения курсанта к одной из групп, которая и является искомой для данного курсанта.
Результаты классификации курсантов представлены в табл. 6. Прогностическая способность Байесовского алгоритма составила 45,2 %. Чувствительность модели равна 0,68, специфичность – 0,41, точность – 0,20.
Таблица 6
Результаты классификации курсантов с применением Байесовского алгоритма, n (%)
Показатель | Классификация | Всего | ||
дезадаптация | норма | |||
Статус | дезадаптация норма | 215 (68,3) 886 (58,8) 1101 (60,4) | 100 (31,7) 621 (41,2) 721 (39,6) | 315 (100,0) 1507 (100,0) 1822 (100,0) |
Всего |
При проведении дискриминантного анализа при F-включении = 2 получена достоверная модель – лямбда Уилкса: 0,986 прибл. F (5,182) = 5,197, p < 0,001. Предикторами прогноза дезадаптации курсантов являются результаты обследования по психологическим методикам (стены): память на фигуры, моральная нормативность, исключение слова, «Узоры», установление закономерности (табл. 7).
Таблица 7
Предикторы прогноза дезадаптации курсантов
Показатель по психологическим методикам | Уилкса, лямбда | Частная, лямбда | F-исключения 1,1816 | p | Толерантность | 1-толерантность (R2) |
Память на фигуры | 0,990 | 0,995 | 8,252 | 0,004 | 0,873 | 0,127 |
Моральная нормативность | 0,988 | 0,998 | 3,986 | 0,046 | 0,969 | 0,031 |
Исключение слова | 0,988 | 0,998 | 3,152 | 0,076 | 0,827 | 0,173 |
«Узоры» | 0,988 | 0,998 | 3,575 | 0,059 | 0,751 | 0,249 |
Установление закономерности | 0,987 | 0,999 | 2,218 | 0,137 | 0,722 | 0,278 |
Линейные классификационные функции (ЛКФ) имеют вид:
ЛКФ1 (норма) = –18,49 + 0,97 ∙ х1 + 1,95 ∙ х2 + 0,91 ∙ х3 + 0,81 ∙ х4 + 0,75 ∙ х5;
ЛКФ2 (дезадаптация) = –18,59 + 0,87 ∙ х1 + 1,88 ∙ х2 + 0,85 ∙ х3 + 0,88 ∙ х4 + 0,69 ∙ х5,
где х1 – память на фигуры по методике КР-3-85, стены;
x2 – моральная нормативность по ЛМО «Адаптивность», стены;
х3 – исключение слова по методике КР-3-85, стены;
х4 – «узоры» по методике КР-3-85, стены;
х5 – установление закономерностей по методике КР-3-85, стены.
К сожалению, при использовании дискриминантого анализа классифицировать курсантов с дезадаптацией не смогли, например, при ЛКФ все курсанты были отнесены к группе «норма». Прогностическая способность составила 82,7 % за счет отнесения всех обследованных курсантов к группе «норма». Чувствительность модели равна 0, специфичность – 1, точность – 0.
Выводы
- Нейронная сеть и Байесовский алгоритм являются мощными инструментами классификации. Они позволяют достоверно классифицировать курсантов с социально- психологической дезадаптацией. При этом Байесовский алгоритм характеризуется высокой чувствительностью, а нейронная сеть – специфичностью и точностью.
- Известным недостатком моделирования с применением дискриминантного анализа является потеря данных. Дискриминантным анализом не смогли классифицировать курсантов с дезадаптацией.
- Применение машинного обучения повысит эффективность мероприятий медико- психологического сопровождения курсантов. Нейронные сети являются оптимальным методом в прогнозировании дезадаптации.
Об авторах
Владислав Викторович Юсупов
Военно-медицинская академия им. С.М. Кирова
Email: elizavetayusupova@mail.ru
д-р мед. наук проф., нач. науч.-исслед. отд. мед.-психол. сопровождения
Россия, Санкт-Петербург, ул. Акад. Лебедева, д. 6Дарья Евгеньевна Фищенко
Санкт-Петербургский государственный педиатрический медицинский университет
Email: fidaev@mail.ru
студентка
Россия, Санкт-Петербург, ул. Литовская, д. 2Алексей Николаевич Ятманов
Военно-медицинская академия им. С.М. Кирова
Автор, ответственный за переписку.
Email: yan20220@mail.ru
канд. мед. наук, докторант
Россия, Санкт-Петербург, ул. Акад. Лебедева, д. 6Степан Григорьевич Григорьев
Военно-медицинская академия им. С.М. Кирова
Email: GSG_rj@mail.ru
д-р мед. наук проф., ст. науч. сотр.
Россия, Санкт-Петербург, ул. Акад. Лебедева, д. 6Список литературы
- Борисов Д.Н., Колузов А.В., Сережкин И.А. Возможности развития искусственного интеллекта и больших данных в области здоровья военнослужащих // Состояние и перспективы развития современной науки по направлению «АСУ, информационно-телекоммуникационные системы»: сб. ст. конф. / Воен. инновац. технополис «ЭРА». Анапа, 2020. Т. 3. С. 177–183.
- Дегтяренко К.А. Искусственный интеллект в медицине. Обзор 21 международной конференции по искусственному интеллекту в медицине // Азия, Америка и Африка: история и современность. 2023. Т. 2, № 3 (4). С. 27–42.
- Лысова М.Е., Кузнецов М.Е. Нейронные сети в медицине. Автоматизация при помощи искусственного интеллекта // Достижения науки и технологий – ДНиТ-11-2023 : сб. науч. ст. по материалам II всерос. науч. конф. Красноярск, 2023. С. 581–586.
- Липский Д.Л., Гура М.С., Лучкин И.В., Юсупов В.В., Ятманов А.Н. Применение машинного обучения в медико-психологическом сопровождении военнослужащих иностранных государств // Живая психол. 2023. Т. 10, № 4 (44). С. 15–24.
- Мельникова Е.В. Глубокое машинное обучение в оптимизации научно-исследовательской деятельности // Науч.-техн. информ.. Сер. 1: Организация и методика информационной работы. 2023. № 2. С. 8–13.
- Ясницкий Л.Н. Интеллектуальные системы. М.: Лаборатория знаний, 2016. 221 с.
Дополнительные файлы
