Прогноз дезадаптации курсантов с применением методов машинного обучения

Обложка

Цитировать

Полный текст

Аннотация

Актуальность. Методы машинного обучения позволяют с высокой точностью проводить классификацию и прогноз различных состояний и исходов у человека. Выбор оптимального метода представляет собой актуальную задачу исследователей.

Цель – оценить эффективность методов машинного обучения в прогнозировании дезадаптации курсантов.

Методология. Обследованы 1822 курсанта Военного учебно-научного центра Военно-морского флота «Военно-морская академия имени Адмирала Флота Советского Союза Н.Г. Кузнецова» в возрасте от 18 до 27 лет. Обследованные разделены на 2 группы: норма (n = 1507) и дезадаптация (n = 315). Обследование проведено с применением многофакторного личностного опросника «Адаптивность» и методики диагностики интеллектуального развития КР-3-85. Статистическую обработку проводили с применением пакета программ Stat Soft Statistica 10.0. Осуществили проверку на нормальность показателей с помощью критерия Колмогорова–Смирнова. Сравнительный анализ показателей с нормальным распределением оценивали при помощи t-критерия Стьюдента. Ранговую корреляцию Спирмена применили с целью проверки данных на мультиколлинеарность. Математическое моделирование проведено с использованием нейронных сетей, дискриминантного анализа, Байесовского алгоритма. Эффективность моделей оценивали по уровню чувствительности и специфичности.

Результаты и их анализ. Нейронная сеть и Байесовский алгоритм являются мощным инструментом классификации. Они позволяют достоверно классифицировать курсантов с социально-психологической дезадаптацией. При этом Байесовский алгоритм характеризуется высокой чувствительностью, а нейронная сеть – специфичностью. Известным недостатком моделирования с применением дискриминантного анализа является потеря данных. Дискриминантным анализом не смогли классифицировать курсантов с социально-психологической дезадаптацией.

Заключение. Применение машинного обучения повысит эффективность мероприятий медико- психологического сопровождения курсантов. Нейронные сети являются оптимальным методом в прогнозировании дезадаптации.

Полный текст

Введение

Количество публикаций на тему медико- психологического сопровождения военнослужащих с применением технологии машинного обучения имеет тенденцию к увеличению, указывая на растущий интерес исследователей к данной проблеме [1, 4].

При проведении сопровождения военнослужащих иностранных государств наиболее стабильно учеными применяются методы дискриминантного анализа, нейронные сети и дерево решений [3, 4]. На данный момент бóльший интерес у исследователей вызывает применение метода Байесовского алгоритма [2, 5].

Цель – оценить эффективность методов машинного обучения в прогнозировании дезадаптации курсантов.

Материал и методы

Обследованы 1822 курсанта Военного учебно-научного центра Военно-морского флота «Военно-морская академия имени Адмирала Флота Советского Союза Н.Г. Кузнецова» в возрасте от 18 до 27 лет, которых разделили на 2 группы: «норма» (n = 1507) и «дезадаптация» (n = 315). Обследование провели с применением многофакторного личностного опросника (МЛО) «Адаптивность» и методики диагностики интеллектуального развития КР-3-85.

Статистическую обработку проводили с применением пакета программ Statistica 10.0. Результаты проверили на нормальность показателей с помощью критерия Колмогорова– Смирнова. Сравнительный анализ показателей с нормальным распределением оценивали при помощи t-критерия Стьюдента. Анализ ранговой корреляции Спирмена с целью проверки данных на зависимости между предикторами (мультиколлинеарность), которая затрудняет оценку и анализ общего результата, может стать причиной переобучаемости модели, что приведет к неверному результату и увеличит сложность модели машинного обучения. Математическое моделирование осуществляли с использованием нейронных сетей, дискриминантного анализа, Байесовского алгоритма.

Эффективность моделей оценивали по уровню чувствительности, специфичности и точности прогноза. Чувствительность (истинно положительная пропорция) отражает долю положительных результатов, которые правильно идентифицированы как таковые. Специфичность (истинно отрицательная пропорция) отражает долю отрицательных результатов, которые правильно идентифицированы как таковые. Точность отражает какой процент положительных объектов правильно классифицирован.

Результаты и их анализ

При анализе результатов обследования выявлено, что курсанты 2-й группы (с дезадаптацией) характеризуются более низкими показателями личностного адаптационного потенциала, моральной нормативности, результатов тестов: память на фигуры, установление закономерности (табл. 1).

 

Таблица 1

Показатели обследованных курсантов, (М ± SD) балл

Показатель

Дезадаптация

Норма

p <

МЛО «Адаптивность»

Личностный адаптационный потенциал (ЛАП)

6,2 ± 1,7

6,7 ± 1,5

0,05

Нервно-психическая устойчивость (НПУ)

6,2 ± 1,7

6,6 ± 1,7

 

Коммуникативный потенциал (КП)

6,6 ± 1,7

6,9 ± 1,7

 

Моральная нормативность (МН)

6,6 ± 1,8

7,2 ± 1,7

0,05

Методика КР-3-85

Аналогии (А)

6,2 ± 1,7

6,4 ± 1,8

 

Числовые ряды (ЧР)

6,1 ± 1,9

6,5 ± 1,8

 

Память на фигуры (ПФ)

6,0 ± 1,7

6,5 ± 1,8

0,05

«Узоры» (У)

6,7 ± 1,7

6,7 ± 1,7

 

Арифметический счет (АС)

6,1 ± 2,1

6,6 ± 2,0

 

Вербальная память (ВП)

6,4 ± 2,1

6,7 ± 1,7

 

Установление закономерности (УЗ)

6,9 ± 1,8

6,4 ± 1,8

0,05

Силлогизмы (С)

6,7 ± 1,6

6,4 ± 1,6

 

Исключение слова (ИС)

6,4 ± 2,0

6,6 ± 1,8

 

«Кубы» (К)

6,2 ± 1,9

6,5 ± 2,0

 

Общее интеллектуальное развитие (ОИР)

6,3 ± 1,2

6,6 ± 1,2

 

 

При проверке данных на наличие линейной зависимости между предикторами выявлено, что показатели личностного адаптационного потенциала по методике МЛО «Адаптивность» и общего интеллектуального развития по методике КР-3-85 являются интегральными и имеют высокий коэффициент корреляции с другими показателями (от 0,65 до 0,87 при р < 0,01). Таким образом, при обучении моделей данные показатели не применяем.

Проведено обучение нейронной сети с помощью метода многократных подвыборок. Обследованные курсанты случайным образом разделены на подвыборки: 70 % – обучающая, 15 % – контрольная и 15 % – тестовая. Тип сети: многослойный персептрон и радиальная базисная функция. Согласно теореме Колмогорова–Арнольда–Хехта–Нильсена [6], количество скрытых нейронов – в пределах от 20 до 148. Обучение проводили с участием 20, 100 и 148 скрытых нейронов.

Программой были сгенерированы более 70 сетей типа «двухслойный персептрон», из них выбраны сети под номерами 7, 14, 17 и 51, обладающие наилучшими прогностическими способностями. Характеристики сетей приведены в табл 2.

 

Таблица 2

Характеристики нейронных сетей при классификации курсантов с дезадаптацией

Архитектура

Исследовательские выборки

Алгоритм обучения

Функция ошибки

Функция активации нейронов

обучающая

контрольная

тестовая

скрытых

выходных

7.MLP 13-20-2

84,09

84,61

80,58

BFGS 31

Энтропия

Гиперболическая

Софтмакс

14.MLP 13-20-2

84,71

78,75

81,31

BFGS 38

Энтропия

Логистическая

Софтмакс

17.MLP 13-20-2

83,46

84,61

81,31

BFGS 29

Энтропия

Логистическая

Софтмакс

51.MLP 13-148-2

83,62

80,58

84,98

BFGS 35

Энтропия

Логистическая

Софтмакс

 

Топология сети отображена в первом столбце – архитектура. В первой строке имеем: 7.MLP 13-20-2: 7 – номер сети, MLP – многослойный персептрон, архитектура представлена следующими тремя цифрами, первое число (13) указывает на количество входящих переменных в модели сети, второе (20) – количество скрытых нейронов, третье (2) – число выходных нейронов, количество прогнозируемых качеств. В трех последующих столбцах таблицы отображены производительности сетей – процент правильно классифицированных сетью объектов в обучающей, тестовой и контрольной выборке (см. табл. 2). При построении сети был использован алгоритм обучения Broyden Fletcher-Goldfarb-Shanno (BFGS). Цифра рядом с наименованием алгоритма обучения (для сети 7–31) указывает на количество итераций, за которые сеть была обучена.

Для выбора более эффективной сети провели анализ матрицы ошибок классификации, включающей все подвыборки (табл. 3).

 

Таблица 3

Матрица ошибок классификации выбранных моделей

Сеть

Показатель

Дезадаптация

Норма

Общая группа

7.MLP 13-20-2

Все

315

1507

1822

 

Правильно

38

1486

1524

 

Неправильно

277

21

298

 

Правильно (%)

12,1

98,6

83,6

 

Неправильно (%)

87,9

1,4

16,4

14.MLP 13-20-2

Все

315

1507

1822

 

Правильно

15

1503

1518

 

Неправильно

300

4

304

 

Правильно (%)

4,8

99,7

83,3

 

Неправильно (%)

95,2

0,,

16,7

17.MLP 13-20-2

Все

315

1507

1822

 

Правильно

23

1495

1518

 

Неправильно

292

12

304

 

Правильно (%)

7,3

99,2

83,3

 

Неправильно (%)

92,7

0,8

16,7

51.MLP 13-148-2

Все

315

1507

1822

 

Правильно

26

1493

1519

 

Неправильно

289

14

303

 

Правильно (%)

8,3

99,1

83,4

 

Неправильно (%)

91,7

0,9

16,6

 

Выявлено, что сеть 7 имеет более высокую прогностическую способность – 83,6 %, а также площадь под ROC-кривой – 0,65 (табл. 4).

 

Таблица 4

Площади под ROC-кривыми и пороги ROC-кривых нейронных сетей

Показатель

7.MLP13-20-2

14. MLP 13-20-2

17. MLP 13-20-2

51. MLP 13-148-2

Площадь

Порог

0,646

0,156

0,624

0,161

0,619

0,170

0,632

0,146

 

Таким образом, нейронная сеть MLP 13-20-2 является наиболее эффективной в диагностике социальной дезадаптации курсантов среди других сетей.

Ведущими показателями, определяющими модель 7.MLP 13-20-2, являются: «кубы», арифметический счет, моральная нормативность, коммуникативный потенциал, узоры, аналогии и память на фигуры (табл. 5). Чувствительность модели равна 0,12, специфичность – 0,98, точность – 0,64.

 

Таблица 5

Вклад показателей модели 7.MLP 13-20-2

Модель

Показатель по психологическим методикам обследования курсантов

К

АС

МН

КП

ВП

ЧР

С

УЗ

У

А

ИС

НПУ

ПФ

7.MLP 13-20-2

1,06

1,06

1,05

1,03

1,02

1,02

1,02

1,03

1,02

1,03

1,01

1,02

1,03

 

Проведено моделирование с применением Байесовского алгоритма. Байесовский алгоритм – это алгоритм классификации, основанный на теореме Байеса с допущением о независимости признаков. При его проведении каждый показатель рассматривается как совокупность вероятностей возникновения события «дезадаптация – отсутствие дезадаптации» при всех вариантах стенов (рисунок) или других размерных показателях.

 

Вероятность возникновения события «дезадаптация – отсутствие дезадаптации» у курсантов.

 

Например, при получении курсантом 8 стен по шкале нервно-психическая устойчивость с вероятностью 0,162 он будет отнесен к группе дезадаптация и с вероятностью 0,206 – к норме. Определяют большее среднее значение вероятности отнесения курсанта к одной из групп, которая и является искомой для данного курсанта.

Результаты классификации курсантов представлены в табл. 6. Прогностическая способность Байесовского алгоритма составила 45,2 %. Чувствительность модели равна 0,68, специфичность – 0,41, точность – 0,20.

 

Таблица 6

Результаты классификации курсантов с применением Байесовского алгоритма, n (%)

Показатель

Классификация

Всего

дезадаптация

норма

Статус

дезадаптация

норма

215 (68,3)

886 (58,8)

1101 (60,4)

100 (31,7)

621 (41,2)

721 (39,6)

315 (100,0)

1507 (100,0)

1822 (100,0)

Всего

 

При проведении дискриминантного анализа при F-включении = 2 получена достоверная модель – лямбда Уилкса: 0,986 прибл. F (5,182) = 5,197, p < 0,001. Предикторами прогноза дезадаптации курсантов являются результаты обследования по психологическим методикам (стены): память на фигуры, моральная нормативность, исключение слова, «Узоры», установление закономерности (табл. 7).

 

Таблица 7

Предикторы прогноза дезадаптации курсантов

Показатель по психологическим методикам

Уилкса, лямбда

Частная, лямбда

F-исключения 1,1816

p

Толерантность

1-толерантность (R2)

Память на фигуры

0,990

0,995

8,252

0,004

0,873

0,127

Моральная нормативность

0,988

0,998

3,986

0,046

0,969

0,031

Исключение слова

0,988

0,998

3,152

0,076

0,827

0,173

«Узоры»

0,988

0,998

3,575

0,059

0,751

0,249

Установление закономерности

0,987

0,999

2,218

0,137

0,722

0,278

 

Линейные классификационные функции (ЛКФ) имеют вид:

ЛКФ1 (норма) = –18,49 + 0,97 ∙ х1 + 1,95 ∙ х2 + 0,91 ∙ х3 + 0,81 ∙ х4 + 0,75 ∙ х5;

ЛКФ2 (дезадаптация) = –18,59 + 0,87 ∙ х1 + 1,88 ∙ х2 + 0,85 ∙ х3 + 0,88 ∙ х4 + 0,69 ∙ х5,

где х1 – память на фигуры по методике КР-3-85, стены;

x2 – моральная нормативность по ЛМО «Адаптивность», стены;

х3 – исключение слова по методике КР-3-85, стены;

х4 – «узоры» по методике КР-3-85, стены;

х5 – установление закономерностей по методике КР-3-85, стены.

К сожалению, при использовании дискриминантого анализа классифицировать курсантов с дезадаптацией не смогли, например, при ЛКФ все курсанты были отнесены к группе «норма». Прогностическая способность составила 82,7 % за счет отнесения всех обследованных курсантов к группе «норма». Чувствительность модели равна 0, специфичность – 1, точность – 0.

Выводы

  1. Нейронная сеть и Байесовский алгоритм являются мощными инструментами классификации. Они позволяют достоверно классифицировать курсантов с социально- психологической дезадаптацией. При этом Байесовский алгоритм характеризуется высокой чувствительностью, а нейронная сеть – специфичностью и точностью.
  2. Известным недостатком моделирования с применением дискриминантного анализа является потеря данных. Дискриминантным анализом не смогли классифицировать курсантов с дезадаптацией.
  3. Применение машинного обучения повысит эффективность мероприятий медико- психологического сопровождения курсантов. Нейронные сети являются оптимальным методом в прогнозировании дезадаптации.
×

Об авторах

Владислав Викторович Юсупов

Военно-медицинская академия им. С.М. Кирова

Email: elizavetayusupova@mail.ru

д-р мед. наук проф., нач. науч.-исслед. отд. мед.-психол. сопровождения

Россия, Санкт-Петербург, ул. Акад. Лебедева, д. 6

Дарья Евгеньевна Фищенко

Санкт-Петербургский государственный педиатрический медицинский университет

Email: fidaev@mail.ru

студентка

Россия, Санкт-Петербург, ул. Литовская, д. 2

Алексей Николаевич Ятманов

Военно-медицинская академия им. С.М. Кирова

Автор, ответственный за переписку.
Email: yan20220@mail.ru

канд. мед. наук, докторант

Россия, Санкт-Петербург, ул. Акад. Лебедева, д. 6

Степан Григорьевич Григорьев

Военно-медицинская академия им. С.М. Кирова

Email: GSG_rj@mail.ru

д-р мед. наук проф., ст. науч. сотр.

Россия, Санкт-Петербург, ул. Акад. Лебедева, д. 6

Список литературы

  1. Борисов Д.Н., Колузов А.В., Сережкин И.А. Возможности развития искусственного интеллекта и больших данных в области здоровья военнослужащих // Состояние и перспективы развития современной науки по направлению «АСУ, информационно-телекоммуникационные системы»: сб. ст. конф. / Воен. инновац. технополис «ЭРА». Анапа, 2020. Т. 3. С. 177–183.
  2. Дегтяренко К.А. Искусственный интеллект в медицине. Обзор 21 международной конференции по искусственному интеллекту в медицине // Азия, Америка и Африка: история и современность. 2023. Т. 2, № 3 (4). С. 27–42.
  3. Лысова М.Е., Кузнецов М.Е. Нейронные сети в медицине. Автоматизация при помощи искусственного интеллекта // Достижения науки и технологий – ДНиТ-11-2023 : сб. науч. ст. по материалам II всерос. науч. конф. Красноярск, 2023. С. 581–586.
  4. Липский Д.Л., Гура М.С., Лучкин И.В., Юсупов В.В., Ятманов А.Н. Применение машинного обучения в медико-психологическом сопровождении военнослужащих иностранных государств // Живая психол. 2023. Т. 10, № 4 (44). С. 15–24.
  5. Мельникова Е.В. Глубокое машинное обучение в оптимизации научно-исследовательской деятельности // Науч.-техн. информ.. Сер. 1: Организация и методика информационной работы. 2023. № 2. С. 8–13.
  6. Ясницкий Л.Н. Интеллектуальные системы. М.: Лаборатория знаний, 2016. 221 с.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Вероятность возникновения события «дезадаптация – отсутствие дезадаптации» у курсантов.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».