Технологические дефекты программного обеспечения с искусственным интеллектом

Обложка

Цитировать

Аннотация

Обоснование. Технологические дефекты в работе программного обеспечения с искусственным интеллектом являются критически важными при принятии решения о практической применимости и клинической ценности программного обеспечения с искусственным интеллектом.

Цель анализ и систематизация технологических дефектов, возникающих при работе программного обеспечения с искусственным интеллектом для анализа медицинских изображений.

Материалы и методы. В рамках эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы проводится мониторинг технологических параметров для всех участвующих решений как на этапе апробации, так и на этапе опытной эксплуатации. В статье представлена графическая информация о среднем числе технологических дефектов для профилактического направления, модальность «Маммография», за 2021 год. Этот период выбран как наиболее показательный, характеризующийся активным развитием программного обеспечения с искусственным интеллектом с позиции увеличения технической стабильности их работы. С целью оценки применимости подхода по выявлению технологических дефектов аналогичный анализ проводился для направления обнаружения внутричерепных кровоизлияний на компьютерных томограммах головного мозга за 2022–2023 годы.

Результаты. В ходе исследования было проанализировано программное обеспечение с искусственным интеллектом по модальностям «Маммография» (2 алгоритма) и «Компьютерная томография головного мозга» (1). Всего для модальности «Маммография» собрано 14 выборок по 20 исследований; для модальности «Компьютерная томография» — 12 выборок по 80 исследований. Для каждого типа дефекта были построены графики, а для каждой из модальностей были построены линии тренда. Коэффициенты уравнений линий трендов указывают на тенденцию к снижению числа технологических дефектов.

Заключение. Проведённый анализ позволяет проследить тенденцию к снижению числа технологических дефектов, что может свидетельствовать о доработке программного обеспечения с искусственным интеллектом и повышении его качества благодаря периодическому мониторингу. Кроме того, такой результат показывает универсальность использования как для профилактических методов, так и для экстренных.

Об авторах

Виктория Валерьевна Зинченко

Научно-практический клинический центр диагностики и телемедицины

Автор, ответственный за переписку.
Email: ZinchenkoVV1@zdrav.mos.ru
ORCID iD: 0000-0002-2307-725X
SPIN-код: 4188-0635
Россия, Москва

Кирилл Михайлович Арзамасов

Научно-практический клинический центр диагностики и телемедицины

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-код: 3160-8062

канд. мед. наук

Россия, Москва

Елена Игоревна Кремнева

Научно-практический клинический центр диагностики и телемедицины

Email: KremnevaEI@zdrav.mos.ru
ORCID iD: 0000-0001-9396-6063
SPIN-код: 8799-8092

канд. мед. наук

Россия, Москва

Антон Вячеславович Владзимирский

Научно-практический клинический центр диагностики и телемедицины

Email: VladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736
SPIN-код: 3602-7120

д-р мед. наук

Россия, Москва

Юрий Александрович Васильев

Научно-практический клинический центр диагностики и телемедицины

Email: VasilevYA1@zdrav.mos.ru
ORCID iD: 0000-0002-0208-5218
SPIN-код: 4458-5608

канд. мед. наук

Россия, Москва

Список литературы

  1. Владзимирский А.В., Васильев Ю.А., Арзамасов К.М. и др. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента / под ред. Ю.А. Васильева, А.В. Владзимирского. Издательские решения, 2022.
  2. Ranschaert E.R., Morozov S., Algra P.R., editors. Artificial Intelligence in Medical Imaging. Berlin : Springer, 2019. doi: 10.1007/978-3-319-94878-2
  3. Гусев А.В., Добриднюк С.Л. Искусственный интеллект в медицине и здравоохранении // Информационное общество. 2017. № 4-5. С. 78–93.
  4. Шутов Д.В., Шарова Д.Е., Абуладзе Л.Р., Дроздов Д.В. Системы искусственного интеллекта в клинической физиологии: как сделать их обучение эффективным? // Digital Diagnostics. 2023. Т. 4, № 1. С. 81–88. doi: 10.17816/DD123559
  5. Мелдо А.А., Уткин Л.В., Трофимова Т.Н. Искусственный интеллект в медицине: современное состояние и основные направления развития интеллектуальной диагностики // Лучевая диагностика и терапия. 2020. Т. 11, № 1. С. 9–17. doi: 10.22328/2079-5343-2020-11-1-9-17
  6. Recht M.P., Dewey M., Dreyer K., et al. Integrating artificial intelligence into the clinical practice of radiology: challenges and recommendations // European radiology. 2020. Vol. 30, N 6. P. 3576–3584. doi: 10.1007/s00330-020-06672-5
  7. Larson D.B., Harvey H., Rubin D.L., et al. Regulatory Frameworks for Development and Evaluation of Artificial Intelligence-Based Diagnostic Imaging Algorithms: Summary and Recommendations // Journal of the American College of Radiology. 2021. Vol. 18, N 3 Pt A. P. 413–424. doi: 10.1016/j.jacr.2020.09.060
  8. Zinchenko V., Chetverikov S., Ahmad E., et al. Changes in software as a medical device based on artificial intelligence technologies // International Journal of Computer Assisted Radiology and Surgery. 2022. Vol. 17. P. 1969–1977. doi: 10.1007/s11548-022-02669-1
  9. Nomura Y., Miki S., Hayashi N., et al. Novel platform for development, training, and validation of computer-assisted detection/diagnosis software // International Journal of Computer Assisted Radiology and Surgery. 2020. Vol. 15, N 4. P. 661–672. doi: 10.1007/s11548-020-02132-z
  10. Методические рекомендации по порядку проведения экспертизы качества, эффективности и безопасности медицинских изделий (в части программного обеспечения) для государственной регистрации в рамках национальной системы ФГБУ «ВНИИИМТ» Росздравнадзора. Москва, 2021.
  11. Pemberton H.G., Zaki L.A.M., Goodkin O., et al. Technical and clinical validation of commercial automated volumetric MRI tools for dementia diagnosis — a systematic review // Neuroradiology. 2021. Vol. 63. P. 1773–1789. doi: 10.1007/s00234-021-02746-3
  12. Приказ Департамента здравоохранения города Москвы № 51 от 26.01.2021 «Об утверждении порядка и условий проведения эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы в 2021 году»
  13. Четвериков С.Ф., Арзамасов К.М., Андрейченко А.Е., и др. Подходы к формированию выборки для контроля качества работы систем искусственного интеллекта в медико-биологических исследованиях // Современные технологии в медицине. 2023. Т. 15, № 2. С. 19. doi: 10.17691/stm2023.15.2.02
  14. Зинченко В.В., Арзамасов К.М., Четвериков С.Ф., и др. Методология проведения пострегистрационного клинического мониторинга для программного обеспечения с применением технологий искусственного интеллекта // Современные технологии в медицине. 2022. Т. 14, № 5. С. 15–25. doi: 10.17691/stm2022.14.5.02
  15. Altman D.G. Statistics and ethics in medical research: III How large a sample? // British medical journal. 1980. Vol. 281, N 6251. P. 1336. doi: 10.1136/bmj.281.6251.1336
  16. Тыров И.А., Васильев Ю.А., Арзамасов К.М., и др. Оценка зрелости технологий искусственного интеллекта для здравоохранения: методология и ее применение на материалах Московского Эксперимента по компьютерному зрению в лучевой диагностике // Врач и информационные технологии. 2022. № 4. С. 76–92. doi: 10.25881/18110193_2022_4_76
  17. Владзимирский А.В., Гусев А.В., Шарова Д.Е., и др. Методика оценки уровня зрелости информационной системы для здравоохранения // Врач и информационные технологии. 2022. № 3. С. 68–84. doi: 10.25881/18110193_2022_3_68
  18. Приказ Департамента здравоохранения города Москвы от 03.11.2022 № 160 «Об утверждении порядка и условий проведения эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы в 2022 году».

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Рис. 1. Динамика выявления среднего числа каждого технологического дефекта для программного обеспечения с искусственным интеллектом модальностью «Маммография». Дефекты распределены по группам согласно Приказу Департамента здравоохранения города Москвы № 51 от 26.01.2021 г.

Скачать (129KB)
3. Рис. 2. Динамика выявления числа каждого технологического дефекта для программного обеспечения с искусственным интеллектом модальностью «Компьютерная томография головного мозга» (наличие или отсутствие внутричерепного кровоизлияния). Дефекты распределены по группам согласно Приказу Департамента здравоохранения города Москвы № 160 от 03.11.2022 г.

Скачать (150KB)
4. Рис. 3. Дефект — проанализированы не все необходимые изображения. Модальность "Маммография".

Скачать (119KB)
5. Рис. 4. Дефект — разметка за пределами целевого органа. Модальность "Маммография".

Скачать (82KB)
6. Рис. 5. Дефект — проанализирована некорректная серия (постконтрастная КТ вместо нативной). Модальность "Компьютерная томография".

Скачать (118KB)
7. Рис. 6. Дефект — разметка за пределами целевого органа, постконтрастная компьютерная томография вместо нативной. Модальность "Компьютерная томография".

Скачать (115KB)
8. Рис. 7. Количество дефектов в группе в динамике для модальности

Скачать (212KB)
9. Рис. 8. Количество дефектов в группе в динамике для модальности «Компьютерная томография».

Скачать (216KB)

© Эко-вектор, 2023

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».