A system for extracting symptom mentions from texts by means of neural networks

Cover Page

Cite item

Full Text

Abstract

This paper presents a system for extracting symptom mentions from medical texts in natural (Russian) language. The system finds symptom mentions in texts, brings them to a standard form and identifies the found symptom to a group of similar symptoms. For each stage of processing we use a separate neural network. We extract symptoms of three areas of diseases: allergic and pulmonological diseases, as well as coronavirus infection (COVID-19). We present and describe an annotated corpus of sentences that is used to train neural networks for extracting symptom mentions. These sentences were marked up with the help of a simple XML-like language. An extended BIO-markup format was proposed for the sentences directly received at the input of the neural network. We give the quality evaluation of the symptom extraction accuracy under strict and flexible testing. Possible approaches to normalization and identification of symptom mentions and their implementation are described. Our results are compared with those achieved in similar researches, thus we show the place of our system among clinical decision support systems.

About the authors

Yuri Petrovich Serdyuk

Ailamazyan Program Systems Institute of RAS

Author for correspondence.
Email: Yuri@serdyuk.botik.ru
ORCID iD: 0000-0003-2916-2102

Natalia Aleksandrovna Vlasova

Ailamazyan Program Systems Institute of RAS

Email: nathalie.vlassova@gmail.com
ORCID iD: 0000-0002-7843-6870

Seda Rubenovna Momot

Ailamazyan Program Systems Institute of RAS

Email: morlot@mail.ru
ORCID iD: 0000-0002-6097-6545

References

  1. Sutton R. T., Pincock D., Baumgar D. C., Sadowski D. C., Fedorak R. N., Kroeker K. I.. “An overview of clinical decision support systems: benefits, risks, and strategies for success”, npj Digit. Med, 6:3 (2020), 17.
  2. Kwan J. L., Lo L., Ferguson J., Goldberg H., Diaz-Martinez J. P., Tomlinson G., Grimshaw J. M., Shojania K. G.. “Computerised clinical decision support systems and absolute improvements in care: meta-analysis of controlled clinical trials”, BMJ, 370 (2020), m3216.
  3. Sha L., Qian F., Chang B., Sui Zh.. “Jointly extracting event triggers and arguments by dependency-bridge RNN and tensor-based argument interaction”, Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18), Proceedings of the AAAI Conference on Artificial Intelligence, 32:1 (2018), pp. 5916–5923.
  4. Smirnova A., Cudre-Mauroux Ph.. “Relation extraction using distant supervision: A survey”, ACM Computing Surveys, 51:5 (2019), 106, 35 pp.
  5. Le Th. A., Burtsev M. S.. “A deep neural network model for the task of named entity recognition”, International Journal of Machine Learning and Computing, 9:1 (2019), pp. 8–13.
  6. Ji Z., Wei Q., Xu H.. “BERT-based ranking for biomedical entity normalization”, AMIA Jt Summits Transl Sci Proc., 2020, pp. 269–277.
  7. Anastasyev D. G.. “Annotated span normalization as a sequence labelling task”, Papers from the Annual International Conference “Dialogue” (2021), Computational Linguistics and Intellectual Technologies, vol. 20, 2021, ISBN 978-5-7281-3032-1, pp. 8–15.
  8. Anastasyev D. G.. “Exploring pretrained models for joint morpho-syntactic parsing of Russian”, Papers from the Annual International Conference “Dialogue” (2020), Computational Linguistics and Intellectual Technologies, vol. 19, 2020, ISBN 978-5-7281-3032-1, pp. 1-12.
  9. Bodenreider O.. “The Unified Medical Language System (UMLS): Integrating biomedical terminology”, Nucleic Acids Res, 32, suppl. 1 (2004), pp. D267–D270.
  10. Coletti M. H., Bleich H. L.. “Medical subject headings used to search the biomedical literature”, J. Am. Med. Inform. Assoc, 8:4 (2001), pp. 317–323, J. Am. Med. Inform. Assoc, 8:6 (2001).
  11. Бледжянц Г. А., Исакова Ю. А., Осипов А. А.. «Approbation and implementation of the effective use of the tools of the integrated medical knowledge base by the system of distance education of innovative disciplines», Человеческий капитал, 2020, №S12-1, с. 199–205 (in Russian).
  12. Nesterov A., Zubkova G., Miftahutdinov Z., Kokh V., Tutubalina E., Shelmanov A., Alekseev A., Avetisian M., Chertok A., Nikolenko S.. “RuCCoN: Clinical concept normalization in Russian”, Findings of the Association for Computational Linguistics: ACL 2022 (Dublin, Ireland), 2022, pp. 239–245.
  13. Временные методические рекомендации Министерства здравоохранения Российской Федерации «Профилактика, диагностика и лечение новой коронавирусной инфекции (COVID-19)», Министерство здравоохранения Российской Федерации, 233 с.
  14. Краткое руководство по разметке тестового корпуса. Задача «Medicine light», ИСА РАН и НЦЗД, 2014, Версия 1.6 URL http://nlp.isa.ru/index.php/component/portal/?view=corpusclinical.
  15. Blinov P., Avetisian M., Kokh V., Umerenkov D., Tuzhilin A.. “Predicting clinical diagnosis from patients electronic health records using BERT-based neural networks”, AIME 2020: Artificial Intelligence in Medicine, Lecture Notes in Computer Science, vol. 12299, eds. M. Michalowski, R. Moskovitch, Springer, Cham, 2020, ISBN 978-3-030-59136-6, pp. 111–121.
  16. Shelmanov A. O., Smirnov I. V., Vishneva E. A.. “Information extraction from clinical texts in Russian”, Papers from the Annual International Conference “Dialogue” (2015), Computational Linguistics and Intellectual Technologies, vol. 14, 2015, pp. 560–572.
  17. Sun Yu., Zhao Zh., Wang Zh., He H., Guo F., Luo Yu., Gao Q., Wei N., Liu J., Li G. -Zh., Li Z.. “Leveraging a joint learning model to extract mixture symptom mentions from traditional Chinese medicine clinical notes”, BioMed Research International, 2022, Conference Issue: Big Data for Biomedical Research, 2146236.
  18. Гаврилов Д. В., Кирилкина А. В., Серова Л. М.. «Algorithm for forming a suspicion of a new coronavirus infection based on the analysis of symptoms for use in medical decision support systems», Врач и информационные технологии, 2020, №4, с. 51–58 (in Russian).
  19. Lybarger K., Ostendorf M., Thompson M., Yetisgen M.. “Extracting COVID-19 diagnoses and symptoms from clinical text: A new annotated corpus and neural event extraction framework”, Journal of Biomedical Informatics, 117 (2021), 103761.
  20. Zolotukhin D., Smurov I.. “RuNormAS-2021: A shared task on Russian normalization of annotated spans”, Papers from the Annual International Conference “Dialogue” (2021), Computational Linguistics and Intellectual Technologies, vol. 20, 2021, ISBN 978-5-7281-3032-1, pp. 1245–1250.
  21. Dozat T., Manning C. D.. Deep biaffine attention for neural dependency parsing, 2017, 8 pp.
  22. Сорокин А. А., Макогонов С. В., Королев С. П.. «Information infrastructure for the collective work of scientists from the Russian Far East», Научно-техническая информация. Сер. 1: Организация и методика информационной работы, 2017, №12, с. 14–16 (in Russian).

Supplementary files

Supplementary Files
Action
1. JATS XML
Download


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».