Automatic Lexical Adaptation of Russian Texts

封面

如何引用文章

全文:

详细

The article describes a method for lexical simplification of Russian text, using a specially marked base of synonyms and a set of rules, which allows automatic lexical replacement of words and phrases with restoration of the correct syntax and preservation of the text semantics. To form a marked database of synonyms, dictionaries of synonyms that are in the public domain were used. To preserve semantics, an analysis and reduction of synonymous series was carried out, the frequency of members of the synonymous series was analyzed in order to select a dominant, and entries in dictionaries were marked and a mechanism for processing labels was proposed to comply with the syntax rules in a simplified text. A base of production rules has been developed to preserve the correct syntax after lexical adaptation of the text, allowing for the correct replacement of individual words, phrases with one word and phrases with a phrase.

作者简介

Artyom Nitsenko

Institute of Artificial Intelligence Problems

编辑信件的主要联系方式.
Email: nav_box@mail.ru

Candidate of technical sciences, Head of the Department of Speech Pattern Recognition

俄罗斯联邦, Donetsk

Vladislav Shelepov

Institute of Artificial Intelligence Problems

Email: vladislav.shelepov2012@yandex.ru

Doctor of Physical and Mathematical Sciences, Professor, Chief Researcher, Department of Speech Pattern Recognition

俄罗斯联邦, Donetsk

Svetlana Bolshakova

Institute of Artificial Intelligence Problems

Email: svetlako@yandex.com

Junior Researcher, Department of Speech Pattern Recognition

俄罗斯联邦, Donetsk

参考

  1. Coster W., Kauchak D. Simple English Wikipedia: a new text simplification task // Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies. 2011. Р. 665–669.
  2. Woodsend K., Lapata M. Wikisimple: Automatic simplification of Wikipedia articles // Proceedings of the National Conference on Artificial Intelligence. 2011. P. 927-932.
  3. De Belder J., Deschacht K., Moens M.F. Lexical simplification // Electronic resource. URL: https://www.researchgate.net/pro-file/Marie-Francine-Moens/publication/265205638_Lexical_Simplification/ links/54872b890cf289302e2ed53b/Lexical-Simplification.pdf (accessed 01.07.2024).
  4. De Belder J., Moens M.F. Text simplification for children // Proceedings of the SIGIR workshop on accessible search systems. ACM. 2010. P. 19-26.
  5. Hafizova E. I. Adaptacija slozhnosti tekstov i tekstovyh zadanij [Adapting the complexity of texts and text tasks] // Molodoj uchenyj [Young scientist]. 2021. No 12 (354). P. 266-268.
  6. Kim Y.S., Hullman J., Adar E. DeScipher: A Text Simplification Tool for Science Journalism // Electronic resource. URL: https://cond.org/cjdescipher.pdf (accessed 01.07.2024).
  7. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L. et al. Attention is all you need // 31st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, USA. P. 5998–6008.
  8. Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pretraining of deep bidirectional transformers for language understanding // Proceedings of NAACL-HLT 2019. Minneapolis, Minnesota, Association for Computational Linguistics P. 4171–4186.
  9. Monteiro J., Aguiar M., Araújo S. Using a Pre-trained SimpleT5 Model for Text Simplification in a Limited Corpus // CLEF 2022 – Conference and Labs of the Evaluation Forum, September 5–8, 2022, Bologna, Italy. CEUR Workshop Proceedings. CEUR-WS.org. 2022. P. 2826–2831
  10. Raffel C., Shazeer N., Roberts A., Lee K., Narang S. et al. Exploring the limits of transfer learning with a unified textto-text transformer // Journal of machine learning research. 2019. V. 21. P. 5485–5551.
  11. Fenogenova A. Text simplification with autoregressive models // Annual International Conference on Computational Linguistics and Intellectual Technologies, Dialogue 2021. Trudy konferentsii vypusk 20 [Proceedings.of the Annual International Conference on Computational Linguistics and Intellectual Technologies, Dialogue] Moscow:Rossiyskiy gosudarstvennyy gumanitarnyy universitet [Russian State University for the Humanities] 2021. P . 227-234.
  12. Liu Y., Gu J., Goyal N., Li X., Edunov S. et al. Multilingual denoising pre-training for neural machine translation // Transactions of the Association for Computational Linguistics. 2020. V. 8. P. 726–742.
  13. Lewis M., Liu Y., Goyal N. et al. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension // Proceedings of the 58thAnnual Meeting of the Association for Computational Linguistics. 2020. P. 7871–7880.
  14. Sakhovskiy A., Tutubalina E., Malykh V. et al. RuSimpleSentEval-2021 Shared Task: Evaluating Sentence Simplification for Russian // Annual International Conference on Computational Linguistics and Intellectual Technologies, Dialogue 2021. Trudy konferentsii vypusk 20 [Proceedings.of the Annual International Conference on Computational Linguistics and Intellectual Technologies, Dialogue] Moscow:Rossiyskiy gosudarstvennyy gumanitarnyy universitet [Russian State University for the Humanities] 2021. P. 607-617.
  15. Shatilov A. A., Rey A. I. Sentence simplification with ruGPT3 // Annual International Conference on Computational Linguistics and Intellectual Technologies, Dialogue 2021. Trudy konferentsii vypusk 20 [Proceedings.of the Annual International Conference on Computational Linguistics and Intellectual Technologies, Dialogue]. Moscow:Rossiyskiy gosudarstvennyy gumanitarnyy universitet [Russian State University for the Humanities] .2021. P. 618-625.
  16. Komleva E. P. Anastasyev D. G. Sentence Simplification for Russian using Transfer Learning Annual International Conference on Computational Linguistics and Intellectual Technologies, Dialogue 2021. Trudy konferentsii vypusk 20 [Proceedings.of the Annual International Conference on Computational Linguistics and Intellectual Technologies, Dialogue]. Moscow:Rossiyskiy gosudarstvennyy gumanitarnyy universitet [Russian State University for the Humanities] .2021.P. 1075-1080.
  17. Vasil'ev D.D., Pyataeva A.V. Ispol'zovanie yazykovyh modelej T5 dlya zadachi uproshcheniya teksta [Using T5 Language Models for Text Simplification Task] // Programmnye produkty i sistemy[Software Products and Systems]. 2023. V. 36. No 2. P. 228–236.
  18. Burstein J. The automated text adaptation tool // Proceedings of Human Language Technologies. The Annual Conference of the North American Chapter of the Association for Computational Linguistics. Demonstrations. Association for Computational Linguistics. 2007. P. 3-4.
  19. Aleksandrova Z. E. Slovar' sinonimov russkogo jazyka. Prakticheskij spravochnik [Russian synonym dictionary. A practical reference book]. Okolo 11 000 sinonimicheskih rjadov [About 11 000 synonymous rows]. 11 izd., pererab. i dop.[ 11th edition, revised and enlarged.] Moscow: Russkiy jazyk [Russian language]. 2001. 568 p.
  20. Ljashevskaja O. N., Sharov S. A. Chastotnyj slovar' sovremennogo russkogo jazyka (na materialah Nacional'nogo korpusa russkogo jazyka) [Frequency Dictionary of the Modern Russian Language (based on materials from the Russian National Corpus)]. Moscow: Izdatelskiy сentr «Azbukovnik» [Publishing center "Azbukovnik"]. 2009. 1090 p.
  21. Nacional'nyj korpus russkogo jazyka [Russian National Corpus] // Electronic resource. URL: http://ruscorpora.ru/ (data obraschenija: 01.07.2024).
  22. EASSE: Easier Automatic Sentence Simplification Evaluation / Fernando Alva-Manchego, Louis Martin, Carolina Scarton, Lucia Specia // Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). System Demonstrations. Hong Kong, China: Association for Computational Linguistics, 2019. P. 49–54. Access mode: https://www.aclweb.org/anthology/D19-3009.
  23. Shen L. LexicalRichness: A small module to compute textual lexical richness. 2022. URL: https://github.com/LSYS/lexicalrichness doi: 10.5281/zenodo.6607007

补充文件

附件文件
动作
1. JATS XML
下载

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».