Method for classifying aspects of argumentation in Russian-language texts

封面

如何引用文章

全文:

详细

Argumentation mining in texts has attracted the attention of researchers in recent years due to a wide range of applications, in particular, in the analysis of scientific and legal texts, news articles, political debates, student essays and social media. Recently, a new task has been set in this area— aspect-based argumentation mining, where an aspect is defined as a property of the object, regarding which the argument is being built. Accounting for the aspects allows, on the one hand, to clarify the direction of the argumentation and understanding of the argument structure; on the other hand, it can be used to generate high-quality and aspect-specific arguments. The article proposes a method for classifying aspects of argumentation in texts in Russian. On its basis we train and study the models for classifying aspects of argumentation using machine learning and neural networks. For the first time, a Russian-language text corpus was formed, including 1,426 sentences and marked by 16 aspects of argumentation, a neural network language model ArgBERT for classifying arguments was built, and Random Forest models were trained to classify aspects of argumentation. The classification performance obtained on the basis of Random Forest models is 0.6373 by F1-score. The developed models demonstrate the best performance for the aspects “Safety”, “Impact on health”, “Influence on the psyche”, “Attitude of the authorities” and “Standard of living” (F1‑score is higher than 0.75).

作者简介

Irina Fishcheva

Vyatka State University

编辑信件的主要联系方式.
Email: fishchevain@gmail.com
ORCID iD: 0000-0002-6941-2009

Tatiana Peskisheva

Vyatka State University

Email: peskisheva.ta@gmail.com
ORCID iD: 0009-0000-9843-0911

Valeriya Goloviznina

Vyatka State University

Email: golovizninavs@gmail.com
ORCID iD: 0000-0003-1167-2606

Evgeny Kotelnikov

Vyatka State University

Email: kotelnikov.ev@gmail.com
ORCID iD: 0000-0001-9745-1489
Д. техн. н., профессор кафедры прикладной математики и информатики Вятского государственного университета. Научные интересы: обработка естественного языка, машинное обучение, языковые модели, анализ аргументации.

参考

  1. van Eemeren F. H., Grootendorst R., Johnson R. H., Plantin C., Willard C. A.. Fundamentals of Argumentation Theory. A Handbook of Historical Backgrounds and Contemporary Developments, Routledge Taylor& Francis Group, New York–London, 1996, ISBN 978-1-136-68803-4.
  2. Lawrence J., Reed C.. “Argument mining: a survey”, Computational Linguistics, 45:4 (2020), pp. 765–818.
  3. Stede M., Schneider J.. Argumentation Mining, Synthesis Lectures on Human Language Technologies, vol. 40, Morgan & Claypool, 2018, ISBN 978-3-031-01041-5, xv+175 pp.
  4. Addawood A. A., Bashir M. N.. “What is your evidence? A study of controversial topics on social media”, Proceedings of the Third Workshop on Argument Mining, ArgMining-2016 (Berlin, Germany), ACL, 2016, pp. 1–11.
  5. Lippi M., Palka P., Contissa G., Lagioia F., Micklitz H.-W., Sartor G., Torroni P.. “CLAUDETTE: An automated detector of potentially unfair clauses in online terms of service”, Artificial Intelligence and Law, 27 (2019), pp. 117–139.
  6. Green N. L.. “Towards mining scientific discourse using argumentation schemes”, Argument & Computation, 9:2 (2018), pp. 121–135.
  7. Hua X., Nikolov M., Badugu N., Wang L.. “Argument mining for understanding peer reviews”, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 1: Long and Short Papers, NAACL 2019 (Minneapolis, Minnesota), ACL, 2019, pp. 2131–2137.
  8. Roush A., Balaji A.. “DebateSum: A large-scale argument mining and summarization dataset”, Proceedings of the 7th Workshop on Argument Mining, ACL, 2020, pp. 1–7.
  9. El Baff R., Wachsmuth H., Al-Khatib K., Stein B.. “Analyzing the persuasive effect of style in news editorial argumentation”, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL, 2020, pp. 3154–3160.
  10. Stab C., Gurevych I.. “Identifying argumentative discourse structures in persuasive essays”, Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP-2014 (Doha, Qatar), ACL, 2014, pp. 46–56.
  11. Mohammad S., Kiritchenko S., Sobhani P., Zhu X., Cherry C.. “SemEval-2016 task 6: Detecting stance in tweets”, Proceedings of the 10th International Workshop on Semantic Evaluation, SemEval-2016 (San Diego, California), 2016, pp. 31–41.
  12. Bondarenko A., Hagen M., Potthast M., Wachsmuth H., Beloucif M., Biemann C., Panchenko A., Stein B.. “Touche: First shared task on argument retrieval”, Proceedings of the 42nd European Conference on Information Retrieval, ECIR 2020, Advances in Information Retrieval, vol. 12036, 2020, pp. 517–523.
  13. Bondarenko A., Gienapp L., Frobe M., Beloucif M., Ajjour Y., Panchenko A., Biemann C., Stein B., Wachsmuth H., Potthast M., Hagen M.. “Overview of Touché 2021: Argument retrieval”, Experimental IR Meets Multilinguality, Multimodality, and Interaction, CLEF 2021, Lecture Notes in Computer Science, vol. 12880, Springer, Cham, 2021, ISBN 978-3-030-85250-4, pp. 450–467.
  14. Kotelnikov E., Loukachevitch N., Nikishina I., Panchenko A.. “RuArg-2022: Argument mining evaluation”, Papers from the Annual International Conference “Dialogue-2022” (Moscow, June 15–18, 2022), Computational Linguistics and Intellectual Technologies, vol. 21, pp. 333–348.
  15. Fishcheva I. N., Goloviznina V. S., Kotelnikov E. V.. “Traditional machine learning and deep learning models for argumentation mining in Russian texts”, Papers from the Annual International Conference “Dialogue-2021”, Computational Linguistics and Intellectual Technologies, vol. 20, 2021, ISBN 978-5-7281-3032-1, pp. 246–258.
  16. Fishcheva I. N., Kotelnikov E. V.. “Cross-lingual argumentation mining for Russian texts”, 8th International Conference “Analysis of Images, Social networks and Texts” (AIST 2019), Lecture Notes in Computer Science, vol. 11832, Springer, Cham, 2019, ISBN 978-3-030-37333-7, pp. 134–144.
  17. Salomatina N. V., Kononenko I. S., Sidorova E. A., Pimenov I. S.. “Identification of connected arguments based on reasoning schemes ‘from expert opinion’”, International Conference «Marchuk Scientific Readings 2020» (MSR-2020), dedicated to the 95th anniversary of the birthday of RAS Academician Guri I. Marchuk (October 19–23, 2020, Akademgorodok, Novosibirsk, Russia), Journal of Physics: Conference Series, vol. 1715, 2021, 11 pp.
  18. Devlin J., Chang M.-W., Lee K., Toutanova K.. “BERT: Pre-training of deep bidirectional transformers for language understanding”, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics. 1: Long and Short Papers (Minneapolis, Minnesota), ACL, 2019, pp. 4171–4186.
  19. Brown T., Mann B., Ryder N., Subbiah M., Kaplan J. D., Dhariwal P., Neelakantan A., Shyam P., Sastry G., Askell A., Agarwal S., Herbert-Voss A., Krueger G., Henighan T., Child R., Ramesh A., Ziegler D., Wu J., Winter C., Hesse Ch., Chen M., Sigler E., Litwin M., Gray S., Chess B., Clark J., Berner Ch., McCandlish S., Radford A., Sutskever I., Amodei D.. “Language models are few shot learners”, NeurIPS 2020, Advances in Neural Information Processing Systems, vol. 33, 2020, ISBN 9781713829546, pp. 1877–1901.
  20. Ruckdeschel M., Wiedemann G.. “Boundary detection and categorization of argument aspects via supervised learning”, Proceedings of the 9th Workshop on Argument Mining (Online and in Gyeongju, Republic of Korea), International Conference on Computational Linguistics, 2022, pp. 126–136.
  21. Schiller B., Daxenberger J., Gurevych I.. “Aspect-controlled neural argument generation , aspect-controlled neural argument generation”, Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL 2021, ACL, 2021, pp. 380–396.
  22. Jurkschat L., Wiedemann G., Heinrich M., Ruckdeschel M., Torge S.. “Few-shot learning for argument aspects of the nuclear energy debate”, Proceedings of the 13th Language Resources and Evaluation Conference, LREC-2022 (Marseille, France), European Language Resources Association, 2022, pp. 663–672.
  23. Stab C., Gurevych I.. “Recognizing insufficiently supported arguments in argumentative essays”, Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics. 1: Long Papers, EACL-2017 (Valencia, Spain), ACL, 2017, pp. 980–990.
  24. Fishcheva I. N., Osadchiy D., Bochenina K. O., Kotelnikov E. V.. “Argumentative text generation in economic domain”, Papers from the Annual International Conference “Dialogue-2022” (Moscow, June 15–18, 2022), Computational Linguistics and Intellectual Technologies, vol. 21, pp. 211–222.
  25. Keskar N. S., McCann B., Varshney L. R., Xiong C., Socher R.. CTRL: A conditional transformer language model for controllable generation, 2019, 18 pp.
  26. Gormley C., Tong Z.. Elasticsearch: The Definitive Guide: A Distributed Real-Time Search and Analytics Engine, O'Reilly Media Inc., 2015, ISBN 978-1449358549, 721 pp.
  27. Peldszus A., Stede M.. “Joint prediction in MST-style discourse parsing for argumentation mining”, Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP 2015 (Lisbon, Portugal), ACL, 2015, pp. 938–948.
  28. Stab C., Miller T., Schiller B., Rai P., Gurevych I.. “Cross-topic argument mining from heterogeneous sources”, Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP-2018 (Brussels, Belgium), ACL, 2018, pp. 3664–3674.
  29. Manning C. D., Raghavan P., Schütze H.. Introduction to Information Retrieval, Cambridge University Press, 2008, ISBN 978-0521865715, 506 pp.
  30. Fleiss J. L.. “Measuring nominal scale agreement among many raters”, Psychological Bulletin, 76:5 (1971), pp. 378–382.
  31. Artstein R., Poesio M.. “Inter-coder agreement for computational linguistics”, Computational Linguistics, 34:4 (2008), pp. 555–596.
  32. Breiman L.. “Random forests”, Machine Learning, 45 (2001), pp. 5–32.
  33. Goloviznina V. S., Fishcheva I. N., Peskisheva T. A., Kotelnikov E. V.. “Aspect-based argument generation in Russian”, Papers from the Annual International Conference “Dialogue” (2023) (June 14–16, 2023), Computational Linguistics and Intellectual Technologies, vol. 22, Supplementary volume, pp. 117–129.
  34. Touvron H., Lavril T., Izacard G., Martinet X., Lachaux M.-A., Lacroix T., Rozière B., Goyal N., Hambro E., Azhar F., Rodriguez A., Joulin A., Grave E., Lample G.. LLaMA: Open and efficient foundation language models, 2023, 27 pp.

补充文件

附件文件
动作
1. JATS XML
下载


Creative Commons License
此作品已接受知识共享署名 4.0国际许可协议的许可

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».