The Analysis of Ontology-Based Neuro-Symbolic Intelligence Methods for Collaborative Decision Support

封面

如何引用文章

全文:

详细

The neural network approach to AI, which has become especially widespread in the last decade, has two significant limitations – training of a neural network, as a rule, requires a very large number of samples (not always available), and the resulting models often are not well interpretable, which can reduce their credibility. The use of symbols as the basis of collaborative processes, on the one hand, and the proliferation of neural network AI, on the other hand, necessitate the synthesis of neural network and symbolic paradigms in relation to the creation of collaborative decision support systems. The article presents the results of an analytical review in the field of ontology-oriented neuro-symbolic artificial intelligence with an emphasis on solving problems of knowledge exchange during collaborative decision support. Specifically, the review attempts to answer two questions: 1. how symbolic knowledge, represented as an ontology, can be used to improve AI agents operating on the basis of neural networks (knowledge transfer from a person to AI agents); 2. how symbolic knowledge, represented as an ontology, can be used to interpret decisions made by AI agents and explain these decisions (transfer of knowledge from an AI agent to a person). As a result of the review, recommendations were formulated on the choice of methods for introducing symbolic knowledge into neural network models, and promising areas of ontology-oriented methods for explaining neural networks were identified.

作者简介

N. Shilov

St. Petersburg Federal Research Center of the Russian Academy of Sciences (SPC RAS)

Email: nick@iias.spb.su
14-th Line V.O. 39

A. Ponomarev

St. Petersburg Federal Research Center of the Russian Academy of Sciences (SPC RAS)

Email: ponomarev@iias.spb.su
14-th Line V.O. 39

A. Smirnov

St. Petersburg Federal Research Center of the Russian Academy of Sciences (SPC RAS)

Email: smir@iias.spb.su
14-th Line V.O. 39

参考

  1. Burkart N., Huber M.F. A survey on the explainability of supervised machine learning // J. Artif. Intell. Res. 2021. vol. 70. pp. 245–317.
  2. Futia G., Vetrò A. On the integration of knowledge graphs into deep learning models for a more comprehensible AI-Three challenges for future research // Inf. 2020. vol. 11. no. 2. doi: 10.3390/info11020122.
  3. Smirnov A., Ponomarev A. Human-Machine Collective Intelligence Environment for Decision Support: Conceptual and Technological Design // 27th Conference of Open Innovation Association, FRUCT. 2020. pp. 330–336. doi: 10.23919/FRUCT49677.2020.9211077.
  4. Fernback J. Symbolic Interactionism in Communication // Communication. Oxford University Press, 2019.
  5. Garcez A. d’Avila, Lamb L.C. Neurosymbolic AI: The 3rd Wave. 2020. 37 p. doi: 10.48550/arXiv.2012.05876.
  6. Радюш Д.В. Применение нейро-символьных моделей в разработке вопросно-ответных систем // XI конгресс молодых учёных. Санкт-Петербург, 2022. Т. 2. С. 122–126.
  7. Каширин И.Ю. Нейронные сети, использующие модели знаний // Современные технологии в науке и образовании – СТНО-2021. 2021. С. 9–13.
  8. Ultsch A. The Integration of Neural Networks with Symbolic Knowledge Processing // New Approaches in Classification and Data Analysis. 1994. pp. 445–454.
  9. Picco G. et al. Neural Unification for Logic Reasoning over Natural Language. Findings of the Association for Computational Linguistics: EMNLP. 2021. pp. 3939–3950. doi: 10.48550/arXiv.2109.08460.
  10. Грибова В.В., Гельцер Б.И., Шахгельдян К.И., Петряева М.В., Шалфеева Е.А., Костерин В.В. Гибридная технология оценки рисков и прогнозирования в кардиологии // Врач и информационные технологии. 2022. № 3. С. 24–35. doi: 10.25881/18110193_2022_3_24.
  11. Wermter S., Sun R. An Overview of Hybrid Neural Systems // Lect. Notes Artif. Intell. Subseries Lect. Notes Comput. Sci. Springer. 2000. vol. 1778. pp. 1–13.
  12. Garcez A. d’Avila et al. Neural-Symbolic Computing: An Effective Methodology for Principled Integration of Machine Learning and Reasoning. 2019. vol. 6 no. 4. pp. 611–632. doi: 10.48550/arXiv.1905.06088.
  13. Tran S.N., d’Avila Garcez A.S. Deep Logic Networks: Inserting and Extracting Knowledge From Deep Belief Networks // IEEE Trans. Neural Networks Learn. Syst. 2018. vol. 29. no. 2. pp. 246–258.
  14. Poon H., Domingos P. Sum-Product Networks: A New Deep Architecture. IEEE International Conference on Computer Vision Workshops (ICCV Workshops). 2012. doi: 10.48550/arXiv.1202.3732.
  15. Muggleton S. Inverse entailment and progol // New Gener. Comput. 1995. vol. 13. no. 3–4. pp. 245–286.
  16. Dong H., Mao J., Lin T., Wang C., Li L., Zhou D. et al. Neural Logic Machines. International Conference on Learning Representations. 2019. doi: 10.48550/arXiv.1904.11694.
  17. Evans R., Grefenstette E. Learning Explanatory Rules from Noisy Data. Journal of Artificial Intelligence Research. 2017. vol. 61. pp. 1–64. doi: 10.48550/arXiv.1711.04574.
  18. Gori M. Machine Learning: A Constraint-Based Approach. Morgan Kaufmann, 2017. 580 p.
  19. Garcez A.S. d’Avila, Lamb L.C. Reasoning about time and knowledge in neural-symbolic learning systems // NIPS’03: Proceedings of the 16th International Conference on Neural Information Processing Systems. 2003. pp. 921–928.
  20. Borges R.V., d’Avila Garcez A., Lamb L.C. Learning and Representing Temporal Knowledge in Recurrent Networks // IEEE Trans. Neural Networks. 2011. vol. 22. no. 12. pp. 2409–2421.
  21. Penning L. de et al. A Neural-Symbolic Cognitive Agent for Online Learning and Reasoning // Proceedings of the 22nd International Joint Conference on Artificial Intelligence (IJCAI 2011). 2011. pp. 1653–1658. doi: 10.5591/978-1-57735-516-8/IJCAI11-278.
  22. Palangi H. et al. Question-Answering with Grammatically-Interpretable Representations. The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18). 2017. pp. 5350–5357.
  23. Fletcher J., Obradovi Z. Combining Prior Symbolic Knowledge and Constructive Neural Network Learning // Conn. Sci. 1993. vol. 5. no. 3–4. pp. 365–375.
  24. Towel G.G., Shavlik J.W., Noordewier M.O. Refinement of Approximate Domain Theories by Knowledge-Based Neural Networks // Eighth National Conference on Artifiical Inrelligence (AAAI). 1990. pp. 861–866.
  25. Pitz D.W., Shavlik J.W. Dynamically adding symbolically meaningful nodes to knowledge-based neural networks // Knowledge-Based Syst. 1995. vol. 8. no. 6. pp. 301–311.
  26. Arabshahi F., Singh S., Anandkumar A. Combining Symbolic Expressions and Black-box Function Evaluations in Neural Programs. 6th International Conference on Learning Representations. 2018. doi: 10.48550/arXiv.1801.04342.
  27. Xie Y. et al. Embedding Symbolic Knowledge into Deep Networks // Adv. Neural Inf. Process. Syst. 2019. no. 32.
  28. Hu Z. et al. Harnessing Deep Neural Networks with Logic Rules. 2016. pp. 2410–2420. doi: 10.48550/arXiv.1603.06318.
  29. Prem E. et al. Concept support as a method for programming neural networks with symbolic knowledge // GWAI-92: Advances in Artificial Intelligence. Berlin/Heidelberg: Springer-Verlag. 1992. pp. 166–175.
  30. Shavlik J.W. Combining symbolic and neural learning // Mach. Learn. 1994. vol. 14, no. 3. pp. 321–331.
  31. Li Y., Ouyang S., Zhang Y. Combining deep learning and ontology reasoning for remote sensing image semantic segmentation // Knowledge-Based Syst. 2022. vol. 243. pp. 108469.
  32. Dash T., Srinivasan A., Vig L. Incorporating symbolic domain knowledge into graph neural networks // Mach. Learn. 2021. vol. 110. no 7. pp. 1609–1636.
  33. Pomerleau D.A., Gowdy J., Thorpe C.E. Combining artificial neural networks and symbolic processing for autonomous robot guidance // Eng. Appl. Artif. Intell. 1991. vol. 4. no. 4. pp. 279–285.
  34. Bakhti K. et al. Citation Function Classification Based on Ontologies and Convolutional Neural Networks // Commun. Comput. Inf. Sci. 2018. vol. 870. pp. 105–115.
  35. Deng Y. et al. A Hybrid Movie Recommender Based on Ontology and Neural Networks // 2010 IEEE/ACM Int’l Conference on Green Computing and Communications & Int’l Conference on Cyber, Physical and Social Computing. IEEE, 2010. pp. 846–851.
  36. Trappey A.J.C. et al. Ontology-based neural network for patent knowledge management in design collaboration // Int. J. Prod. Res. 2013. vol. 51. no. 7. pp. 1992–2005.
  37. Hung C., Wermter S. Neural Network Based Document Clustering Using WordNet Ontologies // Int. J. Hybrid Intell. Syst. 2005. vol. 1. no. 3–4. pp. 127–142.
  38. Hinnerichs T., Hoehndorf R. DTI-Voodoo: machine learning over interaction networks and ontology-based background knowledge predicts drug–target interactions / ed. Wren J. // Bioinformatics. 2021. vol. 37. no. 24. pp. 4835–4843.
  39. Lamurias A. et al. BO-LSTM: classifying relations via long short-term memory networks along biomedical ontologies // BMC Bioinformatics. 2019. vol. 20. no. 1. pp. 10.
  40. Breen C., Khan L., Ponnusamy A. Image classification using neural networks and ontologies // Proceedings. 13th International Workshop on Database and Expert Systems Applications. IEEE Comput. Soc, 2002. pp. 98–102.
  41. Xu J. et al. A Semantic Loss Function for Deep Learning with Symbolic Knowledge // Proc. Mach. Learn. Res. 2018. vol. 80. pp. 5502–5511.
  42. Yang Z., Ishay A., Lee J. NeurASP: Embracing Neural Networks into Answer Set Programming // Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence. California: International Joint Conferences on Artificial Intelligence Organization, 2020. pp. 1755–1762.
  43. Lee J., Wang Y. Weighted Rules under the Stable Model Semantics // Proceedings, Fifteenth International Conference on Principles of Knowledge Representation and Reasoning (KR 2016). 2016. pp. 145–154.
  44. Garcez A.S. d’Avila et al. Abductive reasoning in neural-symbolic systems // Topoi. 2007. vol. 26. no. 1. pp. 37–49.
  45. Lai P. et al. Ontology-based Interpretable Machine Learning for Textual Data // 2020 International Joint Conference on Neural Networks (IJCNN). IEEE, 2020. pp. 1–10.
  46. Аверкин А.Н. Объяснимый искусственный интеллект: итоги и перспективы // Интегрированные модели и мягкие вычисления в искусственном интеллекте (ИММВ-2021). Сборник научных трудов X-й Международной научно-технической конференции. 2021. С. 153–174.
  47. Карпов О.Э., Андриков Д.А., Максименко В.А., Храмов А.Е. Прозрачный искусственный интеллект для медицины // Врач и информационные технологии. 2022. № 2. C. 4–11. doi: 10.25881/18110193_2022_2_4.
  48. Захарова И.Г., Воробьева М.С., Боганюк Ю.В. Сопровождение индивидуальных образовательных траекторий на основе концепции объяснимого искусственного интеллекта // Образование и наука. 2022. Т. 24. № 1. pp. 163–190.
  49. Шевская Н.В. Объяснимый искусственный интеллект и методы интерпретации результатов // Моделирование, оптимизация и информационные технологии. 2021. Т. 9. № 2(33). pp. 22.
  50. 50. Аверкин А.Н., Ярушев С.А. Обзор исследований в области разработки методов извлечения правил из искусственных нейронных сетей // Известия Российской академии наук. Теория и системы управления. 2021. № 6. С. 106–121.
  51. Шевская Н.В., Охримук Е.С., Попов Н.В. Причинно-следственные связи в объяснимом искусственном интеллекте // Международная конференция по мягким вычислениям и измерениям. 2022. С. 170–173.
  52. Bourgeais V. et al. Deep GONet: self-explainable deep neural network based on Gene Ontology for phenotype prediction from gene expression data // BMC Bioinformatics. BioMed Central, 2021. vol. 22. pp. 1–24.
  53. Ma T., Zhang A. Incorporating Biological Knowledge with Factor Graph Neural Network for Interpretable Deep Learning. 2019. doi: 10.48550/arXiv.1906.00537.
  54. Panigutti C., Perotti A., Pedreschi D. Doctor XAI An ontology-based approach to black-box sequential data classification explanations // FAT* 2020 – Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency. 2020. pp. 629–639.
  55. Daniels Z.A. et al. A framework for explainable deep neural models using external knowledge graphs / Ed. Pham T., Solomon L., Rainey K. // Proc. SPIE 11413, Artificial Intelligence and Machine Learning for Multi-Domain Operations Applications IISPIE, 2020. pp. 73.
  56. Confalonieri R. et al. An Ontology-based Approach to Explaining Artificial Neural Networks. 2019.
  57. Confalonieri R. et al. Trepan reloaded: A knowledge-driven approach to explaining black-box models // Front. Artif. Intell. Appl. 2020. vol. 325. pp. 2457–2464.
  58. Confalonieri R. et al. Using ontologies to enhance human understandability of global post-hoc explanations of black-box models // Artif. Intell. Elsevier, 2021. vol. 296. pp. 103471.
  59. Bourguin G. et al. Towards Ontologically Explainable Classifiers. Artificial Neural Networks and Machine Learning – ICANN. 2021. pp. 472–484. DOI: ff10.1007/978-3-030-86340-1_38.
  60. Rudin C. Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead // Nat. Mach. Intell. 2019. vol. 1. no. 5. pp. 206–215.
  61. Voogd J. et al. Using Relational Concept Networks for Explainable Decision Support // 3rd IFIP Cross Domain Conference for Machine Learning and Knowledge Extraction (CD-MAKE). 2019. pp. 78–93. doi: 10.1007/978-3-030-29726-8_6.
  62. Fong A.C.M., Hong G. Ontology-Powered Hybrid Extensional-Intensional Learning // Proceedings of the 2019 International Conference on Information Technology and Computer Communications (ITCC2019). New York, USA: ACM Press, 2019. pp. 18–23.
  63. Bellucci M. et al. Ontologies to build a predictive architecture to classify and explain // DeepOntoNLP Workshop @ESWC 2022. 2022.
  64. Martin T. et al. Bridging the gap between an ontology and deep neural models by pattern mining // The Joint Ontology Workshops, JOWO. 2020. vol. 2708.
  65. De Sousa Ribeiro M., Leite J. Aligning Artificial Neural Networks and Ontologies towards Explainable AI // Proceedings of the AAAI Conference on Artificial Intelligence. 2021. vol. 35. no. 6. pp. 4932–4940.
  66. Agafonov A., Ponomarev A. An Experiment on Localization of Ontology Concepts in Deep Convolutional Neural Networks // The 11th International Symposium on Information and Communication Technology. NY, USA: ACM, 2022. pp. 82–87.
  67. Ponomarev A., Agafonov A. Ontology Concept Extraction Algorithm for Deep Neural Networks // 2022 32nd Conference of Open Innovations Association (FRUCT). IEEE, 2022. pp. 221–226.
  68. Sarker M.K. et al. Wikipedia Knowledge Graph for Explainable AI // KGSWC 2020, CCIS 1232. 2020. pp. 72–87.
  69. Abbass H.A. et al. Machine Education: Designing semantically ordered and ontologically guided modular neural networks // IEEE Symposium Series on Computational Intelligence (SSCI). IEEE, 2019. pp. 948–955.
  70. Smirnov A. et al. Multi-aspect Ontology for Interoperability in Human-machine Collective Intelligence Systems for Decision Support // Proceedings of the 11th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management. SCITEPRESS – Science and Technology Publications, 2019. pp. 458–465.

补充文件

附件文件
动作
1. JATS XML
下载

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».