Challenges of machine learning and mathematical modeling

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

The article considers the challenges and problems of machine learning that arise in supercomputer mathematical modeling of real-world processes and phenomena. Currently, such modeling has become the main tool for obtaining fundamental and applied knowledge, as well as a condition for a significant increase in labor productivity and gross domestic product. The principles of modern predictive modeling based on high-performance computing, artificial intelligence and big data processing are described. The trends in the development of high-tech mathematical and software within the framework of integrated computing environments are analyzed; the latter imply a flexible expansion of the composition of the studied models and applied algorithms, the effective use of external products, adaptation to the evolution of computer platforms focused on a long life cycle. The methodology of machine learning based on the technological cycle is presented, which includes the formation and modification of models, the implementation of a computational experiment with the solution of direct and inverse problems, analysis of the results and decision-making on optimizing activities to achieve the goals.

About the authors

V. P. Ilyin

Institute of Computational Mathematics and Mathematical Geophysics SB RAS; Novosibirsk State Technological University

Author for correspondence.
Email: ilin@sscc.ru

доктор физико-математических наук, главный научный сотрудник лаборатории вычислительной физики

Russian Federation, Novosibirsk; Novosibirsk

References

  1. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. 2015, vol. 521, pp. 436–444.
  2. Weinan E. Machine learning and computational mathematics // Commun. Comput. Phys. 2020, vol. 28, pp. 1639–1670.
  3. Dongarra J., Grigori L., Higham N.J. Numerical algorithms for high performance computational science // Phil. Trans. R. Soc. 2020, vol. 378, iss. 2166.
  4. Xu Y., Zeng Т. Sparse Deep Neural Network for Nonlinear Partial Differential // Equations. Numer. Math. Theor. Meth. Appl. 2022, vol. 16, no. 1, pp. 58–78.
  5. Ильин В.П. Математическое моделирование: философия науки // Сб. научно-поп. статей “Математика, механика и информатика”. М., 2017. С. 8–16. Il’in V.P. Mathematical modeling: The philosophy of science // Collection of Popular Science Articles “Mathematics, Mechanics, and Informatics”. Moscow, 2017. Pp. 8–16. (In Russ.) Il’in V.P. Artificial intelligence problems in mathematical modeling // Voevodin V., Sobolev S. (eds.) Russian supercomputing days 2019. CCIS – Springer. 2019, vol. 1129, pp. 505–516.
  6. Forrester A., Sobester A., Keane A. Engineering Design via Surrogate Modeling: A Practical Guide. Wiley, New York, 2008.
  7. Яненко Н.Н., Коновалов А.Н. Некоторые вопросы теории модульного анализа и параллельного программирования для задач математической физики и механики сплошной среды // Современные проблемы математической физики и вычислительной математики. М.: Наука, 1982. С. 200–217. Yanenko N.N., Konovalov A.N. Some questions of the theory of modular analysis and parallel programming for problems of mathematical physics and continuum mechanics // Modern Problems of Mathematical Physics and Computational Mathematics. Moscow: Nauka, 1982. Pp. 200–217. (In Russ.)
  8. Яненко Н.Н., Рычков А.Д. Актуальные проблемы прикладной математики и математического моделирования. Новосибирск: Наука, 1982. Yanenko N.N., Rychkov A.D. Topical Problems of Applied Mathematics and Mathematical Modeling. Novosibirsk: Nauka, 1982. (In Russ.)
  9. Ершов А.П., Ильин В.П. Пакеты программ – технология решения прикладных задач. Новосибирск: ВЦ СО АН СССР. Препринт № 121, 1978. Ershov A.P., Il’in V.P. Software packages: Technology for solving applied problems. Preprint no. 121. Computer Center of the Siberian Branch of the USSR Acad. Sci. Novosibirsk, 1978.
  10. Самарский А.А., Михайлов А.П. Математическое моделирование. М.: Физматлит, 2002. Samarskii A.A., Mikhailov A.P. Mathematical Modeling/ (Moscow: Fizmatgiz, 2002. (In Russ.)
  11. Ильин В.П. Как реорганизовать вычислительные науки и технологии // Вестник РАН. 2019. № 2. С. 232–242. Il’in V.P. How to reorganize computer science and technology // Vestn. Ross. Akad. Nauk. 2019, no. 2, pp. 232–242. (In Russ.)
  12. Ильин В.П. Математическое моделирование. Ч. 1. Непрерывные и дискретные модели. Новосибирск: Изд-во СО РАН, 2017. Il’in V.P. Mathematical Modeling. Part 1. Continuous and Discrete Models. Novosibirsk: SB RAS, 2017. (In Russ.)
  13. Il’in V.P. Iterative Preconditioned Methods in Krylov Spaces: Trends of the XXI Century // Computational Mathematics and Mathematical Physics. 2021, vol. 61, no. 11, pp. 1750–1775.
  14. Il’in V.P. Integrated Computational Environment for Grid Generation Parallel Technologies / L. Sokolinsky, M. Zymbler (eds.). CCIS. 2020, vol. 1263, pp. 58–68.
  15. Бутюгин Д.С., Ильин В.П. CHEBYSHEV: принципы автоматизации построения алгоритмов в интегрированной среде для сеточных аппроксимаций начально-краевых задач // Труды Международной конференции ПАВТ 2014. Челябинск: изд-во ЮУрГУ, 2014. С. 42–50. Butyugin D.S., Il’in V.P. CHEBYSHEV: Principles of automating the construction of algorithms in an integrated environment for grid approximations of initial-boundary value problems // Proceedings of the International Conference PAVT’2014. Chelyabinsk, 2014). Pp. 42–50. (In Russ.)
  16. Валиуллин А.Н., Ганжа В.Г., Ильин В.П., Яненко Н.Н. Задача автоматического построения и исследования на ЭВМ разностных схем в аналитическом виде // Доклады АН СССР. 1984. T. 275. № 3. С. 528–532. Valiullin A.N., Ganzha V.G., II’in V.P., Shapeev V.P., Yanenko N.N. Problem of automatic generation and investigation of difference schemes in symbolic form on a computer // DAN SSSR. 1984, vol. 275, no. 3, p. 528–532. (In Russ.)
  17. Il’in V.P. Parallel intelligent computing in algebraic problems / Sokolinsky. Parallel Computational Technologies. Communications in Computer and Information Science. 2021, vol. 1437, рр. 108–117.
  18. Il’in V. P.The integrated computational environment for optimization of complex systems // Proceedings of the 15th International Asian School-Seminar “Optimization Problems of Complex Systems” 2019. Pp. 65–67. https://doi.org/10.1109/opcs.2019.888015
  19. Il’in V.P., Skopin I.N. About performance and intellectuality of supercomputer modeling // Programming and Computer Software. 2016, vol. 42, iss. 1, pp. 5–16.
  20. Ушаков Д.М. Введение в математические основы САПР. Новосибирск: ЗАО “ЛЕДАС”, 2008.
  21. Ushakov D.M. Introduction to mathematical foundations of CAD. Novosibirsk, LEDAS Publ., 2008. (In Russ.)
  22. Bastian P., Blatt M., Dedner A. et al. The Dune Framework: Basic Concepts and Recent Developments, Computers and Mathematics with Applications, 2020. DOI.org/10.1016/j.camwa.2020.06.007
  23. OpenFOAM. https://www.openfoam.com/
  24. INMOST: A Toolkit for Distributed Mathematical Modeling. https://www.inmost.org
  25. Kleppe A. Software language engineering: Creating domain-specific language using metamodels. N.Y.: Addison-Wesley, 2008.
  26. DVM Systems. http://www.keldush.ru/dvm
  27. Aleeva V. Designing Parallel Programs on the Base of the Conception of Determinant // Supercomputing. RuSCDays 2018 (Communications in Computer and Information Science). 2019, vol. 965, pp. 565–577.
  28. Allan B., Armstrong R., Wolfe A. et al. The CCA Core specification in a Distributed Memory // SPMD Framework Concurrent Practice and Expedience. 2002, vol. 14, pp. 323–345.
  29. Malyshkin V.E. Active knowledge, LuNA and literacy for oncoming centuries // LNCS. 2015, vol. 9465, pp. 292–303.
  30. Ильин В.П. Концепция и архитектура базы знаний систем линейных алгебраических уравнений // Материалы IX конференции “Знания–Онтологии–Теории” 2023, 2–6 октября 2023 г. Новосибирск: ИСИ СОРАН, 2023. С. 143–154. Il’in V.P. The conception and architecture of the knowledge base of the systems of linear algebraic equations // Procced. IX Conference “Knowledge-Ontology-Theory”. Novosibirsk: ISI SBRAS, 2023. Pp. 143–154. (In Russ.)
  31. Antonov A., Dongarra J., Voevodin V. AlgoWiki Project as an Extension of the Top500 Methodology // Supercomput. Frontiers and Innovations. 2018, vol. 5, no. 1, pp. 4–10.
  32. Yang S., Nachum O., Du Yi. et all. Foundation Models for Decision Making: Problems, Methods, and Opportunities. ArXiv, abs/2303.04129. [cs. AI] 7 mar 2023.
  33. Grossmann T.G, Komorowska U.J., Latz J., Schönlieb C. Can physics informed neural networks beat the finite element method? // IMA Journal of Applied Mathematics, 2024, p. hxae011.
  34. Rudikov A., Fanaskov V., Muravleva E. et al. Neural operators meet conjugate gradients: The FCG-NO method for efficient PDE solving // Proceedings of the 41st International Conference on Machine Learning, ICML 2024, 2024.
  35. Goswami S., Bora A., Yu Y., Karniadakis G.E. Physics-informed deep neural operator networks // Machine Learning in Modeling and Simulation: Methods and Applications, Springer, 2023, pp. 219–254.
  36. Vaswani A. et al. Attention Is All Yоu Need // Proceed. of 31st Conference on Neural Information Processing Systems. NIPS. 2017, pp. 1–11.
  37. Srinivasan Р., Demuriya О., Grabowski В., Shapeev A.V. Electronic moment tensor potentials include both electronic and vibrational degrees of freedom // Computational Materials. 2024, vol. 10, iss. 1, id. 41.
  38. Fanaskov V.S., Oseledets I.V. Spectral neural operators // Doklady Mathematics. 2023, vol. 108, pp. S226–S232.
  39. Альтшуллер Г.С. Найти идею. Введение в теорию решения изобретательских задач. Новосибирск: Наука, 1986. Altshuller G.S. To find idea. The introduction into theory of solving the invent tasks. Novosibirsk: Nauka, 1986. (In Russ.)
  40. Zagorulko Yu., Zagorulko G. Architecture of extensible tools for development of intelligent decision support systems // New Trends in Software Methodologies, Tools and Techniques. Proc. of the 10th SoMeT-11. Hamido Fujita (Eds.). Amsterdam: IOS Press, 2011. Pp. 457–466.
  41. Bommasani R., Hudsa D.A., Adeli E. et al. On the opportunities and Risks of Foundation Models. CRFM, Stanford, 2021. doi: 10.48550/arXiv.2108.07258.
  42. Ильин В.П. Программирование ближайшего будущего: концепция и прагматика // Вестник РАН. 2023. № 2. С. 150–161. doi: 10.31857/S086958732302007X Ilyin V.P. Programming for the Near Future: Concepts and Pragmatic Considerations // Her. Russ. Acad. Sci. 2023, no. 1, pp. 92–102. https://doi.org/10.1134/S1019331623010112 (In Russ.)
  43. Luccioni A., Bengio Yо. On the Morality of Artificial Intelligence. arXiv:1912.11945 [cs.CY] https://doi.org/10.48550/arXiv.1912.11945

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Copyright (c) 2025 Russian Academy of Sciences

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».