ГЕНЕЗИС РИСКОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА И ИХ РЕАЛИЗАЦИЯ В АВТОНОМНЫХ СИСТЕМАХ ОТВЕТСТВЕННОГО НАЗНАЧЕНИЯ
- Авторы: Прокофьев О.В.1
-
Учреждения:
- Пензенский государственный технологический университет
- Выпуск: № 1 (2025)
- Страницы: 20-27
- Раздел: ФУНДАМЕНТАЛЬНЫЕ ОСНОВЫ ПРОБЛЕМ НАДЕЖНОСТИ И КАЧЕСТВА
- URL: https://journal-vniispk.ru/2307-4205/article/view/289651
- DOI: https://doi.org/10.21685/2307-4205-2025-1-3
- ID: 289651
Цитировать
Полный текст
Аннотация
Актуальность и цели. Многие исследования искусственного интеллекта с момента его создания посвящены изучению множества проблем и подходов для автономной работы в областях применения, связанных со здоровьем и жизнью человека. Представлено описание происхождения рисков, систематизации способов их проявления для построения систем ответственного назначения. Материалы и методы. Поскольку исследования в этой области пока не опираются на большой опыт внедрения, обсуждаемые источники рисков являются обобщением экспертных оценок авторитетных разработчиков и приведены на примере систем автономных вооружений. Результаты. Выявлены основные источники возникновения рисков, траектории их развития для различных вариантов причинно-следственной трансформации. Выводы. Сформулированы направления совершенствования процессов тестирования и отладки автономных систем ответственного назначения с точки зрения развития и формирования рисков применения.
Об авторах
Олег Владимирович Прокофьев
Пензенский государственный технологический университет
Автор, ответственный за переписку.
Email: prokof_ow@mail.ru
кандидат технических наук, доцент, доцент кафедры информационных технологий и систем
(Россия, г. Пенза, пр-д Байдукова/ ул. Гагарина, 1а/11)Список литературы
- Boulanin V., Saalman L., Topychkanov P. [et al.]. Artificial Intelligence, Strategic Stability and Nuclear Risk. 2020. URL: https://www.sipri.org/sites/default/files/2020-06/artificial_intelligence_strategic_stability_and_nuclear_ risk.pdf
- Integrating Cybersecurity and Critical Infrastructure. National, Regional and International Approaches / ed. by L. Saalman. 2018. URL: https://www.sipri.org/sites/default/files/2018-04/integrating_cybersecurity_0.pdf
- The Impact of Artificial Intelligence on Strategic Stability and Nuclear Risk. Vol. I. Euro-Atlantic Perspectives / ed. by V. Boulanin. 2020. URL: https://www.sipri.org/publications/2020/other-publications/artificial-intelligencestrategic- stability-and-nuclear-risk
- Boulanin V., Verbruggen M. Mapping the Development of Autonomy in Weapon Systems. 2020. URL: https://www.sipri.org/sites/default/files/2018-04/integrating_cybersecurity_0.pdf
- Boulanin V., Bruun L., Goussac N. Autonomous Weapon Systems And International Humanitarian Law. Identifying Limits and the Required Type and Degree of Human–Machine Interaction. 2021. URL: https://www.sipri.org/sites/default/files/2021-06/2106_aws_and_ihl_0.pdf
- Saalman L., Su F., Saveleva Dovgal L. Cyber Posture Trends in China, Russia, the United States and the European Union. 2022. URL: https://www.sipri.org/sites/default/files/2022-12/2212_cyber_postures_0.pdf
- Boulanin V. Mapping the development of autonomy in weapon systems. A primer on autonomy. 2017. URL: https://www.sipri.org/sites/default/files/Mapping-development-autonomy-in-weapon-systems.pdf
- Boulanin V., Goussac N., Bruun L., Richards L. Responsible Military Use of Artificial Intelligence. Can the European Union Lead the Way in Developing Best Practice? 2020. URL: https://www.sipri.org/publications/ 2020/other-publications/responsible-military-use-artificial-intelligence-can-european-union-lead-way-developing- best
- Boulanin V., Brockmann K., Richards L. Responsible Artificial Intelligence Research And Innovation For International Peace And Security. 2020. URL: https://www.sipri.org/sites/default/files/2020-11/sipri_report_responsible_ artificial_intelligence_research_and_innovation_for_international_peace_and_security_2011.pdf
- Bromley M., Maletta G. The Challenge of Software and Technology Transfers to Non-Proliferation Efforts. Implementing and Complying with Export Controls. 2018. URL: https://www.sipri.org/publications/2018/other-publications/ challenge-software-and-technology-transfers-non-proliferation-efforts-implementing-and-complying
- Su F., Boulanin V., Turell J. Cyber-incident Management Identifying and Dealing with the Risk of Escalation. 2020. IPRI Policy Paper No. 55. URL: https://www.sipri.org/publications/2020/sipri-policy-papers/cyber-incident- management-identifying-and-dealing-risk-escalation
- Morgan F. E., Boudreaux B., Lohn A. J. [et al.]. Military Applications of Artificial Intelligence Ethical Concerns in an Uncertain World. RAND Corporation, 2020. 202 p. URL: https://www.rand.org/pubs/research_reports/ RR3139-1.html
- Ruhl Ch. Autonomous weapon systems and military artificial intelligence (AI) applications report. 2022. URL: https://www.founderspledge.com/research/autonomous-weapon-systems-and-military-artificial-intelligence-ai
- Research Priorities for Robust and Beneficial Artificial Intelligence: An Open Letter. Future of Life Institute. URL: https://futureoflife.org/data/documents/research_priorities.pdf (дата обращения: 09.03.2024).
- Marr B. The 15 Biggest Risks Of Artificial Intelligence. URL: https://www.forbes.com/sites/bernardmarr/ 2023/06/02/the-15-biggest-risks-of-artificial-intelligence/?sh=20c095a92706
- Pause Giant AI Experiments: An Open Letter. URL: https://futureoflife.org/open-letter/pause-giant-ai-experiments/
- AI Ethics Code. URL: https://ethics.a-ai.ru/ (дата обращения: 09.03.2024).
- Delaborde A. Risk assessment of artificial intelligence in autonomous machines. 1st international workshop on Evaluating Progress in Artificial Intelligence (EPAI 2020) in conjunction with ECAI. URL: 2020. https://hal.science/hal-03009978
- ICRC position on autonomous weapon systems. International Committee of the Red Cross. URL: https://www.icrc.org/en/document/icrc-position-autonomous-weapon-systems
- Macrae C. Learning from the Failure of Autonomous and Intelligent Systems: Accidents, Safety and Sociotechnical Sources of Risk // SSRN Electronic Journal. 2021. doi: 10.2139/ssrn.3832621
- Hindriks F., Veluwenkamp H. The risks of autonomous machines: from responsibility gaps to control gaps // Synthese. 2023. Vol. 201. doi: 10.1007/s11229-022-04001-5
- Radanliev P., De Roure D., Maple C. [et al.]. Super forecasting the technological singularity risks from artificial intelligence // Evolving Systems. 2022. Vol. 13. P. 747–757. doi: 10.1007/s12530-022-09431-7
- The risks of Lethal Autonomous Weapons. The Future of Life Institute. URL: https://autonomousweapons.org/therisks
- Asilomar AI Principles. The Future of Life Institute. URL: https://futureoflife.org/open-letter/ai-principles/
- Artificial Intelligence Risk & Governance. By Artificial Intelligence/Machine Learning Risk & Security Working Group (AIRS). The Wharton School, The University of Pennsylvania, 2024. URL: https://ai.wharton.upenn.edu/ white-paper/artificial-intelligence-risk-governance/
- Skelton S. K. AI experts question tech industry’s ethical commitments. TechTarget, 2024. https://www.computerweekly. com/feature/AI-experts-question-tech-industrys-ethical-commitments
- Иванов А. И., Иванов А. П., Савинов К. Н., Еременко Р. В. Виртуальное усиление эффекта распараллеливания вычислений при переходе от бинарных нейронов к использованию q-арных искусственных нейронов // Надежность и качество сложных систем. 2022. № 4. С. 89–97.
- Ширинкина Е. В. Механизм применения искусственного интеллекта в обучении // Надежность и качество сложных систем. 2022. № 4. С. 24–30.
Дополнительные файлы
