РИСКИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ПРИ ИСПОЛЬЗОВАНИИ В СОЦИОТЕХНИЧЕСКИХ СИСТЕМАХ

Обложка

Цитировать

Полный текст

Аннотация

Актуальность и цели. Применение автономных устройств с искусственным интеллектом в социотехнических системах привело к появлению новых задач, решение которых значительно сложнее по сравнению с задачами предыдущего этапа совершенствования человекомашинного интерфейса. Авторами работы было проведено исследование по выявлению источников риска в социотехнических системах и способов их снижения на этапах жизненного цикла автономных устройств. Материалы и методы. В исследовании использованы данные открытых отчетов к статистическим опросам разработчиков и пользователей устройств ответственного назначения, отчетов об исследовании аварий автономного транспорта Uber AV. Результаты. Даны формулировки источников риска, возникающих при использовании автономных устройств с искусственным интеллектом в социотехнических системах. Представлен пример жизненного цикла устройства, предусматривающий контроль человека на этапах разработки и эксплуатации. Выводы. Управление рисками в случаях ответственного применения устройства возможно при соответствии реальных этапов жизненного цикла перечисленному в статье ряду критериев безопасности.

Об авторах

Михаил Юрьевич Михеев

Пензенский государственный технологический университет

Автор, ответственный за переписку.
Email: mix1959@gmail.com

доктор технических наук, профессор, заведующий кафедрой информационных технологий и систем

(Россия, г. Пенза, пр-д Байдукова/ул. Гагарина, 1а/11)

Олег Владимирович Прокофьев

Пензенский государственный технологический университет

Email: prokof_ow@mail.ru

кандидат технических наук, доцент, доцент кафедры информационных технологий и систем

(Россия, г. Пенза, пр-д Байдукова/ ул. Гагарина, 1а/11)

Ирина Юриевна Семочкина

Пензенский государственный технологический университет

Email: ius1961@gmail.com

кандидат технических наук, доцент, доцент кафедры информационных технологий и систем

(Россия, г. Пенза, пр-д Байдукова/ул. Гагарина, 1а/11)

Список литературы

  1. Sociotechnical system. URL: https://en.wikipedia.org/wiki/Sociotechnical_system
  2. Pause Giant AI Experiments: An Open Letter. URL: https://futureoflife.org/open-letter/pause-giant-ai-experiments/
  3. Boulanin V., Saalman L., Topychkanov P. [et al.]. Artificial Intelligence, Strategic Stability and Nuclear Risk. 2020. URL: https://www.sipri.org/sites/default/files/2020-06/artificial_intelligence_strategic_stability_and_nuclear_ risk.pdf
  4. Integrating Cybersecurity and Critical Infrastructure. National, Regional and International Approaches / ed. by L. Saalman. 2018. URL: https://www.sipri.org/sites/default/files/2018-04/integrating_cybersecurity_0.pdf
  5. The Impact of Artificial Intelligence on Strategic Stability and Nuclear Risk. Volume I. Euro-Atlantic Perspectives / ed. by V. Boulanin. 2020. URL: https://www.sipri.org/publications/2020/other-publications/artificial-intelligencestrategic- stability-and-nuclear-risk
  6. Boulanin V., Verbruggen M. Mapping the Development of Autonomy in Weapon Systems. 2020. URL: https://www.sipri.org/sites/default/files/2018-04/integrating_cybersecurity_0.pdf
  7. Boulanin V., Bruun L., Goussac N. Autonomous Weapon Systems And International Humanitarian Law. Identifying Limits and the Required Type and Degree of Human–Machine Interaction. 2021. URL: https:// www.sipri.org/sites/default/files/2021-06/2106_aws_and_ihl_0.pdf
  8. Saalman L., Su F., Saveleva Dovgal L. Cyber Posture Trends in China, Russia, the United States and the European Union. 2022. URL: https://www.sipri.org/sites/default/files/2022-12/2212_cyber_postures_0.pdf
  9. Boulanin V. Mapping the development of autonomy in weapon systems. A primer on autonomy. 2017. URL: https://www.sipri.org/sites/default/files/Mapping-development-autonomy-in-weapon-systems.pdf
  10. Boulanin V., Goussac N., Bruun L., Richards L. Responsible Military Use of Artificial Intelligence. Can the European Union Lead the Way in Developing Best Practice? 2020. URL: https://www.sipri.org/publications/2020/ other-publications/responsible-military-use-artificial-intelligence-can-european-union-lead-way-developing-best
  11. Boulanin V., Brockmann K., Richards L. Responsible Artificial Intelligence Research And Innovation For International Peace And Security. 2020. URL: https://www.sipri.org/sites/default/files/2020-11/sipri_report_responsible_ artificial_intelligence_research_and_innovation_for_international_peace_and_security_2011.pdf
  12. Bromley M., Maletta G. The Challenge of Software and Technology Transfers to Non-Proliferation Efforts. Implementing and Complying with Export Controls. 2018. URL: https://www.sipri.org/publications/2018/other-publications/ challenge-software-and-technology-transfers-non-proliferation-efforts-implementing-and-complying
  13. Su F., Boulanin V., Turell J. Cyber-incident Management Identifying and Dealing with the Risk of Escalation. 2020. IPRI Policy Paper No. 55. URL: https://www.sipri.org/publications/2020/sipri-policy-papers/cyber-incident- management-identifying-and-dealing-risk-escalation
  14. Национальная стратегия развития искусственного интеллекта на период до 2030 года. URL: http://pravo.gov.ru/proxy/ips/?docbody=&firstDoc=1&lastDoc=1&nd=102608394
  15. Альянс в сфере искусственного интеллекта. URL: https://a-ai.ru/
  16. Кодекс этики в сфере искусственного интеллекта. URL: https://ethics.a-ai.ru/assets/ethics_files/2023/05/12/ %D0 %9A %D0 %BE %D0 %B4 %D0 %B5 %D0 %BA %D1 %81_ %D1 %8D %D1 %82 %D0 %B8 %D0 %BA %D0 %B8_20_10_1.pdf
  17. Применение искусственного интеллекта на финансовом рынке : докл. для общественных консультаций. М. : Банк России, 2023. 51 с. URL: https://www.cbr.ru/Content/Document/File/156061/Consultation_Paper_ 03112023.pdf
  18. Hindriks F., Veluwenkamp H. The risks of autonomous machines: from responsibility gaps to control gaps // Synthese. 2023. Vol. 201. doi: 10.1007/s11229-022-04001-5
  19. Radanliev P., De Roure D., Maple C. [et al.]. Super forecasting the technological singularity risks from artificial intelligence // Evolving Systems. 2022. Vol. 13. P. 747–757. doi: 10.1007/s12530-022-09431-7
  20. Macrae C. Learning from the Failure of Autonomous and Intelligent Systems: Accidents, Safety and Sociotechnical Sources of Risk // SSRN Electronic Journal. 2021. doi: 10.2139/ssrn.3832621
  21. Morgan F. E., Boudreaux B., Lohn A. J. [et al.]. Military Applications of Artificial Intelligence Ethical Concerns in an Uncertain World. RAND Corporation, 2020. 202 p. URL: https://www.rand.org/pubs/research_reports/ RR3139-1.html
  22. Artificial Intelligence Risk & Governance. By Artificial Intelligence/Machine Learning Risk & Security Working Group (AIRS). The Wharton School, The University of Pennsylvania, 2024. URL: https://ai.wharton.upenn. edu/white-paper/artificial-intelligence-risk-governance/
  23. Ruhl Ch. Autonomous weapon systems and military artificial intelligence (AI) applications report. 2022. URL: https://www.founderspledge.com/research/autonomous-weapon-systems-and-military-artificial-intelligence-ai
  24. Михеев М. Ю., Прокофьев О. В., Савочкин А. Е., Семочкина И. Ю. Обеспечение надежности в жизненном цикле систем искусственного интеллекта ответственного назначения // Надежность и качество сложных систем. 2023. № 3. С. 12–20.
  25. Иванов А. И., Иванов А. П., Савинов К. Н., Еременко Р. В. Виртуальное усиление эффекта распараллеливания вычислений при переходе от бинарных нейронов к использованию q-арных искусственных нейронов // Надежность и качество сложных систем. 2022. № 4. С. 89–97.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать


Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».