О разделении ответственности за ошибки эксплуатации робототехнических систем

Обложка

Цитировать

Полный текст

Аннотация

Актуальность выбора предмета исследования как основы обеспечения безопасности применения робототехнических систем различного назначения, в первую очередь – использующих для управления искусственный интеллект, и объекта исследования, которым являются проблемы разделения ответственности за разработку и эксплуатацию робототехнических систем, определяется имеющимся противоречием между потребностью автономного применения робототехнических систем и сложностью программной реализации этого требования. В то же время, в робототехнике, довольно часто, именно ошибки алгоритмов управления служат источником большинства проблем. На основании анализа нормативных документов, регламентирующих разработку средств искусственного интеллекта, проанализированы возможные проблемы обеспечения безопасности применения автономных робототехнических систем. Синтезирован вывод, что в существующем состоянии данные документы не обеспечивают решения проблемы безопасности систем искусственного интеллекта.  В качестве методологической основы исследования был избран системный подход. Использование системного подхода, методов декомпозиции и сравнительного анализа, дало возможность рассматривать в комплексе проблемы разделения зон ответственности разработчиков и эксплуатантов автономных и частично автономных роботов, реализующих принципы управления на основе искусственного интеллекта. Источниковую базу исследования составили научные статьи, нормативные и законодательные документы, находящиеся в открытом доступе. Сделан вывод, что существующие подходы к обучению и самообучению систем искусственного интеллекта, управляющих автономными роботами “размывают” границы ответственности участников процесса, что, в теории, может приводить к возникновению критических ситуаций при эксплуатации. С учётом этого, на основе анализа типового процесса разработки и применения, предложено уточнить распределение ответственности, а также добавить в процесс новых участников: дополнить его специалистами, направленно занимающимися безопасностью и непредвзятостью искусственного интеллекта (AI Alignment), а таже обеспечить групповой подход в разработке алгоритмов искусственного интелелкта и машинного обучения, обеспечивающий снижение фактора субъективности. Применение синтезированых в статье принципов разделения ответственности, теоретически, обеспечит повышение безопасности робототехнических систем, построенных на основе использования искусственного интеллекта

Об авторах

Олег Васильевич Тиханычев

ГК "Техносерв"

Email: to.technoserv@gmail.com
ORCID iD: 0000-0003-4759-2931
заместитель начальника отдела управления перспективных разработок;

Список литературы

  1. Чиров Д.С., Новак К.В. Перспективные направления развития робототехнических комплексов специального назначения // Вопросы безопасности. 2018. № 2. С. 50-59. doi: 10.25136/2409-7543.2018.2.22737 URL: https://e-notabene.ru/nb/article_22737.html
  2. John W. Tammen NATO Basic Concept of Warfare: Looking Ahead – The Changing Nature of Warfare // NATO Review. 2021 URL: https://www.nato.int/docu/review/ru/articles/2021/07/09/bazovaya-kontseptsiya-boevyh-dejstvij-nato-v-perspektive-menyayushchijsya-harakter-vojny/index.html.
  3. Хрипунов С.П., Чиров Д.С., Благодарящев И.В. Военная робототехника: современные тренды и векторы развития // Тренды и управление. 2015. № 4. С. 410-422. URL: https://e-notabene.ru/tumag/article_67141.html
  4. Pflimlin É Drones et robots: La guerre des futurs. France: Levallois-Perret. 2017.
  5. Roosevelt, Ann. Army Directs Cuts, Adjustments, To FCS. Defense Daily. 2017.
  6. Hamilton T How AI will Alter Multi-Domain Warfare // Future Combat Air & Space Capabilities Summit. 2023. No.4. URL: https://www.aerosociety.com/events-calendar/raes-future-combat-air-and-space-capabilities-summit.
  7. Tikhanychev O.V. Exploring Morality and Politeness in the Context of Robotic Systems: A Conceptual Interpretation // BIO Web of Conferences. 2024, No.138. 03020. doi.org/10.1051/bioconf/202413803020.
  8. Beard J. Autonomous weapons and human responsibilities // Georgetown Journal of International Law. 2014. No. 45, рр. 617–681.
  9. Schuller A. At the Crossroads of Control: The Intersection of Artificial Intelligence in Autonomous Weapon Systems with International Humanitarian Law // Harvard National Security Journal. 2017. No. 8. pp. 379-425.
  10. Ухоботов В.И., Изместьев И.В. Об одной задаче преследования при наличии сопротивлении среды // Вестник Южно-Уральского государственного университета. Серия «Математика. Механика. Физика». 2016. № 8(2). С. 62-66. doi.org/10.14529/mmph160208.
  11. Tikhanychev O.V. Self-Check System of Heuristic Algorithms as a "New Moral" of Intelligent Systems // AIP Conference Proceedings. 2023. No. 2700. 040028 https://doi.org/10.1063/5.0124956.
  12. Ćwiąkała P. Testing Procedure of Unmanned Aerial Vehicles (UAVs) Trajectory in Automatic Missions // Applied Science. 2019. No. 9. pp. 3488. doi.org/10.3390/app9173488.
  13. Johnson D Computer Systems: Moral entities but not moral agents // Ethics and Information Technology. 2016. No. 8. pp. 195-204. doi.org/10.1007/s10676-006-9111.
  14. Дубанов А.А. Моделирование траектории преследователя в пространстве при методе параллельного сближения // Программные системы и вычислительные методы. 2021. № 2. С. 1-10. doi.org/10.7256/2454-0714.2021.2.36014.
  15. Tikhanychev O.V. Development of situational algorithms for the use of robotic systems // E3S Web of Conferences. 2024. No. 531. 02004. doi.org/10.1051/e3sconf/202453102004.
  16. Курденкова Е.О., Черепнина М.С., Чистякова А.С., Архипенко К.В. Влияние трансформаций на успешность состязательных атак для классификаторов изображений Clipped BagNet и ResNet. Труды ИСП РАН, том 34. Вып. 6. 2022. C. 101-116. doi.org/10.15514/ISPRAS-2022-34(6)-7.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).