On the division of responsibility for errors in the operation of robotic systems

Cover Page

Cite item

Full Text

Abstract

The relevance of choosing the subject of research as the basis for ensuring the safety of the use of robotic systems for various purposes, primarily those using artificial intelligence for control, and the object of research, which is the problem of sharing responsibility for the development and operation of robotic systems, is determined by the existing contradiction between the need for autonomous use of robotic systems and the complexity of software implementation of this requirement. At the same time, in robotics, quite often, it is the errors of control algorithms that are the source of most problems. Based on the analysis of regulatory documents regulating the development of artificial intelligence tools, possible problems of ensuring the safety of the use of autonomous robotic systems are analyzed. The conclusion is synthesized that, in the current state, these documents do not provide solutions to the security problem of artificial intelligence systems.  A systematic approach was chosen as the methodological basis of the study. The use of a systematic approach, decomposition methods and comparative analysis made it possible to consider in a complex the problems of dividing the areas of responsibility of developers and operators of autonomous and partially autonomous robots implementing the principles of control based on artificial intelligence. The research's source base consists of scientific articles, regulatory and legislative documents that are publicly available. It is concluded that the existing approaches to training and self-learning of artificial intelligence systems that control autonomous robots “blur” the boundaries of responsibility of the participants in the process, which, in theory, can lead to critical situations during operation. With this in mind, based on the analysis of a typical development and application process, it is proposed to clarify the distribution of responsibility, as well as add new participants to the process: supplement it with specialists focused on the safety and impartiality of artificial intelligence (AI Alignment), and also provide a group approach in the development of artificial intelligence and machine learning algorithms, reducing the subjectivity factor.. Theoretically, the application of the principles of responsibility sharing synthesized in the article will ensure an increase in the safety of robotic systems based on the use of artificial intelligence.

References

  1. Чиров Д.С., Новак К.В. Перспективные направления развития робототехнических комплексов специального назначения // Вопросы безопасности. 2018. № 2. С. 50-59. doi: 10.25136/2409-7543.2018.2.22737 URL: https://e-notabene.ru/nb/article_22737.html
  2. John W. Tammen NATO Basic Concept of Warfare: Looking Ahead – The Changing Nature of Warfare // NATO Review. 2021 URL: https://www.nato.int/docu/review/ru/articles/2021/07/09/bazovaya-kontseptsiya-boevyh-dejstvij-nato-v-perspektive-menyayushchijsya-harakter-vojny/index.html.
  3. Хрипунов С.П., Чиров Д.С., Благодарящев И.В. Военная робототехника: современные тренды и векторы развития // Тренды и управление. 2015. № 4. С. 410-422. URL: https://e-notabene.ru/tumag/article_67141.html
  4. Pflimlin É Drones et robots: La guerre des futurs. France: Levallois-Perret. 2017.
  5. Roosevelt, Ann. Army Directs Cuts, Adjustments, To FCS. Defense Daily. 2017.
  6. Hamilton T How AI will Alter Multi-Domain Warfare // Future Combat Air & Space Capabilities Summit. 2023. No.4. URL: https://www.aerosociety.com/events-calendar/raes-future-combat-air-and-space-capabilities-summit.
  7. Tikhanychev O.V. Exploring Morality and Politeness in the Context of Robotic Systems: A Conceptual Interpretation // BIO Web of Conferences. 2024, No.138. 03020. doi.org/10.1051/bioconf/202413803020.
  8. Beard J. Autonomous weapons and human responsibilities // Georgetown Journal of International Law. 2014. No. 45, рр. 617–681.
  9. Schuller A. At the Crossroads of Control: The Intersection of Artificial Intelligence in Autonomous Weapon Systems with International Humanitarian Law // Harvard National Security Journal. 2017. No. 8. pp. 379-425.
  10. Ухоботов В.И., Изместьев И.В. Об одной задаче преследования при наличии сопротивлении среды // Вестник Южно-Уральского государственного университета. Серия «Математика. Механика. Физика». 2016. № 8(2). С. 62-66. doi.org/10.14529/mmph160208.
  11. Tikhanychev O.V. Self-Check System of Heuristic Algorithms as a "New Moral" of Intelligent Systems // AIP Conference Proceedings. 2023. No. 2700. 040028 https://doi.org/10.1063/5.0124956.
  12. Ćwiąkała P. Testing Procedure of Unmanned Aerial Vehicles (UAVs) Trajectory in Automatic Missions // Applied Science. 2019. No. 9. pp. 3488. doi.org/10.3390/app9173488.
  13. Johnson D Computer Systems: Moral entities but not moral agents // Ethics and Information Technology. 2016. No. 8. pp. 195-204. doi.org/10.1007/s10676-006-9111.
  14. Дубанов А.А. Моделирование траектории преследователя в пространстве при методе параллельного сближения // Программные системы и вычислительные методы. 2021. № 2. С. 1-10. doi.org/10.7256/2454-0714.2021.2.36014.
  15. Tikhanychev O.V. Development of situational algorithms for the use of robotic systems // E3S Web of Conferences. 2024. No. 531. 02004. doi.org/10.1051/e3sconf/202453102004.
  16. Курденкова Е.О., Черепнина М.С., Чистякова А.С., Архипенко К.В. Влияние трансформаций на успешность состязательных атак для классификаторов изображений Clipped BagNet и ResNet. Труды ИСП РАН, том 34. Вып. 6. 2022. C. 101-116. doi.org/10.15514/ISPRAS-2022-34(6)-7.

Supplementary files

Supplementary Files
Action
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».