Modification of a deep learning algorithm for distributing functions and tasks between a robotic complex and a person in conditions of uncertainty and variability of the environment

Введение

В условиях современного тренда на повсеместную цифровизацию и повышение производительности труда за счет внедрения киберфизических систем робототехнические комплексы (РТК) становятся все более важными элементами различных сфер деятельности $–$ от промышленности и медицины до сельского хозяйства и решения специальных задач. Системы, предполагающие взаимодействие РТК и людей в реальном времени, открывают новые горизонты для повышения эффективности труда. Однако несмотря на значительные достижения в области робототехники, многие аспекты распределения функций и задач между РТК и людьми остаются нерешенными, особенно в условиях неопределенности и переменности окружающей среды. В реальном мире условия редко бывают стабильными и предсказуемыми. Традиционные методы планирования и управления, основанные на статических сценариях, не подходят для таких задач, так как они не могут учесть всю возможную вариативность реальных условий [1].

Человек остается незаменимым элементом в системах, где требуется высокая степень гибкости, творчества и принятия решений в условиях неопределенности. РТК в свою очередь обладает способностью выполнять рутинные, опасные и высокоточные задачи с высокой эффективностью и точностью. Синергия между человеком и РТК может значительно повысить общую производительность системы. Однако для достижения этой синергии необходимо разработать эффективные методы распределения задач, которые учитывают сильные и слабые стороны как людей, так и роботов. Например, в задаче сборки промышленной продукции РТК может выполнять точные механические операции, в то время как человек контролирует процесс и принимает решения в случае возникновения нестандартных ситуаций.

Одним из ключевых направлений в области обеспечения взаимодействия человека и РТК является разработка адаптивных алгоритмов управления, которые позволяют РТК изменять свое поведение в зависимости от изменений в окружающей среде. Среди них популярными исследованиями последних лет являются такие алгоритмы, как машинное обучение с учителем и обучение с подкреплением [2$–$3]. Роботы могут учиться на основе опыта и данных датчиков и становиться более устойчивыми к неопределенности.

Цель данного исследования заключается в определении оптимальных стратегий распределения задач между людьми и РТК и планировании движения РТК в условиях неопределенности и переменности окружающей среды для повышения общей эффективности и надежности выполнения задач.

Общая архитектура системы

На рис. 1 приведена общая структурная схема системы, в которой используются частично наблюдаемый марковский процесс принятия решений (POMDP) и метод глубокого обучения с подкреплением (Deep Reinforcement Learning, DRL). Компоненты системы: алгоритм DRL, POMDP, интерфейс взаимодействия человек-робот, источник сенсорных данных и система мониторинга.

Рис. 1. Структурная схема системы управления взаимодействием робота и человека

Fig. 1. Structural diagram of the control system for interaction between a robot and a human

Пользователь взаимодействует с системой через интерфейс взаимодействия человек-робот. Этот интерфейс позволяет пользователю задавать задачи и получать обратную связь от системы. Интерфейс взаимодействия человек-робот обрабатывает команды от пользователя и передает их в систему мониторинга и сенсорных данных. Сенсорные данные и система мониторинга собирают данные из окружающей среды, включая информацию о состоянии роботов и внешних условиях. Эти данные поступают в POMDP для дальнейшего анализа. POMDP анализирует сенсорные данные и оценивает вероятности различных состояний окружающей среды. На основе этой оценки POMDP формирует возможные стратегии действий. Алгоритм DRL используется для адаптации поведения РТК на основе опыта и исторических данных. Этот модуль обучает РТК оптимальным действиям через пробу и ошибку, улучшая их способность адаптироваться к изменениям в окружающей среде. РТК получает команды и стратегии от системы принятия решений и выполняет задачи в реальной среде, взаимодействуя с пользователем через интерфейс.

Формализация задачи планирования

В промышленной среде методы, основанные на графах, более подходят для представления и декомпозиции сложных задач. Например, наиболее распространенный ориентированный ациклический граф (Directed Acyclic Graph, DAG) [4] позволяет наглядно отображать последовательность и зависимость между задачами, а также поддерживает параллельность выполнения задач, что делает его подходящим для сценариев сотрудничества человека и РТК.

Рассмотрим задачу сборки маленького табурета, которая может быть разложена на 10 подзадач: T1 $–$ подготовка сиденья табурета; T2, T3, T4, T5 $–$ установка ножек табурета А, Б, В, Г на сиденье; T6, T7, T8, T9 $–$ закрепление винтов на ножки А, Б, В, Г; T10 $–$ проверка качества. T6 должно быть выполнено после завершения T1 и T2, а T10 зависит от завершения T6 $–$ T9. Участниками являются оператор и два коллаборативных робота. Для гетерогенных систем необходимо учитывать различия в индивидуальных навыках и ограничениях роботов и людей [5]. Можно распределить подзадачи следующим образом: T2, T3, T6, T7 поручаются человеку; T4 и T8 выполняет робот 1; T5 и T9 выполняет робот 2. Эти подзадачи могут выполняться одновременно. Подготовку T1 и проверку качества T10 также можно поручить человеку на основе его компетенций. Результат можно представить в виде, показанном на рис. 2.

Рис. 2. Пример декомпозиции задачи в виде DAG

Fig. 2. Example of task decomposition in the form of DAG

Формирование стратегии действий

DAG обычно предполагает, что процесс выполнения каждой задачи заранее известен и контролируем. Однако выполнение задач в реальном мире часто подвергается воздействию неопределенности и изменениям окружающей среды. Например, измеренные данные датчиков могут содержать шум и неточности. Частично наблюдаемый POMDP обрабатывает такие неопределенности с помощью вероятностной модели. Она позволяет системе динамически корректировать стратегию на основе наблюдений и обновления убеждений в условиях изменяющейся среды, чтобы обеспечить оптимальные решения.

POMDP с дискретным временем определяется 7-кратным кортежем $\left(S, A, T, R, O, \text{Z},\text{ γ}\right)$, где $S$.  обозначает набор состояний системы, $A$ представляет собой набор действий РТК, $T(s^{\prime }|s,a)$ обозначает набор условных вероятностей перехода между состояниями, $R\left(s,a\right)$ $–$ это функция вознаграждения, $O(z|s^{\prime },a)$ представляет собой набор условных вероятностей наблюдения, $Z$ обозначает набор возможных наблюдений, $\gamma \in \left[\mathrm{0,1}\right)$ $–$ это коэффициент дисконтирования.

Поскольку в модели POMDP истинное состояние системы не может быть полностью наблюдаемым, необходимо ввести состояние убежденности по формуле

 $b_t\left(s\right)=T(s_t=s|h_t,b_0),$

которое представляет собой распределение плотности вероятности на пространстве состояний $S$ и отражает предположение или оценку РТК о возможном состоянии системы $s$ на основе текущих наблюдений и истории взаимодействий.

Формула байесовского обновления [6] определяется как

 $b_{t+1}\left(s^{\text{'}}\right)=\eta ·O\left(z\right|s^{\text{'}},a)·\underset{s\in S}{}T(s^{\text{'}}|s,a)·b_t\left(s\right)$

где $\eta$ $–$ нормализующая константа, определяемая как

 $\eta =1/\underset{s^{\text{'}}\in S}{}O\left(z\right|s^{\text{'}},a\left)\underset{s\in S}{}T\right(s^{\text{'}}|s,a)·b_t\left(s\right)$

Задача РТК является выбором оптимальной стратегии $\pi \left(a\mid b\right)$ и максимизацией ожидаемого накопленного дисконтированного вознаграждения по формуле 

 $V^{\pi }\left(b_0\right)=\text{Ε}\left[\underset{t=0}{\overset{\infty }{}}{\gamma }^{t}R\left(s_t,a_t\right)|\pi ,b_0\right]$

Процесс сборки маленького табурета можно определить как POMDP. Совместное пространство состояний включает информацию о человеке, РТК и непредвиденных обстоятельствах, и каждое состояние $s$ может быть представлено как $s = \left(s_{r1},s_{r2},s_g\right)$, где $s_{r1},s_{r2}$ $–$ текущий ход выполнения задачи двух роботов, $s_g$ $–$ состояние объекта, манипулируемого роботом.

Пространство действия РТК $A$ $–$ это декартово смещение концевого эффектора в трех направлениях. Пространство наблюдений совпадает с пространством состояний. Функция вознаграждения настроена следующим образом: при выполнении конечной задачи присуждается вознаграждение 1, при невыполнении $–$ 0.

Адаптация поведения роботов с применением DRL

В среде сотрудничества человека и РТК использование DRL может снизить риск столкновений, связанных с присутствием и движением человека. Задачи с непрерывным пространством действий можно обучать с использованием алгоритма DDPG (Deep Deterministic Policy Gradients) [7], который сочетает в себе преимущества методов актор-критик (Actor-Critic). DDPG использует две нейронные сети: акторную сеть и критическую сеть. Акторная сеть $\mu \left(s\mid {\theta }^{\mu }\right)$ принимает состояние $s$ и выдает действие $a$, а критическая сеть $Q\left(s,a\mid {\theta }^Q\right)$ оценивает ценность действия $a$ в состоянии $s$.

Функция потерь для критической сети определяется по формуле

 $L\left({\theta }^Q\right)={\text{Ε}}_{s,a,r,s^{\text{'}}}\left[{\left(Q\left(s,a\mid {\theta }^Q\right)-y\right)}^2\right],$

где целевое значение $y$ вычисляется по формуле $y=r+\gamma Q(s^{\prime },\mu \left(s^{\prime }{\theta }^{\mu }\right)| {\theta }^Q)$, и $\gamma$ $–$ коэффициент дисконтирования.

Обновление акторной сети производится по градиенту политики и определяется по формуле

${\nabla }_{\theta \mu }J\approx {{\rm E}}_s\left[{\nabla }_{a}Q\left(s,a{\theta }^Q\right){|}_{a=\mu \left(s\right)}{\nabla }_{\theta \mu }\mu \left(s{\theta }^{\mu }\right)\right].$

В задачах, где данные обладают временной зависимостью, стандартный DDPG может не учитывать информацию из предыдущих состояний. Для решения модели POMDP можно интегрировать в акторную и критическую сети слои LSTM (Long Short-Term Memory) [8], которые способны запоминать долгосрочные зависимости и исторические наблюдения. LSTM описывается по формулам:

$f_t=\sigma \left(W_f\left[h_{t-1},x_t\right]+b_f\right),$

$i_t=\sigma \left(W_i\left[h_{t-1},x_t\right]+b_i\right),$

$o_t=\sigma \left(W_o\left[h_{t-1},x_t\right]+b_o\right),$

${\tilde{C}}_t=tanh\left(W_C\left[h_{t-1},x_t\right]+b_C\right),$

 $C_t=f_t\odot C_{t-1}+i_t\odot {\tilde{C}}_t,$

$h_t=o_t\odot tanh\left(C_t\right),$

где $f_t,i_t,o_t$ $–$ соответственно сигналы забывания, входа и выхода; $C_t$ $–$ состояние ячейки; $h_t$ $–$ скрытое состояние; $\sigma$ $–$ сигмоида; $tanh$ $–$ гиперболический тангенс; $\odot$ $–$ покомпонентное умножение. Структура ячейки LSTM показана на рис. 3.

Рис. 3. Структура ячейки LSTM

Fig. 3. LSTM cell structure

Для учета временной информации нужно модифицировать архитектуру DDPG. Акторная сеть теперь зависит не только от текущего состояния, но и от предыдущего скрытого состояния, определяемая как

 $a_t=\mu \left(s_t,h_{t-1}{\theta }^{\mu }\right).$

Критическая сеть оценивает ценность текущего действия с учетом последовательности предыдущих состояний $Q\left(s_t,a_t,h_{t-1}{\theta }^Q\right).$ Обновления параметров сетей производятся с учетом градиентов по временным последовательностям, что позволяет РТК учитывать контекст при принятии решений. LSTM служит механизмом памяти, который преобразует историю взаимодействий $h_t=\left\{z_0, a_0, z_1, a_1,\dots ,a_{t-1},z_t\right\}$, полученную в модели POMDP, в скрытое состояние. Интегрированная с LSTM структура сети DDPG для обучения показана на рис. 4.

Рис. 4. Cтруктура сети LSTM-DDPG

Fig. 4. LSTM-DDPG network structure

Для задач с чрезмерно скудными вознаграждениями трудно обучить полезную стратегию. Когда положительные вознаграждения скудные, стандартные алгоритмы могут не получать достаточного количества полезных сигналов для обновления политики, что приводит к медленному и неэффективному обучению. Hindsight Experience Replay (HER) [9] $–$ метод, позволяющий агенту учиться из каждого опыта, даже если изначальная цель не была достигнута. Идея HER заключается в том, чтобы переопределять цели после завершения эпизода, используя фактически достигнутые состояния в качестве новых целей. При использовании HER сохраняются переходы в виде кортежей $\left(s, a, r, s\text{'}, g\right)$, где $g$ $–$ цель. Вознаграждение пересчитывается с учетом новой цели по формуле

 $r=r\left(s,a,g^{\text{'}}\right)=\left\{\begin{array}{c}\mathrm{0,} если \varphi \left(s^{\text{'}}\right)=g^{\text{'}},\\ -\mathrm{1,} иначе,\end{array}\right.$

где $\varphi \left(s^{\prime }\right)$ $–$ функция, отображающая состояние в достижимую цель. Переопределенные переходы $\left(s, a, r, s\text{'}, g\text{'}\right)$ используются для обновления политики акторной сети и обучения критической сети.

Методология проведения эксперимента и результаты

Чтобы проверить, может ли предложенная модифицированная структура сети решить проблему POMDP, была выбрана готовая среда 'FetchPickAndPlace-v3', разработанная OpenAI Gym [10], как показано на рис. 5. Подзадача манипуляции объектами, возложенная на робота, в основном включает захват и перемещение объектов. Цель обучения состоит в том, чтобы научить робота захватывать объект и перемещать его в заданное положение, обозначенное красным шаром. В начале каждого эпизода положение объекта и цели изменяется в небольшом диапазоне.

Рис. 5. Готовая среда для обучения

Fig. 5. Ready-made learning environment

Пространство состояний в этой среде состоит из позиции и ориентации концевого эффектора робота, скорости по каждому из измерений, позиции и ориентации объекта и его относительного положения к концевому эффектору, перемещения и скорости захвата. Пространство действия включает в себя команды по перемещению манипулятора в трехмерном пространстве и позиционное смещение каждого пальца захвата. Каждое непрерывное действие принимает значение из [−1, +1].

Для обучения модифицированной модели LSTM-DDPG были использованы гиперпараметры, показанные в табл. 1.

Таблица 1. Проектирование гиперпараметров модели для обучения

Table 1. Designing the hyperparameters of the model for training

Модель была реализована на платформе машинного обучения Pytorch версии 2.5.1. Программирование осуществлялось на языке Python 3.8.8. Обучение и оценка модели LSTM-DDPG проводились на компьютере с процессором Intel i9-13980HX и графическим процессором NVIDIA GeForce RTX 4060 с памятью 8 ГБ.

Для оценки эффективности модели использовалась метрика «Процент успешных эпизодов». Эта метрика определяется как процент эпизодов из каждых 100, в которых РТК успешно захватил и переместил объект в заданное положение. Формально уровень успеха рассчитывается так:

$Процент успешных эпизодов=\left(\frac{Количество успешных эпизодов}{100}\right)\times 100\%$.

На рис. 6 представлены результаты обучения модели в виде зависимости уровня успеха от количества эпизодов. Из графика видно, что уровень успеха постепенно увеличивается по мере обучения модели. На начальных этапах обучения успехи редки из-за сложности задачи и скудности вознаграждений. Однако благодаря использованию HER и LSTM модель начинает успешно выполнять задачу после определенного количества эпизодов.

Рис. 6. График зависимости уровня успеха от количества эпизодов

Fig. 6. Graph of success rate versus number of episodes

Модель, обученная с использованием исходного алгоритма DDPG, на протяжении всего процесса обучения показывала нулевой уровень успешности, что свидетельствует о неспособности алгоритма выучить полезную стратегию. После обучения модель с модифицированным алгоритмом продемонстрировала стабильную сходимость, достигая высокого уровня успеха, близкого к 1. Когда объект и цель находятся в любом месте стола, манипулятор может схватить объект и переместить его в заданное место. Использование HER оказалось особенно полезным для задачи манипуляции объектами, поскольку в средах с чрезмерно скудными вознаграждениями сложно выработать полезные стратегии. Интеграция LSTM и HER в архитектуру DDPG показала превосходство над базовым алгоритмом DDPG, особенно в условиях скудных вознаграждений и частичной наблюдаемости среды. Полученные результаты подтверждают эффективность предложенной модифицированной структуры сети в решении задачи POMDP.

Заключение

В работе представлен метод распределения задач между человеком и роботом в условиях неопределенности в изменяющейся среде. Задачи разбиваются на основе графового подхода и распределяются в зависимости от возможностей человека и РТК. Предложено решение, в котором механизм памяти LSTM встроен в алгоритм обучения с подкреплением для решения проблемы частичной наблюдаемости, вызванной неточностью измерений сенсоров и шумом в окружающей среде. Метод HER использован для решения проблемы скудных вознаграждений. Результаты обучения подтверждают эффективность интеграции LSTM и HER в архитектуру DDPG для решения задач POMDP.