Общий алгоритм ликвидации критических состояний для решения задачи управления реальным шагающим роботом на основе методов глубокого обучения с подкреплением

Объектом исследования является мобильный шагающий робот с двумя или более подвижными конечностями шарнирного типа. Вводится понятие «критического состояния», при возникновении которого механизм балансирует на грани падения (но не падает) или возникает вероятность повреждения механических узлов, по причине генерации недопустимых углов сочленений. Предметом исследования является общий алгоритм ликвидации критических состояний, обеспечивающий возможность обучения агента, основанного на глубоком алгоритме обучения с подкреплением, напрямую на реальном роботе, без риска повреждения его механизмов и прерывания процесса взаимодействия с окружающей средой для восстановления устойчивого состояния. Целью данной работы является разработка общего алгоритма ликвидации критических состояний в контексте адаптивного управления шагающим роботом на основе алгоритмов глубокого обучения с подкреплением. Было произведено сравнение предлагаемого и стандартного способов применения глубокого ОП на реальном роботе. Эксперименты проводились на 6000 эпизодах, размерностью в 300 шагов каждый. Для оценки были выбраны следующие метрики качества: процент эпизодов без фактического падения, процент полностью завершённых эпизодов, максимальная длина эпизода. Формирование алгоритма основывается на понятии «критическое состояние» и использует следующие принципы и методы: метод «проб и ошибок», принцип обратной связи, удержание проекции точки центра тяжести в области многоугольника, образованного точками соприкосновения конечностей с рабочей поверхностью, что обеспечивает балансировку конструкции и позволяет определить пограничные области, в которых робот ещё устойчив. Научная новизна работы заключается в предлагаемом подходе, позволяющем интеллектуальному агенту управлять физическим роботом «напрямую», без предварительной настройки в имитационной среде с последующей реализацией переноса. Предлагаемый алгоритм не направлен на повышение производительности агента, а предназначается для обеспечения большей автономности в процессе обучения робота, непосредственно в «железе». Основная идея заключается в моментальном реагировании на возникшее критическое состояние в виде наискорейшего последовательного возврата на некоторое число шагов назад по траектории принятия решений, обеспечив агенту постоянное пребывание в стабильном безопасном состоянии. В качестве метода глубокого обучения с подкреплением был использован метод проксимальной оптимизации политики (PPO). В результате сравнительного анализа предлагаемый алгоритм продемонстрировал сто кратный прирост устойчивости механизма.

система управления, обучение с подкреплением, глубокие нейронные сети, алгоритм, интеллектуальный агент, критическое состояние, шагающий робот, локомоторная программа, стабилизация, окружающая среда