Parametric optimization of a neural network PWM controller using the improved Nelder-Mead method

全文:

Введение. В последние годы ИНС находят широкое применение в промышленности в качестве отдельных элементов систем управления, в том числе и импульсных. Как известно, ввиду существенной нелинейности подобных систем при решении задачи параметрической оптимизации в системах с ШИМ-элементом возникает необходимость обобщенного дифференцирования [1], а применение аналитических методов невозможно.

Наиболее распространённые в литературе метод Error Back Propagation (EBP) [2, 3], требующий наличия первой производной, и методы второго порядка, такие, как Levenberg Marquardt (LM) или Neuron by Neuron (NBN) [4], требующий наличия второй производной, вызывают значительные трудности при применении их для решения подобной задачи, что сказывается на снижении качества обучения нейронной сети. По этой причине в статье обращено внимание на методы прямого поиска. 

Алгоритм обучения нейронной сети (ОНС) [5], построенный на основе метода Нелдера-Мида, не требует вычисления производных первого и второго порядка, и, в свою очередь,  является приемлемым для решения задачи параметрической оптимизации в импульсных автоматических системах. Однако алгоритм ОНС также не лишен недостатков, таких, как достаточно низкая сходимость и значительные трудозатраты на отсев начальных симплексов [6]. Главным его недостатком, как и всех алгоритмов, построенных на основе метода Нелдера-Мида, является то, что он недостаточно точно определяет направление движения [4], используя только простые геометрические преобразования для задач больших размерностей.

Один из наиболее распространённых способов устранения этого недостатка в алгоритмах, построенных на основе метода Нелдера-Мида – это добавление в их структуру дополнительного направления поиска [4-9].  Целью данной статьи является показать положительный эффект от внедрения его в алгоритм ОНС при параметрической оптимизации ШИМ-элемента, имеющего в своем составе ИНС.

Структурная схема исследуемой системы. Представим структурную схему исследуемой автоматической системы (рисунок 1).

 

Рис. 1. Структурная схема автоматической системы

 

Здесь G_p(p) – оператор объекта регулирования; u(t) – выход ШИМ-элемента; G_ie – оператор ШИМ-элемента с нейронной сетью; p=d/dt – оператор дифференцирования; λ(t) – задающее воздействие; x(t) – регулируемая величина; $\epsilon \left(t\right)$ – ошибка регулирования.

Процессы, протекающие в АСР, можно представить в следующем виде:

$\epsilon \left(t\right)=\lambda \left(t\right)-x\left(t\right)$;

$u\left(t\right)=G_{ie}\cdot \epsilon \left(t\right)$; (1)

$x\left(t\right)=G_p\left(p\right)\cdot u\left(t\right)$.

Характеристика ШИМ-элемента представлена в виде:

$u\left(t\right)=\left\{\begin{array}{l}+\mathrm{1,}\text{\hspace{0.17em}при }\epsilon \left[kT\right]>0\text{ и при }kT\le t<kT+t_k\\ -\mathrm{1,}\text{\hspace{0.17em}при }\epsilon \left[kT\right]<0\text{ и при }kT\le t<kT+t_k\\ \mathrm{0,}\text{\hspace{0.17em}при }kT+t_k\le (k+1)T\end{array}\right.$(2)

$t_k={\gamma }_{k}T$, (3)

$k=\mathrm{1,}\text{ 2, }\mathrm{...}$,

где T – период цикла работы ШИМ-элемента; t_k – длительность (ширина) k-го импульса; $\gamma$_k – скважность k-го импульса, которая находится с помощью нейронной сети [5, 6, 10], изображенной на рисунке 2.

 

Рис. 2. Архитектура нейронной сети

 

Здесь Nr_i – нейроны скрытого слоя (i=1..m), w₁₁,w₁₂,…,w_1m, w_2,m+1,w_3,m+1,…,   w_m+1,m+1 – весовые коэффициенты, образующие матрицу весовых коэффициентов W. Данная ИНС сформирована на основе модуляционной характеристики вида [5, 6]:

${\gamma }_k=q_1{\left|\left.\epsilon \left[kT\right]\right|\right.}^1+q_2{\left|\left.\epsilon \left[kT\right]\right|\right.}^2+q_3{\left|\left.\epsilon \left[kT\right]\right|\right.}^3+\mathrm{...}+q_m{\left|\left.\epsilon \left[kT\right]\right|\right.}^m=\sum _{j=1}^m{q}_j{\left|\left.\epsilon \left[kT\right]\right|\right.}^j$ (4)

В качестве оценки работы автоматической системы принят интегральный критерий вида:

$I\left(W\right)=\underset{0}{\overset{\infty }{\int }}F\left(x\right(t,W),\epsilon \text{(}t,W))dt.$ (5)

Здесь x(t,W) – выходная координата системы, ε(t,W) – ошибка системы, F – некоторая выпуклая функция.

Алгоритм оптимизации. Для пояснения дальнейшего, кратко представим основные этапы алгоритма ОНС [5].

На первом этапе формируется набор начальных симплексов, у которых координаты n точек (в нашем случае количество весовых коэффициентов) путем целенаправленного перебора подобраны таким образом, чтобы выход нейронной сети с учетом ее архитектуры зависел от значения отдельного синаптического веса: в первой точке – от первого синаптического веса; во-второй точке – от второго и так далее. Исходя из [5], в n+1 точке значения всех синаптических весов приравниваются к нулю. Также в точках симплекса используется варьирование знака синаптических весов всего множества их возможных значений.

На втором этапе, в каждом симплексе для всех его точек вычисляется значение критерия; в данном случае обозначено, как I_ij, где i=1, 2,…– номер симплекса,  j=1, 2,… – точка i-го симплекса. Затем определяется $\widehat{I}$ – характеристическое число симплекса как $\widehat{I}$=min(I_ij). Далее рассматриваются только те симплексы, для которых $\frac{\widehat{I}}{\min \left(\widehat{I}\right)}\le \mu$, (где $\mu$<10, и выбирается из результатов предварительных исследований).

На третьем этапе с отобранными симплексами выполняются операции метода Нелдера-Мида: сортировка, отражение, растяжение, сжатие, усечение, проверка условия сходимости алгоритма [5]. После окончания поиска точка с наименьшим значением критерия I является решением по данному симплексу.

На четвертом этапе сравниваются значения критерия I по каждому симплексу,  среди них выбирается точка с наименьшим значением, и ее координаты синаптических весов и считаются оптимальными.

Улучшенный метод Нелдера-Мида с квазиградиентом. Далее рассмотрим подходы [7-9, 11-15], применяемые для методов прямого поиска, для оценки их возможностей применения в алгоритме ОНС.

Один из наиболее распространенных в теории оптимального управления подход – это внедрение квазиградиента, базирующегося на применении золотого сечения [11], который использует дополнительную точку, полученную на основе уже имеющихся точек симплекса, для построения квазиградиента. Последовательность действий метода, реализующего данный подход, можно представить следующим образом [11]:

Шаг 1: Выбрать n-вершин начального симплекса: X₁, X₂, …, X_n.

Шаг 2: Определить дополнительную точку X_s, координаты которой составлены из n вершин симплекса. Координаты выбранной точки – это диагональ матрицы X из n вершин симплекса.

$X_s=diag\left[\begin{array}{cccc}{x}_{\mathrm{1,1}}& x_{\mathrm{1,2}}& \mathrm{...}& x_{\mathrm{1,}n}\\ x_{\mathrm{2,1}}& x_{\mathrm{2,2}}& \mathrm{...}& x_{\mathrm{2,}n}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ x_{n\mathrm{,1}}& x_{n\mathrm{,2}}& \mathrm{...}& x_{n,n}\end{array}\right]$ (6)

X_s=[x_1,1 , x_2,2, … x_n,n] (7)

Шаг 3: Расчёт направления квазиградиента на основе выбранной точки X_s и других n точек симплекса.

$G_i=\left\{\begin{array}{c}i\mathrm{mod}2=0;\frac{f\left(x_{i-1}\right)-f\left(x_s\right)}{x_{i-\mathrm{1,}i}-x_{si}}\\ i\mathrm{mod}2=1;\frac{f\left(x_{i+1}\right)-f\left(x_s\right)}{x_{i+\mathrm{1,}i}-x_{si}}\end{array}\right.$ (8)

Шаг 4: Вычислить на основе точки B c наибольшим значением критерия в симплексе новую точку R’, отражённую по направлению квазиградиента. Параметр σ представляет собой размер шага, и численно равен коэффициенту отражения.

R’=B-σ G (9)

Шаг 5: Если значение критерия в R’ меньше, чем в точке L c наименьшим его значением в симплексе, это означает, что  вектор BR’ является успешным, тогда осуществляется операция растяжения и получается E’. При этом критерий успешности аналогичен вышесказанному, за исключением того, что сравниваются значения критерия в точке R’ и E’ 

E’=(1- $\gamma$)B-$\gamma$R’, (10)

где $\gamma$-коэфициент растяжения.

При сравнительном анализе классического метода Нелдера-Мида и метода с квазиградиентом следует, что последний из указанных вычисляет отраженную точку по квазиградиенту и расширенную точку только в случае, если классическая операция отражения не успешна, в остальных случаях с практической точки зрения они идентичны.

Симплексный метод с приближенно-вычисленным градиентом. Далее рассмотрен еще один из подходов – использование в качестве дополнительного направления приближенно-вычисленного (численного) градиента [7, 9, 11, 12]. Он базируется на численном определении производной при малых приращениях аргументов. Вычисляя, таким образом, частные производные по всем переменным критерия, получаем приближенное направление градиента, что и будет считаться дополнительным направлением поиска. Далее, поступая аналогично указанному выше методу (формула 9), получаем точку для дальнейшего движения симплекса. В качестве точки нахождения градиента в алгоритмах, построенных на основе метода Нелдера-Мида, чаще всего применяется центр тяжести симплекса, либо точка с наименьшим значением критерия. Существует множество разновидностей данного подхода, но ввиду ограниченности объема статьи и общности полученных результатов в этой статье они дальше рассматриваться не будут.

Результаты исследования. Для иллюстрации обучения ИНС (параметрической оптимизации) конкретизируем элементы автоматической системы (рис. 1). Оператор объекта регулирования G_об(p) представлен в виде, с помощью которого можно описать значительное количество промышленных объектов:

$G_{\text{об}}\left(p\right)=\frac{k_{\text{им}}}{p}\frac{k_{\text{об}}}{\text{(}{T}_{\text{об}1}p+1\text{)(}{T}_{\text{об}2}p+1\text{)}}{e}^{-{\tau }_{об}p}$ (11)

где k_об – коэффициент передачи объекта, k_им – коэффициент передачи исполнительного механизма; $T_{\text{об}1}$, $T_{\text{об2}}$ – постоянные времени объекта, ${\tau }_{об}$– время запаздывания.

Элемент ШИМ имеет в своем составе нейронную сеть (рис. 2), состоящую из трех нейронов в скрытом слое с сигмоидальной функцией активации и одного в выходном слое [11].  В качестве критерия оптимизации выбран широко распространённый интегрально-квадратичный критерий:

$I\left(W\right)=\underset{0}{\overset{L}{\int }}{\epsilon }^2\text{(}t,W)dt.$(12)

где L – интервал интегрирования.

Исследования проведены в достаточно большом диапазоне параметров объекта, при этом $\frac{{\tau }_{об}}{T_{o\text{б}}}>1$, что, как известно, при применении ПИД-регуляторов не может обеспечить удовлетворительного качества процессов, протекающих в автоматических системах, и, в конечном итоге, вынуждает применять дискретные регуляторы, в частности, ШИМ-регуляторы. В качестве иллюстрации приведены результаты исследования при

k_им =0,01; k_об =1; T_об1 = 10; T_об2 = 40; τ_об= 50; Т=25, и при задающем воздействии λ(t)= 0,5 1(t).

Параметры алгоритмов ОНС при всех экспериментах, исходя из предварительных исследований [5, 6, 14, 15]: коэффициент отражения $\alpha =1$, коэффициент растяжения $\gamma =2$, коэффициент сжатия $\beta =\mathrm{0,5}$.

По итогам работы алгоритмов, в том числе и с квазиградиентом, получены следующие значения интегрального критерия (таблица 1).

 

Таблица 1. Значения интегрального критерия, количества итераций и процента симплексов, обеспечивающих сходимость к глобальному экстремуму при использовании различных алгоритмов

Алгоритм	Значение критерия	Количество итераций	% симплексов, обеспечивающих сходимость к глобальному экстремуму
ОНС	27,05	154	7
ОНС с квазиград.	31,27	112	20
ОНС с числ. вычисл. град.	29,42	133	15

 

Из представленной таблицы следует, что алгоритм ОНС с добавлением квазиградиента и численного градиента уступает алгоритму ОНС в значении найденного экстремума, при этом превосходя его по другим параметрам, подобная картина наблюдается при увеличении количества весов, из этого следует необходимость проведения дальнейшего исследования. Ввиду общности полученных результатов для большинства экспериментов (исследования проводились для нейронных сетей, имеющих от 3 до 128 синаптических весов) и для большей наглядности уменьшено количество настраиваемых параметров (весов) до трех, а оставшиеся установлены такими же, как в экстремуме, полученные с помощью алгоритма ОНС. Далее на рисунках 3-5 представлены операции, выполняемые на определенной итерации алгоритма.

Из анализа приведенных рисунков следует, что при использовании квазиградиентов и численных градиентов практически не выполняется операция внешнего сжатия, которая играет определенную роль в алгоритме ОНС, вместо нее выполняются другие операции, что увеличивает быстродействие алгоритма, но приводит к снижению значения критерия оптимизации. Это наиболее наглядно при возвращении к нейронной сети, расположенной в начале этого раздела статьи (таблица 2, где обозначены операции: О – отражение, К – квазиградиент, Р – растяжение, С – внутреннее сжатие, Вн. С. – внешнее сжатие, У – усечение).

 

Таблица 2. Количество операции, выполняемых алгоритмами

Алгоритм	О	К	Р	С	Вн. С.	У	Кол-во итераций
ОНС	65	-	20	16	36	17	154
ОНС с квазиградиентом	23	43	9	21	2	14	112
ОНС с числ. вычисл. градиентом	33	37	18	19	7	19	133

 

Для устранения вышесказанного в статье предлагается в алгоритмы ввести правило, что в случае неуспешности классической операции отражения сравниваться между собой будут точки, полученные после операции сжатия и отражения по дополнительному направлению, и уже среди них выбирается точка с наименьшим значением критерия.

 

Рис. 3. Операции, выполняемые на определенной итерации алгоритма с квазиградиентом

 

Рис. 4. Операции, выполняемые на определенной итерации алгоритма ОНС

 

Рис. 5. Операции, выполняемые на определенной итерации алгоритма с численным вычислением градиента

 

По итогам работы алгоритмов с вышеуказанным дополнением на полностью необученной нейронной сети получены следующие параметры (таблица 3).

 

Таблица 3. Значения интегрального критерия, количества итераций и процента симплексов, обеспечивающих сходимость к глобальному экстремуму при использовании различных алгоритмов

Алгоритм	Значение критерия	Количество итерации	% симплексов, обеспечивающих сходимость к глобальному экстремуму
ОНС	27,05	154	7
ОНС с квазиградиентом	29,34	121	18
ОНС с числ. вычисл. град.	27,05	140	12

 

Исходя из таблицы 3, дополнительное направление на основе численного вычисления градиента обеспечивает схождение к глобальному экстремуму за меньшее количество итераций, при большем проценте начальных симплексов, обеспечивающих сходимость, при решении задачи обучения нейронной сети автоматической импульсной системы.

Заключение. Решена задача параметрической оптимизации для ИНС, входящих в состав ШИМ-элементов с достаточной для практики точностью. Алгоритм ОНС с внедрением квазиградиента, на основе приближенного вычисления градиента, и c предложенными в этой статье изменениями может быть рекомендован при решении подобных задач, выдвигаемых практикой автоматической регулирования в импульсных системах с ШИМ-элементом, имеющих в своем составе ИНС.

作者简介

Innokentiy Igumnov

National research Irkutsk state technical university

编辑信件的主要联系方式.
Email: rtif555@gmail.com
SPIN 代码: 6423-5450

Candidate of technical sciences, associate professor of the software engineering center

俄罗斯联邦, Irkutsk

Nicolai Kucyi

National research Irkutsk state technical university

Email: kucyinn@mail.ru
SPIN 代码: 7425-6740

Doctor of technical sciences, professor of the laboratory of network technologies

俄罗斯联邦, Irkutsk

参考

补充文件