Гибридная глобализация сходимости метода последовательного квадратичного программирования, стабилизированного вдоль подпространства
- Авторы: Журбенко Н.Г.1, Измаилов А.Ф.2, Усков Е.И.3
-
Учреждения:
- Институт кибернетики им. В. М. Глушкова НАН Украины
- ФГБОУ ВО ≪Московский государственный университет им. М. В. Ломоносова≫
- ФГБОУ ВО ≪Тамбовский государственный университет им. Г.Р. Державина≫
- Выпуск: Том 24, № 126 (2019)
- Страницы: 150-165
- Раздел: Статьи
- URL: https://journal-vniispk.ru/2686-9667/article/view/297309
- DOI: https://doi.org/10.20310/1810-0198-2019-24-126-150-165
- ID: 297309
Цитировать
Полный текст
Аннотация
Полный текст
Введение Рассматривается задача оптимизации с ограничениями-равенствами f(x) ! min; h(x) = 0; (1) где целевая функция f : R ! R и отображение h : Rn ! Rl по крайней мере дважды дифференцируемы. Стационарные точки данной задачи и соответствующие им множители Лагранжа задаются системой оптимальности Лагранжа @L @x (x; ) = 0; h(x) = 0; (2) где L : Rn Rl ! R, L(x; ) = f(x) + h; h(x)i; есть функция Лагранжа задачи (1). А именно, обозначим через M(x) множество мно- жителей Лагранжа, отвечающих допустимой точке x 2 Rn задачи (1), то есть множе- ство таких 2 Rl , для которых пара (x; ) удовлетворяет системе (2). Тогда говорят, что x является стационарной точкой данной задачи, если M(x) 6= . Как хорошо известно, стационарность является необходимым условием локальной оптимальности точки x в задаче (1) при выполнении условия регулярности ограниче- ний rank h0(x) = l; (3) которое к тому же является необходимым и достаточным условием единственности множителя Лагранжа, отвечающего стационарной точке x . В терминологии [1, разд. 1.3.3], множитель Лагранжа 2M(x) называется крити- ческим, если существует такой вектор 2 ker h0(x)nf0g , что @2L @x2 (x; ) 2 im(h0(x))T; и некритическим иначе. Будем говорить, что в стационарной точке x задачи (1) для от- вечающего ей множителя Лагранжа 2M(x) выполнено достаточное условие второго порядка оптимальности, если @2L @x2 (x; ); > 0 8 2 ker h0(x) n f0g: При выполнении этого условия множитель всегда является некритическим. Как показано в [1, предложение 1.43], некритичность 2 M(x) равносильна сле- дующему свойству: существует константа L > 0 такая, что для всех (x; ) 2 Rn Rl , достаточно близких к (x; ) , выполняется неравенство kx xk + dist(; M(x)) Lk(x; )k; (4) ГИБРИДНАЯ ГЛОБАЛИЗАЦИЯ СХОДИМОСТИ 153 где : Rn Rl ! Rn Rl , (x; ) = @L @x (x; ); h(x) ; (5) есть оператор системы Лагранжа (2). Одним из наиболее эффективных методов общего назначения для задач условной оп- тимизации является метод последовательного квадратичного программирования (SQP, от ѕsequential quadratic programmingї) [1, разд. 4.2], [2, разд. 4.4], который для зада- чи (1) есть ни что иное, как метод Ньютона для системы уравнений Лагранжа (2). Локальная сверхлинейная сходимость метода SQP к решению (x; ) этой системы устанавливается при выполнении условия регулярности ограничений (3) и некритич- ности множителя . О различных способах глобализации сходимости метода SQP см. [1, разд. 6.2], [2, разд. 5.4], а также разд. 1 ниже. Стабилизированный метод последовательного квадратичного программирования (sSQP, от ѕstabilized SQPї) был предложен в [3] для задачи оптимизации с ограниче- ниями-неравенствами как средство восстановления сверхлинейной скорости сходимости метода SQP, которая обычно теряется при нарушении условий регулярности ограниче- ний. Впоследствии метод был распространен и на задачи, в которых присутствуют и ограничения-равенства. В частности, в [4] (см. также разд. 2 ниже) для задачи (1) бы- ло показано, что при выполнении одного лишь условия некритичности метод sSQP локально сверхлинейно сходится к (x; ) с некоторым 2M(x); близким к . В работах [5]- [12] предпринимались различные попытки глобализации сходимости метода sSQP. В частности, в [5] были предложены два алгоритма гибридной глоба- лизации данного метода, где в качестве алгоритма внешней фазы использовался гло- бализованный посредством одномерного поиска метод SQP. Однако, все эти попытки сталкиваются с принципиальными трудностями, связанными с поведением метода sSQP при относительной удаленности текущей итерации от решений. А именно, метод име- ет тенденцию генерировать длинные последовательности коротких шагов перед тем, как проявляется его сверхлинейная сходимость. Подчеркнем, что это дефект самого метода sSQP, и он неминуемо будет проявляться при любых способах глобализации его сходимости. На сегодняшний день однозначно успешные способы такой глобализации авторам неизвестны. В связи со сказанным в [13] было сделано предположение, что в модификации нуж- даются не способы глобализации сходимости, а сам метод sSQP. Там же был разработан метод последовательного квадратичного программирования, стабилизированный вдоль подпространства (s-sSQP, от ѕsubspace-stabilized SQPї), обладающий лучшим ѕполуло- кальнымї поведением, а значит, лучше приспособленный для глобализации. Основные ингредиенты этой конструкции обсуждаются ниже в разд. 2, а в разд. 3 предлагают- ся два способа такой глобализации: алгоритм с возвратами и алгоритм с рекордами, а также соответствующие теоретические результаты о глобальной сходимости и скоро- сти сходимости данных алгоритмов. Наконец, разд. 4 содержит некоторые результаты численного тестирования. 154 Н. Г. Журбенко, А. Ф. Измаилов, Е. И. Усков 1. Глобализованный метод последовательного квадратичного программирования Метод SQP состоит в следующем. Для текущего прямо-двойственного приближения (xk; k) 2 IRn IRl вычисляется направление (k; k) как решение системы линейных уравнений Hk + (h0(xk))T = @L @x (xk; k); h0(xk) = h(xk); (6) с базовым выбором Hk = @2L @x2 (xk; k): (7) Следующее приближение определяется как (xk+1; k+1) = (xk + k; k + k) . В разд. 3 в качестве метода внешней фазы для гибридного алгоритма будет исполь- зоваться следующий вариант метода SQP, глобализованный одномерным поиском для негладкой точной штрафной функции 'c : Rn ! R, 'c(x) = f(x) + ckF(x)k1; (8) при соответствующем выборе значений параметра штрафа c > 0 ; см. [1, разд. 6.2.1], [2, разд. 5.4.1]. Приводимый алгоритм снабжен так называемыми поправками второго по- рядка, позволяющими подавлять известный эффект Маратоса, замедляющий сходи- мость [1, разд. 6.2.2], [2, разд. 5.4.2]. А л г о р и т м 1. Выбираем параметры c > 0 , "; 2 (0; 1) . Выбираем начальное приближение (x0; 0) 2 Rn Rl и полагаем k = 0 . 1. Выбираем симметричную матрицу Hk 2 IRnn и вычисляем (k; k) как решение системы (6). Полагаем k+1 = k + k . 2. Если k = 0 , стоп. 3. Выбираем ck kk+1k1 + c; и вычисляем k = hf0(xk); ki ckkF(xk)k1: 4. Если выполняется неравенство 'ck(xk + k) 'ck(xk) + "k; где функция 'ck вводится согласно (8), то полагаем xk+1 = xk + k , и переходим к п. 7. 5. Вычисляем bk как решение задачи оптимизации kk ! min; h(xk + k) + h0(xk) = 0: ГИБРИДНАЯ ГЛОБАЛИЗАЦИЯ СХОДИМОСТИ 155 6. Полагаем = 1 . Если выполняется неравенство 'ck(xk + k + 2bk) 'ck(xk) + "k; (9) то полагаем k = . В противном случае заменяем на и проверяем (9), до тех пор, пока оно не будет выполнено. Полагаем xk+1 = xk + kk + 2k bk . 7. Увеличиваем k на 1 и переходим к п. 1. Анализ свойств глобальной сходимости и скорости сходимости данного алгоритма приводится в [1, разд. 6.2], [2, разд. 5.4]. 2. Стабилизированные методы последовательного квадратичного программирования Метод sSQP получается заменой итерационной системы (6) на следующую: Hk + (h0(xk))T = @L @x (xk; k); h0(xk) (xk; k) = h(xk); (10) с Hk выбираемым согласно (7), и с функцией : Rn Rl ! R+ , задающей параметр стабилизации и традиционно определяемой как невязка системы Лагранжа (2): (x; ) = k(x; )k; где введено в (5). Нарушение условия регулярности ограничений в точке x означает, что (im h0(x))? = ker(h0(x))T является нетривиальным линейным подпространством в Rl , которое в дальнейшем бу- дем называть подпространством вырожденности. Когда подпространство вырожден- ности совпадает со всем пространством Rl , т. е. когда h0(x) = 0 , метод sSQP и его упоминавшиеся выше глобализации обычно вполне успешны. Однако, при неполном вы- рождении, т. е. в тех случаях, когда подпространство вырожденности является нетри- виальным, но собственным подпространством в Rl , данный метод имеет тенденцию генерировать длинные последовательности коротких шагов. Такое поведение наблю- далось уже в некоторых примерах в [14]. Необходимость подавления этого эффекта является мотивировкой введения в [13] следующего класса методов. Пусть задано отображение P : RnRl ! Rll и функция : RnRl ! R. Предпола- гается, что линейный оператор P(x; ) аппроксимирует проектор на подпространство вырожденности при (x; ) ! (x; ) . Итерационная система метода s-sSQP имеет вид Hk + (h0(xk))T = @L @x (xk; k); h0(xk) (xk; k)P(xk; k) = h(xk); (11) 156 Н. Г. Журбенко, А. Ф. Измаилов, Е. И. Усков т. е. отличается от итерационной системы (10) метода sSQP только присутствием линей- ного оператора P(xk; k) во втором уравнении, а также, возможно, другим выбором функции . В [13] были введены две группы методов s-sSQP. Методы s-sSQP с исчезающей ста- билизацией характеризуются следующими требованиями на P и : - отображение P непрерывно в точке (x; ) , и (im h0(x))? является инвариантным подпространством P(x; ) , т. е. P(x; ) = 8 2 (im h0(x))?; - функция непрерывна в каждой точке множества fxg M(x) из некоторой окрестности (x; ) , (x; ) = 0 для всех 2 M(x) достаточно близких к , (x; ) 6= 0 для всех (x; ) 2 (IRn IRl) n (fxgM(x)) из некоторой окрестности (x; ) , и kx xk = O(j(x; )j) при (x; ) ! (x; ) . Заметим, что эти предположения позволяют взять, например, P() I , тем са- мым покрывая метод sSQP. О других способах выбора P см. ниже. Кроме того, если некритический множитель Лагранжа, то, согласно эквивалентности этого условия оценке (4), всем требованиям удовлетворяет выбор (x; ) = k(x; )k с любым фиксированным показателем 2 (0; 1] , где введен в (5). Методы s-sSQP с неисчезающей стабилизацией предполагают следующие требова- ния на P и : - отображение P непрерывно в каждой точке множества fxgM(x) из некоторой окрестности (x; ) , im P(x; ) im h0(x) = f0g для всех 2M(x) из некоторой окрестности , и ker P(x; ) (im h0(x))? = f0g . - функция непрерывна в точке (x; ) , и (x; ) 6= 0 . Идея методов такого рода восходит к [15]. Как показано в [13], локальные свойства свойства указанных двух вариантов мето- дов s-sSQP аналогичны соответствующим свойствам sSQP: локальная сверхлинейная сходимость гарантирована при одном лишь предположении некритичности множите- ля Лагранжа . Там же предложены и практические способы задания подходящего отображения P , аппроксимирующего проектор на подпространство вырожденности. ГИБРИДНАЯ ГЛОБАЛИЗАЦИЯ СХОДИМОСТИ 157 3. Гибридная глобализация сходимости В этом разделе будут описаны два способа гибридной глобализации метода s-sSQP: алгоритм с возвратами и алгоритм с рекордами. Общая идея этих техник глобализации изложена в [1, разд. 5.3]. Суть алгоритма с возвратами состоит в следующем. На каждой итерации из теку- щего приближения (xk; k) делается шаг метода внутренней фазы (в данном случае s-sSQP), который принимается, если он приводит к линейному убыванию невязки си- стемы Лагранжа, т. е. к ее уменьшению по крайней мере в заданное число раз, опреде- ляемое в алгоритме ниже параметром q . Если на какой-либо из последующих итераций шаг метода внутренней фазы не принимается, то происходит возврат к тому прибли- жению, откуда был сделан первый в данной серии шагов метода внутренней фазы, и из этой точки делается шаг метода внешней фазы (в данном случае глобализованного метода SQP, т. е. алгоритма 1). А л г о р и т м 2. Выбираем параметр q 2 (0; 1) , а также параметры алгоритма 1. Выбираем начальное приближение (x0; 0) 2 Rn Rl и полагаем k = 0 . 1. Полагаем bk = k и (bx; b ) = (xk; k) . 2. Определяем Hk согласно (7). Определяем P(xk; k) и (xk; k) согласно выбран- ному варианту метода s-sSQP. Вычисляем (k; k) как решение системы (11). Ес- ли решение найти не удается, то переходим к п. 4. В противном случае полагаем (xk+1; k+1) = (xk + k; k + k) . 3. Если k(xk+1; k+1)k qk(xk; k)k; (12) то увеличиваем k на 1 и переходим к п. 2. (Шаг метода внутренней фазы.) 4. Если k > bk , полагаем k = bkи (xk; k) = (bx; b ) . Вычисляем (xk+1; k+1) с помощью итерации алгоритма 1, увеличиваем k на 1 и переходим к п. 1. (Шаг метода внешней фазы.) Что касается свойств глобальной сходимости приведенного алгоритма, то возможны только два сценария: либо все итерации, начиная с некоторой, являются шагами ме- тода внутренней фазы, либо все итерации являются шагами метода внешней фазы. В последнем случае алгоритм 2 наследует свойства глобальной сходимости алгоритма 1. В первом же случае из условия (12) вытекает следующее утверждение. Теорема 1. Пусть функция f и отображение h дважды непрерывно дифференци- руемы на Rn . Пусть последовательность f(xk; k)g сгенерирована алгоритмом 2, и пусть все члены этой последовательности, начиная с некоторого, получены шагами метода внутренней фазы. 158 Н. Г. Журбенко, А. Ф. Измаилов, Е. И. Усков Тогда (xk; k) ! 0 при k ! 1, и, в частности, если (x; ) является предельной точкой последователь- ности f(xk; k)g , то x стационарная точка задачи (1), a отвечающий ей множитель Лагранжа. Скорость сходимости алгоритма 2 характеризуется следующим утверждением. Теорема 2. Пусть функция f и отображение h дважды непрерывно дифференци- руемы в окрестности стационарной точки x задачи (1), и пусть отвечающий x некритический множитель Лагранжа. Пусть точка (x; ) является предельной точкой последовательности f(xk; k)g , сгенерированной алгоритмом 2. Тогда вся последовательность f(xk; k)g сходится к (x; ) , и скорость сходимо- сти сверхлинейная. Д о к а з а т е л ь с т в о. Рассмотрим точку (xk; k) , достаточно близкую к (x; ) . Пусть точка (xk+1; k+1) получена шагом метода внутренней фазы. Используя локальную липшицевость в сделанных предположениях гладкости, а также (4) и [13, теоремы 1 и 2], получаем (xk+1; k+1) = O(kxk+1 xk + dist(k+1; M(x))) = = o(kxk xk + dist(k; M(x))) = o(k(xk; k)k) при k ! 1. Из полученной оценки вытекает выполнение (12) для любого фиксирован- ного q 2 (0; 1) при достаточной близости (xk; k) к (x; ) . Но тогда точка (xk+1; k+1) принимается алгоритмом 2. Отсюда легко следует, что все точки последовательности f(xk; k)g сгенерированы шагами метода внутренней фазы, а значит, алгоритм насле- дует сверхлинейную сходимость метода s-sSQP, установленную в [13, теоремы 1 и 2]. Альтернативная стратегия гибридной глобализации, называемая алгоритмом с ре- кордами, состоит в следующем. Вместо того, чтобы сравнивать невязку системы Ла- гранжа в пробной точке с невязкой, полученной на предыдущей итерации, можно срав- нивать ее с наименьшим достигнутым значением невязки по всем предыдущим итера- циям (т. е. с рекордом), и принимать шаг метода внутренней фазы только в том случае, если наблюдается линейное убывание рекорда. А л г о р и т м 3. Выбираем параметр q 2 (0; 1) , а также параметры алгоритма 1. Выбираем начальное приближение (x0; 0) 2 Rn Rl и полагаем k = 0 . Полагаем R = k(x0; 0)k . 1. Определяем Hk согласно (7). Определяем P(xk; k) и (xk; k) согласно выбран- ному варианту метода s-sSQP. Вычисляем (k; k) как решение системы (11). Ес- ли решение найти не удается, то переходим к п. 3. В противном случае полагаем (xk+1; k+1) = (xk + k; k + k) . ГИБРИДНАЯ ГЛОБАЛИЗАЦИЯ СХОДИМОСТИ 159 2. Если k(xk+1; k+1)k qR; (13) то полагаем R = k(xk+1; k+1)k , увеличиваем k на 1 и переходим к п. 1. (Шаг метода внутренней фазы.) 3. Вычисляем (xk+1; k+1) с помощью итерации алгоритма 1. Если k(xk+1; k+1)k < R; (14) полагаем R = k(xk+1; k+1)k . Увеличиваем k на 1 и переходим к п. 1. (Шаг метода внешней фазы.) Как и в случае алгоритма с возвратами, здесь возможны лишь два (правда, несколь- ко иные) сценария: либо все итерации алгоритма 3, начиная с некоторой, являются шагами метода внешней фазы, либо бесконечное число итераций являются итерациями метода внутренней фазы. В первом случае свойства глобальной сходимости алгорит- ма 3 будут теми же, что и у метода внешней фазы. Во втором случае из условия (13) легко выводится следующий результат. Теорема 3. Пусть функция f и отображение h дважды непрерывно дифферен- цируемы на Rn . Пусть последовательность f(xk; k)g сгенерирована алгоритмом 3, и пусть члены (xkj ; kj ) этой последовательности получены шагами метода внут- ренней фазы для бесконечного числа номеров j . Тогда (xkj ; kj ) ! 0 при j ! 1, и, в частности, если (x; ) является предельной точкой последователь- ности f(xkj ; kj )g , то x стационарная точка задачи (1), a отвечающий ей множитель Лагранжа. Наконец, сверхлинейная скорость сходимости алгоритма 3 устанавливается в следу- ющей теореме. Теорема 4. Пусть функция f и отображение h дважды непрерывно дифференци- руемы в окрестности стационарной точки x задачи (1), и пусть отвечающий x некритический множитель Лагранжа. Пусть последовательность f(xk; k)g , сге- нерированная алгоритмом 3, сходится к точке (x; ) . Тогда скорость сходимости сверхлинейная. Д о к а з а т е л ь с т в о. Если значение рекорда R меняется бесконечное число раз, то можно рассмотреть точку (xk; k) , сколь угодно близкую к (x; ) , и такую, что R = k(xk; k)k . Тогда аналогично доказательству теоремы 2 получаем, что точка (xk+1; k+1) , полученная шагом метода внутренней фазы, принимается алгоритмом 3, на последующих итерациях алгоритм работает идентично методу s-sSQP, и сверхлиней- ная скорость сходимости следует из [13, теоремы 1 и 2]. 160 Н. Г. Журбенко, А. Ф. Измаилов, Е. И. Усков Остается рассмотреть случай, когда рекордное значение R > 0 остается неизменным начиная с некоторой итерации. Это означает, что, начиная с этой итерации, шаги внут- ренней фазы не принимаются алгоритмом 3. При этом последовательность f(xk; k)g сходится к 0 (т. к. f(xk; k)g сходится к (x; ) ), и поэтому (14) будет выполняться для достаточно большого k . Но тогда на соответствующей итерации рекордной значение R должно измениться, что дает противоречие. Значит, данный случай не может иметь места. 4. Численные примеры Численные эксперименты были проведены в среде Python 2.7. При реализации рас- сматриваемых алгоритмов использовалось расширение NumPy языка Python для под- держки многомерных матриц, а также функций для операций с этими матрицами. При- водимые графические изображения были получены с помощью библиотеки Matplotlib. 100 101 0.0 0.2 0.4 0.6 0.8 1.0 Performance Quasi-Newton SQP sSQP Backup V s-sSQP Backup NV s-sSQP Backup Рис. 1: Результаты для методов с возвратами. Ниже используются следующие обозначения для тестируемых алгоритмов: - Quasi-Newton SQP алгоритм 1 с выбором матрицы Hk по правилу Бройдена- Флетчера-Голдфарба-Шанно с модификацией Пауэлла (см. [16, с. 536, 537]); - sSQP Backup алгоритм 1 из [5], т. е. алгоритм 2, в котором в качестве метода внутренней фазы вместо s-sSQP используется sSQP; - sSQP Record алгоритм 2 из [5], т. е. алгоритм 3, в котором в качестве метода внутренней фазы вместо s-sSQP используется sSQP; ГИБРИДНАЯ ГЛОБАЛИЗАЦИЯ СХОДИМОСТИ 161 100 101 0.0 0.2 0.4 0.6 0.8 1.0 Performance Quasi-Newton SQP sSQP Record V s-sSQP Record NV s-sSQP Record Рис. 2: Результаты для методов с рекордами. - V s-sSQP Backup алгоритм 2, использующий вариант метода s-sSQP с исчеза- ющей стабилизацией; - V s-sSQP Record алгоритм 3, использующий вариант метода s-sSQP с исчезаю- щей стабилизацией; - NV s-sSQP Backup алгоритм 2, использующий вариант метода s-sSQP с неис- чезающей стабилизацией; - MV s-sSQP Record алгоритм 3, использующий вариант метода s-sSQP с неис- чезающей стабилизацией. Алгоритмы тестировались со следующими значениями параметров: q = 0:9 , c = 1 , " = 0:1 , = 0:5 . Запуск считался успешным, если условие остановки k(xk; k)k < 10 8 выполнялось на некоторой из первых 500 итераций. В противном случае, а также когда на некоторой итерации не удавалось решить подзадачу метода внешней фазы, запуск прекращался и считался неудачным. Тестирование проводилось на случайно сгенерированных задачах, для чего исполь- зовался генератор, описанный в [17], с параметром диапазона данных равным 1. А имен- но, для каждой рассматриваемой тройки (n; l; r) натуральных чисел генерировалось по 100 линейно-квадратичных задач вида (1), имеющих 0 своей стационарной точкой с 162 Н. Г. Журбенко, А. Ф. Измаилов, Е. И. Усков 100 101 0.0 0.2 0.4 0.6 0.8 1.0 Performance Quasi-Newton SQP sSQP Backup V s-sSQP Backup NV s-sSQP Record Рис. 3: Итоговые результаты. известным отвечающим ей множителем Лагранжа , и таких, что ранг матрицы Якоби ограничений в этой точке равен r . Ниже приводятся результаты, полученные с исполь- зованием всех троек (n; l; r) , в которых 0 < r < l < n 5 (случай полного вырожде- ния r = 0 не использовался, так как для этого случая характерно очень специальное поведение метода sSQP), а также троек вида (n; n 1; n 2) и (n; bn=2c; bn=2c 1) , для всех n 2 f10; 15; 20; 25; 35g . Для каждой сгенерированной задачи выполнялось 10 запусков из случайных начальных точек в кубической окрестности (0; ) , размер которой был равен 100 . Результаты представлены на рис. 1-3 в форме так называемых ѕperformance profilesї [18]. Для каждого из алгоритмов значение функции, график которой изображен на ри- сунке, в точке 2 [1; 1) есть доля задач в наборе, на которых результат данного алгоритма был не более чем в раз хуже наилучшего результата для данной задачи среди всех сравниваемых алгоритмов. При этом считается, что результат неудачного запуска в бесконечное число раз хуже любого другого результата. В частности, зна- чение этой функции при = 1 соответствует доле запусков, на которых результат данного алгоритма был наилучшим. Значение функции при больших характеризует робастность алгоритма, т. е. долю его успешных запусков. Под ѕрезультатомї в данном случае понимается количество итераций, причем для алгоритмов с возвратами в это количество включаются отброшенные шаги sSQP и s-sSQP. На рис. 1 и 2 представлены результаты тестирования алгоритмов с возвратами и с рекордами, соответственно. В первом случае результаты различаются мало: все алго- ритмы показывают одинаковую робастность, более высокую, чем у Quasi-Newton SQP, ГИБРИДНАЯ ГЛОБАЛИЗАЦИЯ СХОДИМОСТИ 163 и мало различаются по эффективности, существенно уступая Quasi-Newton SQP по этому показателю. Тем не менее, в качестве ѕпобедителейї были отобраны алгоритмы V s-sSQP Backup и sSQP Backup. Во втором же случае очевидным победителем явля- ется NV s-sSQP Record. Эта картина подтверждается и сравнительным тестированием отобранных алгоритмов, результаты которого приведены на рис. 3: NV s-sSQP Record демонстрирует ту же робастность, что и V s-sSQP Backup и sSQP Backup, и при этом существенно превосходит их по эффективности, хотя и несколько уступает по этому показателю Quasi-Newton SQP. Таким образом, замена метода sSQP на s-sSQP на внутренней фазе гибридных ал- горитмов повышает их эффективность и сохраняет робастность, более высокую, чем для метода SQP без стабилизаций. Вместе с тем, достичь эффективности последне- го методам со стабилизацией по-прежнему не удается, а значит, эта проблема требует дальнейшего внимания.Об авторах
Николай Георгиевич Журбенко
Институт кибернетики им. В. М. Глушкова НАН Украины
Email: zhurbnick@gmail.com
кандидат физико-математических наук, старший научный сотрудник 03187, Украина, г. Киев, проспект Академика Глушкова, 40
Алексей Феридович Измаилов
ФГБОУ ВО ≪Московский государственный университет им. М. В. Ломоносова≫
Email: izmaf@ccas.ru
доктор физико-математических наук, профессор кафедры исследования операций 119992, ГСП-2, Российская Федерация, г. Москва, Ленинские горы, факультет ВМК
Евгений Иванович Усков
ФГБОУ ВО ≪Тамбовский государственный университет им. Г.Р. Державина≫
Email: akurennoy@cs.msu.ru
кандидат физико-математических наук, научный сотрудник 392000, Российская Федерация, г. Тамбов, ул. Интернациональная, 33
Список литературы
- A. F. Izmailov, M. V. Solodov, Newton-Type Methods for Optimization and Variational Problems, Springer Series in Operations Research and Financial Engineering, Cham: Springer, 2014.
- А. Ф. Измаилов, М. В. Солодов, Численные методы оптимизации, 2-е изд., перераб. и доп., Физматлит, М., 2008.
- S. J. Wright, “Superlinear convergence of a stabilized SQP method to a degenerate solution”, Comput. Optim. Appl., 11 (1998), 253-275.
- A. F. Izmailov, M. V. Solodov, “Stabilized SQP revisited”, Math. Program., 133 (2012), 93-120.
- А. Ф. Измаилов, А. М. Крылова, Е. И. Усков, “Гибридная глобализация стабилизированного метода последовательного квадратичного программирования”, Теоретические и прикладные задачи нелинейного анализа, ВЦ РАН, М., 2011, 47-66.
- P. E. Gill, D.P. Robinson, “A primal-dual augmented Lagrangian”, Comput. Optim. Appl., 51 (2012), 1-25.
- P. E. Gill, D.P. Robinson, “A globally convergent stabilized SQP method”, SIAM J. Optim. Appl., 23 (2013), 1983-2010.
- D. Fernandez, E. A. Pilotta, G. A. Torres, “An inexact restoration strategy for the globalization of the sSQP method”, Comput. Optim. Appl., 54 (2013), 595-617.
- A. F. Izmailov, M. V. Solodov, E. I. Uskov, “Combining stabilized SQP with the augmented Lagrangian algorithm”, Comput. Optim. Appl., 62 (2015), 33-73.
- A. F. Izmailov, M. V. Solodov, E. I. Uskov, “Globalizing stabilized sequential quadratic programming method by smooth primal-dual exact penalty function”, J. Optim. Theory. Appl., 69 (2016), 148-178.
- P. E. Gill, V. Kungurtsev, D.P. Robinson, “A stabilized SQP method: global convergence”, IMA Journal of Numerical Analysis, 37 (2017), 407-443.
- P. E. Gill, V. Kungurtsev, D.P. Robinson, “A stabilized SQP method: superlinear convergence”, Math. Program., 163 (2017), 369-410.
- A. F. Izmailov, E. I. Uskov, “Subspace-stabilized sequential quadratic programming”, Comput. Optim. Appl., 67 (2017), 129-154.
- E. M. E. Mostafa, L. N. Vicente, S. J. Wright, “Numerical behavior of a stabilized SQP method for degenerate NLP problems”, Global Optimization and Constraint Satisfaction., Lecture Notes in Computer Science 2861., Springer, Berlin, 2003, 123-141.
- A. F. Izmailov, M. V. Solodov, “Newton-type methods for optimization problems without constraint qualifications”, SIAM J. Optim., 15 (2004), 210-228.
- J. Nocedal, S. J. Wright, Numerical Optimization, Second ed., Springer, New York, 2006.
- A. F. Izmailov, M. V. Solodov, “On attraction of Newton-type iterates to multipliers violating second-order sufficiency conditions”, Math. Program., 117 (2009), 271-304.
- E. D. Dolan, J. J. More, “Benchmarking optimization software with performance profiles”, Math. Program., 91 (2002), 201-213.
Дополнительные файлы
