Гибридная глобализация сходимости метода последовательного квадратичного программирования, стабилизированного вдоль подпространства

Обложка

Цитировать

Полный текст

Аннотация

Локальная сверхлинейная сходимость стабилизированного метода последовательного квадратичного программирования устанавливается при очень слабых предположениях, не включающих в себя никакие условия регулярности ограничений. Однако, все попытки глобализации сходимости этого метода неминуемо сталкиваются с принципиальными трудностями, связанными с поведением этого метода при относительной удаленности текущей итерации от решений. А именно, стабилизированный метод последовательного квадратичного программирования имеет тенденцию генерировать длинные последовательности коротких шагов перед тем, как проявляется его сверхлинейная сходимость. В связи с этим был предложен метод последовательного квадратичного программирования, стабилизированный вдоль подпространства, обладающий лучшим «полулокальным» поведением, а значит, лучше приспособленный для разработки на его основе практических алгоритмов. В данной работе предлагаются два способа гибридной глобализации сходимости этого метода: алгоритм с возвратами и алгоритм с рекордами. Приводятся теоретические результаты о глобальной сходимости и скорости сходимости данных алгоритмов, а также результаты сравнительного численного тестирования.

Полный текст

Введение Рассматривается задача оптимизации с ограничениями-равенствами f(x) ! min; h(x) = 0; (1) где целевая функция f : R ! R и отображение h : Rn ! Rl по крайней мере дважды дифференцируемы. Стационарные точки данной задачи и соответствующие им множители Лагранжа задаются системой оптимальности Лагранжа @L @x (x; ) = 0; h(x) = 0; (2) где L : Rn Rl ! R, L(x; ) = f(x) + h; h(x)i; есть функция Лагранжа задачи (1). А именно, обозначим через M(x) множество мно- жителей Лагранжа, отвечающих допустимой точке x 2 Rn задачи (1), то есть множе- ство таких 2 Rl , для которых пара (x; ) удовлетворяет системе (2). Тогда говорят, что x является стационарной точкой данной задачи, если M(x) 6= . Как хорошо известно, стационарность является необходимым условием локальной оптимальности точки x в задаче (1) при выполнении условия регулярности ограниче- ний rank h0(x) = l; (3) которое к тому же является необходимым и достаточным условием единственности множителя Лагранжа, отвечающего стационарной точке x . В терминологии [1, разд. 1.3.3], множитель Лагранжа 2M(x) называется крити- ческим, если существует такой вектор 2 ker h0(x)nf0g , что @2L @x2 (x; ) 2 im(h0(x))T; и некритическим иначе. Будем говорить, что в стационарной точке x задачи (1) для от- вечающего ей множителя Лагранжа 2M(x) выполнено достаточное условие второго порядка оптимальности, если @2L @x2 (x; ); > 0 8 2 ker h0(x) n f0g: При выполнении этого условия множитель всегда является некритическим. Как показано в [1, предложение 1.43], некритичность 2 M(x) равносильна сле- дующему свойству: существует константа L > 0 такая, что для всех (x; ) 2 Rn Rl , достаточно близких к (x; ) , выполняется неравенство kx xk + dist(; M(x)) Lk(x; )k; (4) ГИБРИДНАЯ ГЛОБАЛИЗАЦИЯ СХОДИМОСТИ 153 где : Rn Rl ! Rn Rl , (x; ) = @L @x (x; ); h(x) ; (5) есть оператор системы Лагранжа (2). Одним из наиболее эффективных методов общего назначения для задач условной оп- тимизации является метод последовательного квадратичного программирования (SQP, от ѕsequential quadratic programmingї) [1, разд. 4.2], [2, разд. 4.4], который для зада- чи (1) есть ни что иное, как метод Ньютона для системы уравнений Лагранжа (2). Локальная сверхлинейная сходимость метода SQP к решению (x; ) этой системы устанавливается при выполнении условия регулярности ограничений (3) и некритич- ности множителя . О различных способах глобализации сходимости метода SQP см. [1, разд. 6.2], [2, разд. 5.4], а также разд. 1 ниже. Стабилизированный метод последовательного квадратичного программирования (sSQP, от ѕstabilized SQPї) был предложен в [3] для задачи оптимизации с ограниче- ниями-неравенствами как средство восстановления сверхлинейной скорости сходимости метода SQP, которая обычно теряется при нарушении условий регулярности ограниче- ний. Впоследствии метод был распространен и на задачи, в которых присутствуют и ограничения-равенства. В частности, в [4] (см. также разд. 2 ниже) для задачи (1) бы- ло показано, что при выполнении одного лишь условия некритичности метод sSQP локально сверхлинейно сходится к (x; ) с некоторым 2M(x); близким к . В работах [5]- [12] предпринимались различные попытки глобализации сходимости метода sSQP. В частности, в [5] были предложены два алгоритма гибридной глоба- лизации данного метода, где в качестве алгоритма внешней фазы использовался гло- бализованный посредством одномерного поиска метод SQP. Однако, все эти попытки сталкиваются с принципиальными трудностями, связанными с поведением метода sSQP при относительной удаленности текущей итерации от решений. А именно, метод име- ет тенденцию генерировать длинные последовательности коротких шагов перед тем, как проявляется его сверхлинейная сходимость. Подчеркнем, что это дефект самого метода sSQP, и он неминуемо будет проявляться при любых способах глобализации его сходимости. На сегодняшний день однозначно успешные способы такой глобализации авторам неизвестны. В связи со сказанным в [13] было сделано предположение, что в модификации нуж- даются не способы глобализации сходимости, а сам метод sSQP. Там же был разработан метод последовательного квадратичного программирования, стабилизированный вдоль подпространства (s-sSQP, от ѕsubspace-stabilized SQPї), обладающий лучшим ѕполуло- кальнымї поведением, а значит, лучше приспособленный для глобализации. Основные ингредиенты этой конструкции обсуждаются ниже в разд. 2, а в разд. 3 предлагают- ся два способа такой глобализации: алгоритм с возвратами и алгоритм с рекордами, а также соответствующие теоретические результаты о глобальной сходимости и скоро- сти сходимости данных алгоритмов. Наконец, разд. 4 содержит некоторые результаты численного тестирования. 154 Н. Г. Журбенко, А. Ф. Измаилов, Е. И. Усков 1. Глобализованный метод последовательного квадратичного программирования Метод SQP состоит в следующем. Для текущего прямо-двойственного приближения (xk; k) 2 IRn IRl вычисляется направление (k; k) как решение системы линейных уравнений Hk + (h0(xk))T = @L @x (xk; k); h0(xk) = h(xk); (6) с базовым выбором Hk = @2L @x2 (xk; k): (7) Следующее приближение определяется как (xk+1; k+1) = (xk + k; k + k) . В разд. 3 в качестве метода внешней фазы для гибридного алгоритма будет исполь- зоваться следующий вариант метода SQP, глобализованный одномерным поиском для негладкой точной штрафной функции 'c : Rn ! R, 'c(x) = f(x) + ckF(x)k1; (8) при соответствующем выборе значений параметра штрафа c > 0 ; см. [1, разд. 6.2.1], [2, разд. 5.4.1]. Приводимый алгоритм снабжен так называемыми поправками второго по- рядка, позволяющими подавлять известный эффект Маратоса, замедляющий сходи- мость [1, разд. 6.2.2], [2, разд. 5.4.2]. А л г о р и т м 1. Выбираем параметры c > 0 , "; 2 (0; 1) . Выбираем начальное приближение (x0; 0) 2 Rn Rl и полагаем k = 0 . 1. Выбираем симметричную матрицу Hk 2 IRnn и вычисляем (k; k) как решение системы (6). Полагаем k+1 = k + k . 2. Если k = 0 , стоп. 3. Выбираем ck kk+1k1 + c; и вычисляем k = hf0(xk); ki ckkF(xk)k1: 4. Если выполняется неравенство 'ck(xk + k) 'ck(xk) + "k; где функция 'ck вводится согласно (8), то полагаем xk+1 = xk + k , и переходим к п. 7. 5. Вычисляем bk как решение задачи оптимизации kk ! min; h(xk + k) + h0(xk) = 0: ГИБРИДНАЯ ГЛОБАЛИЗАЦИЯ СХОДИМОСТИ 155 6. Полагаем = 1 . Если выполняется неравенство 'ck(xk + k + 2bk) 'ck(xk) + "k; (9) то полагаем k = . В противном случае заменяем на и проверяем (9), до тех пор, пока оно не будет выполнено. Полагаем xk+1 = xk + kk + 2k bk . 7. Увеличиваем k на 1 и переходим к п. 1. Анализ свойств глобальной сходимости и скорости сходимости данного алгоритма приводится в [1, разд. 6.2], [2, разд. 5.4]. 2. Стабилизированные методы последовательного квадратичного программирования Метод sSQP получается заменой итерационной системы (6) на следующую: Hk + (h0(xk))T = @L @x (xk; k); h0(xk) (xk; k) = h(xk); (10) с Hk выбираемым согласно (7), и с функцией : Rn Rl ! R+ , задающей параметр стабилизации и традиционно определяемой как невязка системы Лагранжа (2): (x; ) = k(x; )k; где введено в (5). Нарушение условия регулярности ограничений в точке x означает, что (im h0(x))? = ker(h0(x))T является нетривиальным линейным подпространством в Rl , которое в дальнейшем бу- дем называть подпространством вырожденности. Когда подпространство вырожден- ности совпадает со всем пространством Rl , т. е. когда h0(x) = 0 , метод sSQP и его упоминавшиеся выше глобализации обычно вполне успешны. Однако, при неполном вы- рождении, т. е. в тех случаях, когда подпространство вырожденности является нетри- виальным, но собственным подпространством в Rl , данный метод имеет тенденцию генерировать длинные последовательности коротких шагов. Такое поведение наблю- далось уже в некоторых примерах в [14]. Необходимость подавления этого эффекта является мотивировкой введения в [13] следующего класса методов. Пусть задано отображение P : RnRl ! Rll и функция : RnRl ! R. Предпола- гается, что линейный оператор P(x; ) аппроксимирует проектор на подпространство вырожденности при (x; ) ! (x; ) . Итерационная система метода s-sSQP имеет вид Hk + (h0(xk))T = @L @x (xk; k); h0(xk) (xk; k)P(xk; k) = h(xk); (11) 156 Н. Г. Журбенко, А. Ф. Измаилов, Е. И. Усков т. е. отличается от итерационной системы (10) метода sSQP только присутствием линей- ного оператора P(xk; k) во втором уравнении, а также, возможно, другим выбором функции . В [13] были введены две группы методов s-sSQP. Методы s-sSQP с исчезающей ста- билизацией характеризуются следующими требованиями на P и : - отображение P непрерывно в точке (x; ) , и (im h0(x))? является инвариантным подпространством P(x; ) , т. е. P(x; ) = 8 2 (im h0(x))?; - функция непрерывна в каждой точке множества fxg M(x) из некоторой окрестности (x; ) , (x; ) = 0 для всех 2 M(x) достаточно близких к , (x; ) 6= 0 для всех (x; ) 2 (IRn IRl) n (fxgM(x)) из некоторой окрестности (x; ) , и kx xk = O(j(x; )j) при (x; ) ! (x; ) . Заметим, что эти предположения позволяют взять, например, P() I , тем са- мым покрывая метод sSQP. О других способах выбора P см. ниже. Кроме того, если некритический множитель Лагранжа, то, согласно эквивалентности этого условия оценке (4), всем требованиям удовлетворяет выбор (x; ) = k(x; )k с любым фиксированным показателем 2 (0; 1] , где введен в (5). Методы s-sSQP с неисчезающей стабилизацией предполагают следующие требова- ния на P и : - отображение P непрерывно в каждой точке множества fxgM(x) из некоторой окрестности (x; ) , im P(x; ) im h0(x) = f0g для всех 2M(x) из некоторой окрестности , и ker P(x; ) (im h0(x))? = f0g . - функция непрерывна в точке (x; ) , и (x; ) 6= 0 . Идея методов такого рода восходит к [15]. Как показано в [13], локальные свойства свойства указанных двух вариантов мето- дов s-sSQP аналогичны соответствующим свойствам sSQP: локальная сверхлинейная сходимость гарантирована при одном лишь предположении некритичности множите- ля Лагранжа . Там же предложены и практические способы задания подходящего отображения P , аппроксимирующего проектор на подпространство вырожденности. ГИБРИДНАЯ ГЛОБАЛИЗАЦИЯ СХОДИМОСТИ 157 3. Гибридная глобализация сходимости В этом разделе будут описаны два способа гибридной глобализации метода s-sSQP: алгоритм с возвратами и алгоритм с рекордами. Общая идея этих техник глобализации изложена в [1, разд. 5.3]. Суть алгоритма с возвратами состоит в следующем. На каждой итерации из теку- щего приближения (xk; k) делается шаг метода внутренней фазы (в данном случае s-sSQP), который принимается, если он приводит к линейному убыванию невязки си- стемы Лагранжа, т. е. к ее уменьшению по крайней мере в заданное число раз, опреде- ляемое в алгоритме ниже параметром q . Если на какой-либо из последующих итераций шаг метода внутренней фазы не принимается, то происходит возврат к тому прибли- жению, откуда был сделан первый в данной серии шагов метода внутренней фазы, и из этой точки делается шаг метода внешней фазы (в данном случае глобализованного метода SQP, т. е. алгоритма 1). А л г о р и т м 2. Выбираем параметр q 2 (0; 1) , а также параметры алгоритма 1. Выбираем начальное приближение (x0; 0) 2 Rn Rl и полагаем k = 0 . 1. Полагаем bk = k и (bx; b ) = (xk; k) . 2. Определяем Hk согласно (7). Определяем P(xk; k) и (xk; k) согласно выбран- ному варианту метода s-sSQP. Вычисляем (k; k) как решение системы (11). Ес- ли решение найти не удается, то переходим к п. 4. В противном случае полагаем (xk+1; k+1) = (xk + k; k + k) . 3. Если k(xk+1; k+1)k qk(xk; k)k; (12) то увеличиваем k на 1 и переходим к п. 2. (Шаг метода внутренней фазы.) 4. Если k > bk , полагаем k = bkи (xk; k) = (bx; b ) . Вычисляем (xk+1; k+1) с помощью итерации алгоритма 1, увеличиваем k на 1 и переходим к п. 1. (Шаг метода внешней фазы.) Что касается свойств глобальной сходимости приведенного алгоритма, то возможны только два сценария: либо все итерации, начиная с некоторой, являются шагами ме- тода внутренней фазы, либо все итерации являются шагами метода внешней фазы. В последнем случае алгоритм 2 наследует свойства глобальной сходимости алгоритма 1. В первом же случае из условия (12) вытекает следующее утверждение. Теорема 1. Пусть функция f и отображение h дважды непрерывно дифференци- руемы на Rn . Пусть последовательность f(xk; k)g сгенерирована алгоритмом 2, и пусть все члены этой последовательности, начиная с некоторого, получены шагами метода внутренней фазы. 158 Н. Г. Журбенко, А. Ф. Измаилов, Е. И. Усков Тогда (xk; k) ! 0 при k ! 1, и, в частности, если (x; ) является предельной точкой последователь- ности f(xk; k)g , то x стационарная точка задачи (1), a отвечающий ей множитель Лагранжа. Скорость сходимости алгоритма 2 характеризуется следующим утверждением. Теорема 2. Пусть функция f и отображение h дважды непрерывно дифференци- руемы в окрестности стационарной точки x задачи (1), и пусть отвечающий x некритический множитель Лагранжа. Пусть точка (x; ) является предельной точкой последовательности f(xk; k)g , сгенерированной алгоритмом 2. Тогда вся последовательность f(xk; k)g сходится к (x; ) , и скорость сходимо- сти сверхлинейная. Д о к а з а т е л ь с т в о. Рассмотрим точку (xk; k) , достаточно близкую к (x; ) . Пусть точка (xk+1; k+1) получена шагом метода внутренней фазы. Используя локальную липшицевость в сделанных предположениях гладкости, а также (4) и [13, теоремы 1 и 2], получаем (xk+1; k+1) = O(kxk+1 xk + dist(k+1; M(x))) = = o(kxk xk + dist(k; M(x))) = o(k(xk; k)k) при k ! 1. Из полученной оценки вытекает выполнение (12) для любого фиксирован- ного q 2 (0; 1) при достаточной близости (xk; k) к (x; ) . Но тогда точка (xk+1; k+1) принимается алгоритмом 2. Отсюда легко следует, что все точки последовательности f(xk; k)g сгенерированы шагами метода внутренней фазы, а значит, алгоритм насле- дует сверхлинейную сходимость метода s-sSQP, установленную в [13, теоремы 1 и 2]. Альтернативная стратегия гибридной глобализации, называемая алгоритмом с ре- кордами, состоит в следующем. Вместо того, чтобы сравнивать невязку системы Ла- гранжа в пробной точке с невязкой, полученной на предыдущей итерации, можно срав- нивать ее с наименьшим достигнутым значением невязки по всем предыдущим итера- циям (т. е. с рекордом), и принимать шаг метода внутренней фазы только в том случае, если наблюдается линейное убывание рекорда. А л г о р и т м 3. Выбираем параметр q 2 (0; 1) , а также параметры алгоритма 1. Выбираем начальное приближение (x0; 0) 2 Rn Rl и полагаем k = 0 . Полагаем R = k(x0; 0)k . 1. Определяем Hk согласно (7). Определяем P(xk; k) и (xk; k) согласно выбран- ному варианту метода s-sSQP. Вычисляем (k; k) как решение системы (11). Ес- ли решение найти не удается, то переходим к п. 3. В противном случае полагаем (xk+1; k+1) = (xk + k; k + k) . ГИБРИДНАЯ ГЛОБАЛИЗАЦИЯ СХОДИМОСТИ 159 2. Если k(xk+1; k+1)k qR; (13) то полагаем R = k(xk+1; k+1)k , увеличиваем k на 1 и переходим к п. 1. (Шаг метода внутренней фазы.) 3. Вычисляем (xk+1; k+1) с помощью итерации алгоритма 1. Если k(xk+1; k+1)k < R; (14) полагаем R = k(xk+1; k+1)k . Увеличиваем k на 1 и переходим к п. 1. (Шаг метода внешней фазы.) Как и в случае алгоритма с возвратами, здесь возможны лишь два (правда, несколь- ко иные) сценария: либо все итерации алгоритма 3, начиная с некоторой, являются шагами метода внешней фазы, либо бесконечное число итераций являются итерациями метода внутренней фазы. В первом случае свойства глобальной сходимости алгорит- ма 3 будут теми же, что и у метода внешней фазы. Во втором случае из условия (13) легко выводится следующий результат. Теорема 3. Пусть функция f и отображение h дважды непрерывно дифферен- цируемы на Rn . Пусть последовательность f(xk; k)g сгенерирована алгоритмом 3, и пусть члены (xkj ; kj ) этой последовательности получены шагами метода внут- ренней фазы для бесконечного числа номеров j . Тогда (xkj ; kj ) ! 0 при j ! 1, и, в частности, если (x; ) является предельной точкой последователь- ности f(xkj ; kj )g , то x стационарная точка задачи (1), a отвечающий ей множитель Лагранжа. Наконец, сверхлинейная скорость сходимости алгоритма 3 устанавливается в следу- ющей теореме. Теорема 4. Пусть функция f и отображение h дважды непрерывно дифференци- руемы в окрестности стационарной точки x задачи (1), и пусть отвечающий x некритический множитель Лагранжа. Пусть последовательность f(xk; k)g , сге- нерированная алгоритмом 3, сходится к точке (x; ) . Тогда скорость сходимости сверхлинейная. Д о к а з а т е л ь с т в о. Если значение рекорда R меняется бесконечное число раз, то можно рассмотреть точку (xk; k) , сколь угодно близкую к (x; ) , и такую, что R = k(xk; k)k . Тогда аналогично доказательству теоремы 2 получаем, что точка (xk+1; k+1) , полученная шагом метода внутренней фазы, принимается алгоритмом 3, на последующих итерациях алгоритм работает идентично методу s-sSQP, и сверхлиней- ная скорость сходимости следует из [13, теоремы 1 и 2]. 160 Н. Г. Журбенко, А. Ф. Измаилов, Е. И. Усков Остается рассмотреть случай, когда рекордное значение R > 0 остается неизменным начиная с некоторой итерации. Это означает, что, начиная с этой итерации, шаги внут- ренней фазы не принимаются алгоритмом 3. При этом последовательность f(xk; k)g сходится к 0 (т. к. f(xk; k)g сходится к (x; ) ), и поэтому (14) будет выполняться для достаточно большого k . Но тогда на соответствующей итерации рекордной значение R должно измениться, что дает противоречие. Значит, данный случай не может иметь места. 4. Численные примеры Численные эксперименты были проведены в среде Python 2.7. При реализации рас- сматриваемых алгоритмов использовалось расширение NumPy языка Python для под- держки многомерных матриц, а также функций для операций с этими матрицами. При- водимые графические изображения были получены с помощью библиотеки Matplotlib. 100 101 0.0 0.2 0.4 0.6 0.8 1.0 Performance Quasi-Newton SQP sSQP Backup V s-sSQP Backup NV s-sSQP Backup Рис. 1: Результаты для методов с возвратами. Ниже используются следующие обозначения для тестируемых алгоритмов: - Quasi-Newton SQP алгоритм 1 с выбором матрицы Hk по правилу Бройдена- Флетчера-Голдфарба-Шанно с модификацией Пауэлла (см. [16, с. 536, 537]); - sSQP Backup алгоритм 1 из [5], т. е. алгоритм 2, в котором в качестве метода внутренней фазы вместо s-sSQP используется sSQP; - sSQP Record алгоритм 2 из [5], т. е. алгоритм 3, в котором в качестве метода внутренней фазы вместо s-sSQP используется sSQP; ГИБРИДНАЯ ГЛОБАЛИЗАЦИЯ СХОДИМОСТИ 161 100 101 0.0 0.2 0.4 0.6 0.8 1.0 Performance Quasi-Newton SQP sSQP Record V s-sSQP Record NV s-sSQP Record Рис. 2: Результаты для методов с рекордами. - V s-sSQP Backup алгоритм 2, использующий вариант метода s-sSQP с исчеза- ющей стабилизацией; - V s-sSQP Record алгоритм 3, использующий вариант метода s-sSQP с исчезаю- щей стабилизацией; - NV s-sSQP Backup алгоритм 2, использующий вариант метода s-sSQP с неис- чезающей стабилизацией; - MV s-sSQP Record алгоритм 3, использующий вариант метода s-sSQP с неис- чезающей стабилизацией. Алгоритмы тестировались со следующими значениями параметров: q = 0:9 , c = 1 , " = 0:1 , = 0:5 . Запуск считался успешным, если условие остановки k(xk; k)k < 10 8 выполнялось на некоторой из первых 500 итераций. В противном случае, а также когда на некоторой итерации не удавалось решить подзадачу метода внешней фазы, запуск прекращался и считался неудачным. Тестирование проводилось на случайно сгенерированных задачах, для чего исполь- зовался генератор, описанный в [17], с параметром диапазона данных равным 1. А имен- но, для каждой рассматриваемой тройки (n; l; r) натуральных чисел генерировалось по 100 линейно-квадратичных задач вида (1), имеющих 0 своей стационарной точкой с 162 Н. Г. Журбенко, А. Ф. Измаилов, Е. И. Усков 100 101 0.0 0.2 0.4 0.6 0.8 1.0 Performance Quasi-Newton SQP sSQP Backup V s-sSQP Backup NV s-sSQP Record Рис. 3: Итоговые результаты. известным отвечающим ей множителем Лагранжа , и таких, что ранг матрицы Якоби ограничений в этой точке равен r . Ниже приводятся результаты, полученные с исполь- зованием всех троек (n; l; r) , в которых 0 < r < l < n 5 (случай полного вырожде- ния r = 0 не использовался, так как для этого случая характерно очень специальное поведение метода sSQP), а также троек вида (n; n 1; n 2) и (n; bn=2c; bn=2c 1) , для всех n 2 f10; 15; 20; 25; 35g . Для каждой сгенерированной задачи выполнялось 10 запусков из случайных начальных точек в кубической окрестности (0; ) , размер которой был равен 100 . Результаты представлены на рис. 1-3 в форме так называемых ѕperformance profilesї [18]. Для каждого из алгоритмов значение функции, график которой изображен на ри- сунке, в точке 2 [1; 1) есть доля задач в наборе, на которых результат данного алгоритма был не более чем в раз хуже наилучшего результата для данной задачи среди всех сравниваемых алгоритмов. При этом считается, что результат неудачного запуска в бесконечное число раз хуже любого другого результата. В частности, зна- чение этой функции при = 1 соответствует доле запусков, на которых результат данного алгоритма был наилучшим. Значение функции при больших характеризует робастность алгоритма, т. е. долю его успешных запусков. Под ѕрезультатомї в данном случае понимается количество итераций, причем для алгоритмов с возвратами в это количество включаются отброшенные шаги sSQP и s-sSQP. На рис. 1 и 2 представлены результаты тестирования алгоритмов с возвратами и с рекордами, соответственно. В первом случае результаты различаются мало: все алго- ритмы показывают одинаковую робастность, более высокую, чем у Quasi-Newton SQP, ГИБРИДНАЯ ГЛОБАЛИЗАЦИЯ СХОДИМОСТИ 163 и мало различаются по эффективности, существенно уступая Quasi-Newton SQP по этому показателю. Тем не менее, в качестве ѕпобедителейї были отобраны алгоритмы V s-sSQP Backup и sSQP Backup. Во втором же случае очевидным победителем явля- ется NV s-sSQP Record. Эта картина подтверждается и сравнительным тестированием отобранных алгоритмов, результаты которого приведены на рис. 3: NV s-sSQP Record демонстрирует ту же робастность, что и V s-sSQP Backup и sSQP Backup, и при этом существенно превосходит их по эффективности, хотя и несколько уступает по этому показателю Quasi-Newton SQP. Таким образом, замена метода sSQP на s-sSQP на внутренней фазе гибридных ал- горитмов повышает их эффективность и сохраняет робастность, более высокую, чем для метода SQP без стабилизаций. Вместе с тем, достичь эффективности последне- го методам со стабилизацией по-прежнему не удается, а значит, эта проблема требует дальнейшего внимания.
×

Об авторах

Николай Георгиевич Журбенко

Институт кибернетики им. В. М. Глушкова НАН Украины

Email: zhurbnick@gmail.com
кандидат физико-математических наук, старший научный сотрудник 03187, Украина, г. Киев, проспект Академика Глушкова, 40

Алексей Феридович Измаилов

ФГБОУ ВО ≪Московский государственный университет им. М. В. Ломоносова≫

Email: izmaf@ccas.ru
доктор физико-математических наук, профессор кафедры исследования операций 119992, ГСП-2, Российская Федерация, г. Москва, Ленинские горы, факультет ВМК

Евгений Иванович Усков

ФГБОУ ВО ≪Тамбовский государственный университет им. Г.Р. Державина≫

Email: akurennoy@cs.msu.ru
кандидат физико-математических наук, научный сотрудник 392000, Российская Федерация, г. Тамбов, ул. Интернациональная, 33

Список литературы

  1. A. F. Izmailov, M. V. Solodov, Newton-Type Methods for Optimization and Variational Problems, Springer Series in Operations Research and Financial Engineering, Cham: Springer, 2014.
  2. А. Ф. Измаилов, М. В. Солодов, Численные методы оптимизации, 2-е изд., перераб. и доп., Физматлит, М., 2008.
  3. S. J. Wright, “Superlinear convergence of a stabilized SQP method to a degenerate solution”, Comput. Optim. Appl., 11 (1998), 253-275.
  4. A. F. Izmailov, M. V. Solodov, “Stabilized SQP revisited”, Math. Program., 133 (2012), 93-120.
  5. А. Ф. Измаилов, А. М. Крылова, Е. И. Усков, “Гибридная глобализация стабилизированного метода последовательного квадратичного программирования”, Теоретические и прикладные задачи нелинейного анализа, ВЦ РАН, М., 2011, 47-66.
  6. P. E. Gill, D.P. Robinson, “A primal-dual augmented Lagrangian”, Comput. Optim. Appl., 51 (2012), 1-25.
  7. P. E. Gill, D.P. Robinson, “A globally convergent stabilized SQP method”, SIAM J. Optim. Appl., 23 (2013), 1983-2010.
  8. D. Fernandez, E. A. Pilotta, G. A. Torres, “An inexact restoration strategy for the globalization of the sSQP method”, Comput. Optim. Appl., 54 (2013), 595-617.
  9. A. F. Izmailov, M. V. Solodov, E. I. Uskov, “Combining stabilized SQP with the augmented Lagrangian algorithm”, Comput. Optim. Appl., 62 (2015), 33-73.
  10. A. F. Izmailov, M. V. Solodov, E. I. Uskov, “Globalizing stabilized sequential quadratic programming method by smooth primal-dual exact penalty function”, J. Optim. Theory. Appl., 69 (2016), 148-178.
  11. P. E. Gill, V. Kungurtsev, D.P. Robinson, “A stabilized SQP method: global convergence”, IMA Journal of Numerical Analysis, 37 (2017), 407-443.
  12. P. E. Gill, V. Kungurtsev, D.P. Robinson, “A stabilized SQP method: superlinear convergence”, Math. Program., 163 (2017), 369-410.
  13. A. F. Izmailov, E. I. Uskov, “Subspace-stabilized sequential quadratic programming”, Comput. Optim. Appl., 67 (2017), 129-154.
  14. E. M. E. Mostafa, L. N. Vicente, S. J. Wright, “Numerical behavior of a stabilized SQP method for degenerate NLP problems”, Global Optimization and Constraint Satisfaction., Lecture Notes in Computer Science 2861., Springer, Berlin, 2003, 123-141.
  15. A. F. Izmailov, M. V. Solodov, “Newton-type methods for optimization problems without constraint qualifications”, SIAM J. Optim., 15 (2004), 210-228.
  16. J. Nocedal, S. J. Wright, Numerical Optimization, Second ed., Springer, New York, 2006.
  17. A. F. Izmailov, M. V. Solodov, “On attraction of Newton-type iterates to multipliers violating second-order sufficiency conditions”, Math. Program., 117 (2009), 271-304.
  18. E. D. Dolan, J. J. More, “Benchmarking optimization software with performance profiles”, Math. Program., 91 (2002), 201-213.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML


Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».