Hybrid globalization of convergence of the Levenberg-Marquardt method for equality-constrained optimization problems


Cite item

Full Text

Abstract

The Levenberg-Marquardt method possesses local superlinear convergence for general systems of nonlinear equations under weal assumptions allowing for nonisolated solutions. This justifies its application to first-order optimality systems of constrained optimization problems with possibly violated constraint qualifications, the latter giving rise to nonuniqueness of Lagrange multipliers. However, the existing strategies for globalization of convergence of the Levenberg-Marquardt method are not optimization-oriented by nature, i.e., when applied to optimization problems, they are intended not for finding solutions, but rather any stationary points of such problems. In this work, we propose optimization-oriented globalization strategies for the Levenberg-Marquardt method applied to optimization problems with equality constraints. The proposed strategies are hybrid by their character, i.e., they combine a globally convergent optimization outer phase method with asymptotic switching to the Levenberg-Marquardt method. Global convergence properties and superlinear rate of convergence are established. Numerical results are provided, demonstrating that the proposed hybrid algorithms are workable.

About the authors

Alexey F. Izmailov

Lomonosov Moscow State University

Author for correspondence.
Email: izmaf@cs.msu.ru
ORCID iD: 0000-0001-9851-0524

Doctor of Physical and Mathematical Sciences, Professor of the Operations Research Department

Russian Federation, 1 Leninskiye Gory, Moscow 119991, Russian Federation

Evgeniy I. Uskov

Derzhavin Tambov State University

Email: euskov@cs.msu.ru
ORCID iD: 0000-0002-3639-0317

Candidate of Physical and Mathematical Sciences, Researcher at the Scientific and Educational Center “Fundamental Mathematical Research”

Russian Federation, 33 Internatsionalnaya St., Tambov 392000, Russian Federation

References

  1. A.F. Izmailov, M.V. Solodov, Chislenniye Metody Optimizatzii, 2nd edition, revised and enlarged, Fizmatlit, Moscow, 2008 (In Russian).
  2. A.F. Izmailov, M.V. Solodov, Newton-Type Methods for Optimization and Variational Problems, Springer Series in Operations Research and Financial Engineering, Springer, Cham, 2014.
  3. A.F. Izmailov, M.V. Solodov, "Critical Lagrange multipliers: what we currently know about them, how they spoil our lives, and what we can do about it", TOP, 23:1 (2015), 1-26.
  4. S.J. Wright, "Superlinear convergence of a stabilized SQP method to a degenerate solution", Computational Optimization and Applications, 11:3 (1998), 253-275.
  5. W.W. Hager, "Stabilized sequential quadratic programming", Computational Optimization and Applications, 12:1-3 (1999), 253-273.
  6. S.J. Wright, "Modifying SQP for degenerate problems", SIAM J. on Optimization, 13:2 (2002), 470-497.
  7. D. Fernández, M.V. Solodov, "Stabilized sequential quadratic programming for optimization and a stabilized Newton-type method for variational problems", Mathematical Programming, 125:1 (2010), 47-73.
  8. A.F. Izmailov, M.V. Solodov, "Stabilized SQP revisited", Mathematical Programming, 133:1-2 (2012), 93-120.
  9. A.F. Izmailov, E.I. Uskov, "Subspace-stabilized sequential quadratic programming", Computational Optimization and Applications, 67:1 (2017), 129-154.
  10. A.F. Izmailov, M.V. Solodov, E.I. Uskov, "A globally convergent Levenberg-Marquard tmethod for equality-constrained optimization", Computational Optimization and Applications, 72:1 (2019), 215-239.
  11. A. Fischer, A.F. Izmailov, M.V. Solodov, "The Levenberg-Marquardt method: an overview of modern convergence theories and more", Computational Optimization and Applications, 89:1 (2024), 33-67.
  12. A.F. Izmailov, A.M. Krylova, E.I. Uskov, "Hybrid globalization of the stabilized method of sequential quadratic programming", Theoretical and Applied Problems of Nonlinear Analysis, CC RAS, Moscow, 2011, 47-66 (In Russian).
  13. E.D. Dolan, J.J. More, "Benchmarking optimization software with performance profiles", Mathematical Programming, 91:2 (2002), 201-213.
  14. A.F. Izmailov, M.V. Solodov, E.I. Uskov, "Combining stabilized SQP with the augmented Lagrangian algorithm", Computational Optimization and Applications, 62:2 (2015), 405-429.
  15. A.F. Izmailov, E.I. Uskov, Yan Zhibai, "The piecewise Levenberg-Marquardt method for generalized Nash equilibrium problems", Advances in System Sciences and Applications, 24:2 (2024), 19-31 (to appear).

Supplementary files

Supplementary Files
Action
1. JATS XML


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».