Globalized piecewise Levenberg–Marquardt method with a procedure for avoiding convergence to nonstationary points

Cover Page

Cite item

Full Text

Abstract

The modern version of the Levenberg–Marquardt method for constrained equations possess strong properties of local superlinear convergence, allowing for possibly nonisolated solutions and possibly nonsmooth equations. A related globally convergent variant of the algorithm for the piecewise-smooth case, based on linesearch for the squared Euclidian norm residual, has recently been developed. Global convergence of this algorithm to stationary points for some active smooth selections has been shown, and examples demonstrate that no any stronger global convergence properties can be established for this algorithm without further modifications. In this paper, we develop such a modification of the globalized piecewise Levenberg–Marquardt method, that avoids undesirable accumulation points, thus achieving the intended property of B-stationarity of accumulation points for the problem of minimization of the squared Euclidian norm residual of the original equation over the constraint set. The construction consists of identifying smooth selections active at potential accumulation points by means of an appropriate error bound for an active smooth selection employed at the current iteration, and then switching to a more promising identified selection when needed. Global convergence to B-stationary points and asymptotic superlinear convergence rate are established, the latter again relying on an appropriate error bound property, but this time for the solutions of the original constrained equation.

About the authors

Alexey F. Izmailov

Lomonosov Moscow State University

Author for correspondence.
Email: izmaf@cs.msu.ru
ORCID iD: 0000-0001-9851-0524

Doctor of Physical and Mathematical Sciences, Professor of the Operations Research Department

Russian Federation, 1 Leninskiye Gory, Moscow 119991, Russian Federation

Zhibai Yan

Lomonosov Moscow State University

Email: yanzhibai@cs.msu.ru
ORCID iD: 0009-0003-6425-0332

Post-Graduate Student

Russian Federation, 1 Leninskiye Gory, Moscow 119991, Russian Federation

References

  1. A. Fischer, A.F. Izmailov, M.V. Solodov, "The Levenberg-Marquardt method: an overview of modern convergence theories and more", Computational Optimization and Applications, 89:1 (2024), 33-67.
  2. A.F. Izmailov, E.I. Uskov, Z. Yan, "The piecewise Levenberg-Marquardt method", Advances in System Sciences and Applications, 24:1 (2024), 29-39.
  3. A.F. Izmailov, E.I. Uskov, Z. Yan, "Globalization of convergence of the constrained piecewise Levenberg-Marquardt method", Optimization Methods and Software, 40:2 (2025), 243-265.
  4. A. Fischer, M. Herrich, A.F. Izmailov, M.V. Solodov, "Convergence conditions for Newton-type methods applied to complementarity systems with nonisolated solutions", Computational Optimization and Applications, 63:2 (2016), 425-459.
  5. A. Fischer, M. Herrich, A.F. Izmailov, W. Scheck, M.V. Solodov, "A globally convergent LP-Newton method for piecewise smooth constrained equations: escaping nonstationary accumulation points", Computational Optimization and Applications, 69:2 (2018), 325-349.
  6. A. Fischer, M. Herrich, A.F. Izmailov, M.V. Solodov, "A globally convergent LP-Newton method", SIAM J. on Optimization, 26 (2016), 2012-2033.
  7. A.F. Izmailov, M.V. Solodov, Newton-Type Methods for Optimization and Variational Problems, Springer Series in Operations Research and Financial Engineering, Springer, Cham, 2014.
  8. F. Facchinei, J.-S. Pang, Finite-Dimensional Variational Inequalities and Complementarity Problems., Springer-Verlag, New York, 2003.
  9. R. Behling, A. Fischer, "A unified local convergence analysis of inexact constrained Levenberg-Marquardt methods", Optimization Letters, 6 (2012), 927-940.
  10. A. Fischer, "Local behavior of an iterative framework for generalized equations with nonisolated solutions", Mathematical Programming, 94 (2002), 91-124.

Supplementary files

Supplementary Files
Action
1. JATS XML


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».