A method for constructing nonelementary linear regressions based on mathematical programming

Cover Page

Cite item

Full Text

Abstract

This paper is devoted to constructing nonelementary linear regressions consisting of explanatory variables and all possible combinations of their pairs transformed using binary minimum and maximum operations. Such models are formalized through a 0-1 mixed integer linear programming problem. By adjusting the constraints on binary variables, we control the structural specification of a nonelementary linear regression, namely, the number of regressors, their types, and the composition of explanatory variables. In this case, the model parameters are approximately estimated using the ordinary least squares method. The formulated problem has advantages: the number of constraints does not depend on the sample size, and the signs of the estimates for the explanatory variables are consistent with the signs of their correlation coefficients with the dependent variable. Regressors are eliminated at the initial stage to reduce the time for solving the problem and make the model quite interpretable. A nonelementary linear regression of rail freight in Irkutsk oblast is constructed, and its interpretation is given.

About the authors

M. P Bazilevskiy

Irkutsk State Transport University

Author for correspondence.
Email: mik2178@yandex.ru
Irkutsk, Russia

References

  1. Arkes, J. Regression Analysis: A Practical Introduction. - Routledge, 2019. - 362 p.
  2. Westfall, P.H., Arias, A.L. Understanding Regression Analysis: A Conditional Distribution Approach. - Chapman and Hall/CRC, 2020. - 514 p.
  3. Клейнер Г.Б. Производственные функции: Теория, методы, применение. - М.: Финансы и статистика, 1986. - 239 с. [Kleiner, G.B. Proizvodstvennye funktsii: Teoriya, metody, primenenie. - Moscow: Finansy i statistika, 1986. - 239 s. (In Russian)]
  4. Onalan, O., Basegmez, H. Estimation of Economic Growth Using Grey Cobb-Douglas Production Function: An Application for US Economy // Journal of Business Economics and Finance. - 2018. - Vol. 7, no. 2. - P. 178-190.
  5. Yankovyi, O., Koval, V., Lazorenko, L., et al. Modeling Sustainable Economic Development Using Production Functions // Studies of Applied Economics. - 2021. - Vol. 39, no. 5.
  6. Ishikawa, A. Why Does Production Function Take the Cobb-Douglas Form? // Statistical Properties in Firms’ Large-scale Data. - Springer, Singapore, 2021. - P. 113-135.
  7. Носков С.И. Технология моделирования объектов с нестабильным функционированием и неопределенностью в данных. - Иркутск: РИЦ ГП «Облинформпечать», 1996. - 320 с.
  8. Шор Н.З. Методы минимизации недифференцируемых функций и их приложения. - Киев: Наук. думка, 1979. - 200 с.
  9. Scaman, K., Bach, F., Bubeck, S., et al. Optimal Algorithms for Non-smooth Distributed Optimization in Networks // Advances in Neural Information Processing Systems. - 2018. - Vol. 31.
  10. Khamaru, K., Wainwright, M. J. Convergence Guarantees for a Class of Non-convex and Non-smooth Optimization Problems // Journal of Machine Learning Research. - 2019. - Vol. 20, no. 154. - P. 1-52.
  11. Иванова Н.К., Лебедева С.А., Носков С.И. Идентификация параметров некоторых негладких регрессий // Информационные технологии и проблемы математического моделирования сложных систем. - 2016. - № 17. - С. 107-110.
  12. Носков С.И., Хоняков А.А. Программный комплекс построения некоторых типов кусочно-линейных регрессий // Информационные технологии и математическое моделирование в управлении сложными системами. - 2019. - № 3 (4). - С. 47-55.
  13. Park, Y.W., Klabjan, D. Subset Selection for Multiple Linear Regression via Optimization // Journal of Global Optimization. - 2020. - Vol. 77. - P. 543-574.
  14. Chung, S., Park, Y.W., Cheong, T. A Mathematical Programming Approach for Integrated Multiple Linear Regression Subset Selection and Validation // Pattern Recognition. - 2020. - Vol. 108. - P. 107565.
  15. Bertsimas, D., Li, M.L. Scalable Holistic Linear Regression // Operations Research Letters. - 2020. - Vol. 48, no. 3. - P. 203- 208.
  16. Базилевский М.П. МНК-оценивание параметров специфицированных на основе функций Леонтьева двухфакторных моделей регрессии // Южно-Сибирский научный вестник. - 2019. - № 2 (26). - С. 66-70.
  17. Базилевский М.П. Оценивание линейно-неэлементарных регрессионных моделей с помощью метода наименьших квадратов // Моделирование, оптимизация и информационные технологии. - 2020. - Т. 8. - № 4 (31).
  18. Базилевский М.П. Отбор информативных операций при построении линейно-неэлементарных регрессионных моделей // International Journal of Open Information Technologies. - 2021. - Т. 9. - № 5. - С. 30-35.
  19. Базилевский М.П. Сведение задачи отбора информативных регрессоров при оценивании линейной регрессионной модели по методу наименьших квадратов к задаче частично-булевого линейного программирования // Моделирование, оптимизация и информационные технологии. - 2018. - Т. 6. - № 1 (20). - С. 108-117.
  20. Базилевский М.П. Способ определения параметра M в задаче частично-булевого линейного программирования для отбора регрессоров в линейной регрессии // Вестник Технологического университета. - 2022. - Т. 25. - № 2. - С. 62-66.
  21. Konno, H., Yamamoto, R. Choosing the Best Set of Variables in Regression Analysis Using Integer Programming // Journal of Global Optimization. - 2009. - Vol. 44. - P. 273- 282.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».