Application of the Gray Wolf Optimization Algorithm and Neural Networks for Solving Discrete Problems

Cover Page

Cite item

Full Text

Abstract

Relevance. In recent decades, metaheuristic optimization methods have become popular for solving complex problems that require searching for global extrema. Algorithms such as genetic algorithm (GA), ant colony optimization (ACO), particle swarm optimization (PSO), as well as more modern approaches such as cat pack optimization (CSO) and gray wolf pack optimization (GWO) demonstrate high efficiency, but their application is often limited by the conditions of continuity and differentiability of the objective functions. This is a challenge when solving problems with discrete data, where such requirements are not met. In this context, the search for methods that allow adapting metaheuristic algorithms to work with discrete functions is of particular relevance.Aim. The study is aimed at testing the hypothesis about the possibility of using a neural network trained on a limited set of discrete data as an approximation of a function sufficient for the correct execution of the GWO algorithm when searching for a global minimum. The implementation of this hypothesis can significantly expand the scope of GWO, making it available for a wider range of problems where functions are defined on discrete sets.Methods. The study is based on the analysis of existing approaches and experimental verification of the hypothesis on two test functions: a linear function and a Booth function, which are widely used as standards for evaluating the performance of optimization algorithms. Numerical experiments were conducted using neural networks as an approximating model to obtain the results. Solution. During the experiments, an analysis of the applicability of neural networks for approximating discrete functions was carried out, which showed the success of this approach. It was found that neural networks can approximate discrete functions with high accuracy, creating conditions for a successful search for a global minimum using the GWO algorithm.Novelty. For the first time, a hypothesis was proposed and tested on the use of neural networks for approximating objective functions in metaheuristic optimization problems on discrete data. This direction has not previously received due coverage in the scientific literature, which adds significance to the obtained results and confirms the effectiveness of the proposed approach.Practical significance. The results of the study open up new prospects for the application of algorithms such as GWO in optimization problems based on discrete data, expanding the capabilities of metaheuristic methods and facilitating their implementation in a wider class of applied problems, including problems where the use of other methods is limited.

About the authors

A. A. Lisov

South Ural State University (NRU)

Email: lisov.andrey2013@yandex.ru
ORCID iD: 0000-0001-7282-8470
SPIN-code: 1956-3662

A. G. Vozmilov

South Ural State University (NRU)

Email: vozmiag@rambler.ru
ORCID iD: 0000-0002-1292-3975
SPIN-code: 2893-8730

K. A. Gundarev

South Ural State University (NRU)

Email: pioneer03.95@mail.ru
ORCID iD: 0009-0004-8358-1329
SPIN-code: 1238-1158

A. Z. Kulganatov

South Ural State University (NRU)

Email: kulganatov97@gmail.com
ORCID iD: 0000-0002-7576-7949
SPIN-code: 7607-9723

References

  1. Bonabeau E., Dorigo M., Theraulaz G. Swarm Intelligence: From Natural to Artificial Systems. 1999. doi: 10.1093/oso/ 9780195131581.001.0001
  2. Dorigo M., Birattari M., Stutzle T. Ant colony optimization // IEEE Computational Intelligence Magazine. 2006. Vol. 1. Iss. 4. PP. 28‒39. doi: 10.1109/MCI.2006.329691
  3. Kennedy J., Eberhart R. Particle swarm optimization // Proceedings of the International Conference on Neural Networks (Perth, Australia, 27 November ‒ 01 December 1995). IEEE, 1995. PP. 1942‒1948. doi: 10.1109/ICNN.1995.488968
  4. Chu S.C, Tsai P.W, Pan J.S. Cat Swarm Optimization // Proceedings of the 9th Pacific Rim International Conference on Artificial Intelligence (Guilin, China, 7‒11 August 2006). Lecture Notes in Computer Science. Berlin, Heidelberg: Springer, 2006. Vol. 4099. PP. 854‒858. doi: 10.1007/978-3-540-36668-3_94
  5. Johnson J.M., Rahmat-Samii Y. Genetic algorithm optimization and its application to antenna design // Proceedings of IEEE Antennas and Propagation Society International Symposium and URSI National Radio Science Meeting (Seattle, USA, 20‒24 June 1994). IEEE, 1994. Vol. 1. PP. 326‒329. doi: 10.1109/APS.1994.407746
  6. Afshar A., Massoumi F., Afshar A., Mariño M.A. State of the Art Review of Ant Colony Optimization Applications in Water Resource Management // Water Resources Management. 2015. Vol. 29. PP. 3891‒3904. doi: 10.1007/s11269-015-1016-9
  7. Parsopoulos K.E., Vrahatis M.N. Particle swarm optimization and intelligence: advances and applications. Advances and applications. Information Science Reference. 2010. 328 p. doi: 10.13140/2.1.3681.1206
  8. Mirjalili S., Mirjalili S.M., Lewis A. Grey wolf optimizer // Advances in Engineering Software. 2014. Vol. 69. PP. 46‒61 doi: 10.1016/j.advengsoft.2013.12.007
  9. Mittal N., Singh U., Sohi B. Modified Grey Wolf Optimizer for Global Engineering Optimization // Applied Computational Intelligence and Soft Computing. 2016. Vol. 2016. P. 7950348. doi: 10.1155/2016/7950348
  10. Mirjalili S., Saremi S.M., Mirjalili L.D., Coelho S. Multi-objective grey wolf optimizer: A novel algorithm for multicriterion optimization // Expert Systems with Applications. 2016. Vol. 47. PP. 106‒119. doi: 10.1016/j.eswa.2015.10.039
  11. Hu P., Pan J.S., Chu S.C. Improved Binary Grey Wolf Optimizer and Its application for feature selection // Knowledge-Based Systems. 2020. Vol. 195. P. 105746. doi: 10.1016/j.knosys.2020.105746
  12. Vozmilov A., Andreev L., Lisov A. Development of an Algorithm for the Program to Recognize Defects on the Surface of Hot-Rolled Metal // Proceedings of the International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM, Sochi, Russian Federation, 16‒20 May 2022). IEEE, 2022. PP. 1004‒1008. doi: 10.1109/ICIEAM54945.2022.9787116
  13. Лисов А.А. Разработка системы электронного дифференциала для электромобилей на основе нейросети глубокого обучения // Инновационные транспортные системы и технологии. 2024. Т. 10. № 3. С. 351‒367. doi: 10.17816/transsyst634127. EDN:DFDXJO
  14. Лисов А.А., Кулганатов А.З., Панишев С.А. Акустическое обнаружение транспортных средств аварийных служб с использованием сверхточных нейронных сетей // Инновационные транспортные системы и технологии. 2023. Т. 9. № 1. C. 95‒107. doi: 10.17816/transsyst20239195-107. EDN:MAGRJH
  15. Возмилов А.Г., Лисов А.А., Урманов В.Г., Синева Г. Н. Определение вида заболеваний, поражающих листья картофеля, с использованием алгоритмов машинного обучения // Вестник НГИЭИ. 2023. № 3(142). С. 7–16. doi: 10.24412/2227-9407-2023-3-7-16. EDN:BXWBRC
  16. Emary E., Zawbaa H.M., Grosan C., Hassenian A.E. Feature Subset Selection Approach by Gray-Wolf Optimization // Proceedings of the First International Afro-European Conference for Industrial Advancement (AECIA, Belfast, UK, 2‒4 September 2024). Advances in Intelligent Systems and Computing. Cham: Springer, 2015. Vol. 334. PP. 1‒13. doi: 10.1007/978-3-319-13572-4_1
  17. Emary E., Zawbaa H.M., Hassanien A.E. Binary grey wolf optimization approaches for feature selection // Neurocomputing. 2016. Vol. 172. PP. 371–381. doi: 10.1016/j.neucom.2015.06.083
  18. Vosooghifard M., Ebrahimpour H. Applying Grey Wolf Optimizer-based decision tree classifer for cancer classification on gene expression data // Proceedings of the International Conference on Computer and Knowledge Engineering (ICCKE, Mashhad, Iran, 29 October 2015). IEEE, 2015. PP. 147–151. doi: 10.1109/ICCKE.2015.7365818
  19. Yamany W., Emary E., Hassanien A.E. New Rough Set Attribute Reduction Algorithm Based on Grey Wolf Optimization // Proceedings of the 1st International Conference on Advanced Intelligent System and Informatics (AISI, 28–30 November 2015, Beni Suef, Egypt). Advances in Intelligent Systems and Computing. Cham: Springer, 2015. Vol. 407. PP. 241–251. doi: 10.1007/978-3-319-26690-9_22
  20. Mirjalili S. How effective is the Grey Wolf optimizer in training multi-layer perceptrons // Applied Intelligence. 2015. Vol. 43. PP. 150‒161. doi: 10.1007/s10489-014-0645-7
  21. Mosavi M.R., Khishe M., Ghamgosar A. Classification of sonar data set using neural network trained by gray wolf optimization // Neural Network World. 2016. Vol. 26. Iss. 4. PP. 393‒415. doi: 10.14311/NNW.2016.26.023
  22. Muangkote N., Sunat K., Chiewchanwattana S. An improved grey wolf optimizer for training q-Gaussian Radial Basis Functional-link nets // Proceedings of the International Computer Science and Engineering Conference (ICSEC, Khon Kaen, Thailand, 30 July ‒ 01 August 2014). IEEE, 2014. PP. 209–214. doi: 10.1109/ICSEC.2014.6978196
  23. Vapnik V. The nature of statistical learning theory. New York: Springer, 2015.
  24. Vapnik V.N. An overview of statistical learning theory // IEEE Transactions on Neural Networks. 1999. Vol. 10. Iss. 5. PP. 988‒999. doi: 10.1109/72.788640
  25. Eswaramoorthy S., Sivakumaran N., Sekaran S. Grey wolf optimization-based parameter selection for support vector machines // Compel: International journal for computation and mathematics in electrical and electronic engineering. 2016, Vol. 35. Iss. 5. PP. 1513‒1523.
  26. Mustaffa Z., Sulaiman M.H., Kahar M.N.M. Training LSSVM with GWO for price forecasting // Proceedings of the International Conference on Informatics, Electronics & Vision (ICIEV, Fukuoka, Japan, 15‒18 June 2015). IEEE, 2015. doi: 10.1109/ICIEV.2015.7334054
  27. Mustaffa Z., Sulaiman M.H., Kahar M.N.M. LS-SVM hyperparameters optimization based on GWO algorithm for time series forecasting // Proceedings of the 4th International Conference on Software Engineering and Computer Systems (ICSECS, Kuantan, Malaysia, 19‒21 August 2015). IEEE, 2015. PP. 183–188. doi: 10.1109/ICSECS.2015.7333107
  28. Kumar V., Chhabra J.K., Kumar D. Grey Wolf Algorithm-Based Clustering Technique // Journal of Intelligent Systems. 2017. Vol. 26. Iss. 1. PP. 153‒168. doi: 10.1515/jisys-2014-0137
  29. Zhang S., Zhou Y. Grey Wolf Optimizer Based on Powell Local Optimization Method for Clustering Analysis // Discrete Dynamics in Nature and Society. 2015. Vol. 1. P. 481360. doi: 10.1155/2015/481360
  30. Dao T.K., Shieh C.S., Nguyen T.T., Wang H.Y. Enhanced Diversity Herds Grey Wolf Optimizer for Optimal Area Coverage in Wireless Sensor Networks // Proceedings of the Tenth International Conference on Genetic and Evolutionary Computing, ICGEC, Fuzhou City, China, 7‒9 November 2016). Advances in Intelligent Systems and Computing. Cham: Springer, 2016. Vol. 536. PP. 174‒182. doi: 10.1007/978-3-319-48490-7_21
  31. Волков А.Н. Динамические туманные вычисления и бессерверная архитектура: на пути к зеленым ИКТ // Труды учебных заведений связи. 2024. Т. 10. № 3. С. 24‒34. doi: 10.31854/1813-324X-2024-10-3-24-34. EDN:QOELMJ
  32. Abdullah H.M., Kumar A.S., Ahmed A.A., Mosleh M.A. Hybrid optimization based on spectrum aware opportunistic routing for cognitive radio ad hoc networks // Informatics and Automation. 2023. Vol. 22. Iss. 4. PP. 880‒905. doi: 10.15622/ia.22.4.7. EDN:VPRGZW
  33. Li S.X., Wang, J.S. Dynamic Modeling of Steam Condenser and Design of PI Controller Based on Grey Wolf Optimizer // Mathematical Problems in Engineering. 2015. Vol. 1. P. 120975. doi: 10.1155/2015/120975
  34. Yadav S., Verma S.K., Nagar S.K. Optimized PID Controller for Magnetic Levitation System // IFAC-PapersOnLine. 2016. Vol. 49. Iss. 1. PP. 778‒782. doi: 10.1016/j.ifacol.2016.03.151
  35. Wong L.I., Sulaiman M.H., Mohamed M.R., Hong M.S. Grey Wolf Optimizer for Solving Economic Dispatch Problems // Proceedings of the International Conference on Power and Energy (PECon, Kuching, Malaysia, 01‒03 December 2014). IEEE, 2014. PP. 150–154. doi: 10.1109/PECON.2014.7062431
  36. Song H.M., Sulaiman M.H., Mohamed M.R. An Application of Grey Wolf Optimizer for Solving Combined Economic Emission Dispatch Problems // International Review on Modelling and Simulations. 2014. Vol. 7. Iss. 5. PP. 838–844. doi: 10.15866/iremos.v7i5.2799
  37. Tsai P.W., Dao T.K. Robot Path Planning Optimization Based on Multiobjective Grey Wolf Optimizer // Proceedings of the Tenth International Conference on Genetic and Evolutionary Computing, ICGEC, Fuzhou City, China, 7‒9 November 2016). Advances in Intelligent Systems and Computing. Cham: Springer, 2016. Vol. 536. PP. 166–173. doi: 10.1007/978-3-319-48490-7_20
  38. Zhang S., Zhou Y., Li Z., Pan W. Grey wolf optimizer for unmanned combat aerial vehicle path planning // Advances in Engineering Software. 2016. PP. 121‒136. doi: 10.1016/j.advengsoft.2016.05.015
  39. Lu C., Xiao S., Li X., Gao L. An effective multi-objective discrete grey wolf optimizer for a real-world scheduling problem in welding production // Advances in Engineering Software. 2016. Vol. 99. PP. 161‒176. doi: 10.1016/j.advengsoft. 2016.06.004
  40. Mittal N., Singh U., Sohi B.S. Modified Grey Wolf Optimizer for Global Engineering Optimization // Applied Computational Intelligence and Soft Computing. 2016. Vol. 2016. P. 4598. doi: 10.1155/2016/7950348

Supplementary files

Supplementary Files
Action
1. JATS XML


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».