Гибридный метод обучения сверточных нейронных сетей
- Авторы: Голубинский А.Н1, Толстых А.А2
-
Учреждения:
- АО «Концерн «Созвездие»
- Московский университет МВД России им. В.Я. Кикотя
- Выпуск: Том 20, № 2 (2021)
- Страницы: 463-490
- Раздел: Искусственный интеллект, инженерия данных и знаний
- URL: https://journal-vniispk.ru/2713-3192/article/view/266310
- DOI: https://doi.org/10.15622/ia.2021.20.2.8
- ID: 266310
Цитировать
Полный текст
Аннотация
Предложен гибридный метод обучения сверточных нейронных сетей. Метод заключается в объединении методов второго и первого порядка для разных элементов архитектуры сверточной нейронной сети. Гибридный метод обучения сверточных нейронных сетей позволяет добиваться значительно лучшей сходимости по сравнению с методом обучения сверточных нейронных сетей «Adam» и требует меньше вычислительных операций для реализации. Рассматриваемый метод применим для обучения сетей, на которых происходит паралич обучения при использовании методов первого порядка. Более того, предложенный метод обладает способностью подстраивать свою вычислительную сложность под аппаратные средства, на которых производится вычисление, вместе с тем гибридный метод позволяет использовать подход обучения мини-пакетов. Приведен анализ соотношения вычислений между сверточными нейронными сетями и полносвязными искусственными нейронными сетями. Рассмотрен математический аппарат оптимизации ошибки искусственных нейронных сетей, включающий в себя метод обратного распространения ошибки, алгоритм Левенберга-Марквардта. Проанализированы основные ограничения данных методов, возникающие при обучении сверточной нейронной сети. Проведен анализ устойчивости предлагаемого метода при изменении инициализирующих параметров. Приведены результаты применимости метода в различных задачах.
Об авторах
А. Н Голубинский
АО «Концерн «Созвездие»
Email: annikgol@mail.ru
Московский проспект 92
А. А Толстых
Московский университет МВД России им. В.Я. Кикотя
Email: tolstykh.aa@yandex.ru
улица Коптевская 63
Список литературы
- Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. Москва: «ДМК Пресс», 2017. 652 с.
- Хайкин С. Нейронные сети. Полный курс. 2-е изд. Москва: Издательский дом "Вильямс", 2006. 1104 с.
- Kingma D.P., Ba J. Adam: A Method for Stochastic Optimization // CoRR, Т. abs/1412.6980, 2014.
- Bo Y.H., WeiL., I-Chen W. Stochastic Gradient Descent with Hyperbolic-Tangent Decay // CoRR, Т. abs/1806.01593, 2018. С. 1-10.
- Wilamowski B.M., Irwin D.J. Intelligent systems. 2-е-е изд. Бока-Ратон: CRC Press, 2011. 568 с.
- S. Smith J., Wu B., M. Wilamowski B. Neural Network Training With Leven-berg-Marquardt and Adaptable Weight Compression // IEEE Transactions on Neural Networks and Learning Systems, Т. PP, Jul 2018. С. 1-8.
- Szegedy C., Ioffe S., Vanhoucke V., Alemi A.A. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning // International Conference on Learning Representations (ICLR) Workshop, 2016. С. 375-387.
- He K., Zhang X., Ren S., Sun J. [1502.01852] Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification // arXiv.org e-Print archive. 2015. URL: https://arxiv.org/abs/1502.01852 (дата обращения: 12.11.2020).
- Szegedy С., Liu W., Jia Y., Sermanet P., Reed S., Angueloy D., Ethan D., Vanhoucke V., Rabinovich A. Going deeper with convolutions // IEEE Confer-ence on Computer Vision and Pattern Recognition. 2014. С. 1-9.
- Zaccone G., Karim R., Menshawy A. Deep Learning with TensorFlow: Explore neural networks with Python. Бирмингем: Packt Publishing, 2017. 320 с.
- Вьюгин В.В. Математические основы теории машинного обучения и про-гнозирования. Москва: МЦНМО, 2013. 387 с.
- Shepherd A.J. Second-Order Methods for Neural Networks: Fast and Reliable Training Methods for Multi-Layer Perceptrons. New York: Springer, 1997. 160 с.
- Nocedal J., Wright S.J. Numerical Optimization. 2nd ed. New York: Springer, 2006. 664 с.
- Голубинский А.Н. О построении архитектур и оценке параметров искус-ственных нейронных сетей // Теория и техника радиосвязи, № 1, 2020. С. 72-87.
- Максимушкин В.В., Арзамасцев А.А. Сравнительная оценка вычислитель-ной сложности обучения искусственной нейронной сети с жестким ядром и сети с классической структурой // Вестник российских университетов. Математика., № 2, 2006. С. 190-197.
- Абрамов С.А. Лекции о сложности алгоритмов. Москва: МЦНМО, 2012. 248 с.
- Yann LeCun's Home Page [Электронный ресурс] // MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges: [сайт]. [2012]. URL: http://yann.lecun.com/exdb/mnist/ (дата обращения: 23.05.2020).
- Smith L.N. No More Pesky Learning Rate Guessing Games // CoRR, Vol. abs/1506.01186, 2015. С. 1-10.
- Salimans T., Kingma D.P. Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks // In: Advances in Neural In-formation Processing Systems 29. Curran Associates, Inc., 2016. С. 901–909.
- Matuszyk P., Castillo R.T., Kottke D., Spiliopoulou M. A Comparative Study on Hyperparameter Optimization for Recommender Systems // Workshop on Recommender Systems and Big Data Analytics (RS-BDA'16) @ iKNOW 2016. 2016.
- Hu G., Peng X., Yang Y., Hospedales T.M., Verbeek J. Frankenstein: Learning Deep Face Representations using Small Data // CoRR, Т. abs/1603.06470, 2016.
- Ioffe S., Szegedy C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift // CoRR, Т. abs/1502.03167, 2015.
- Lewkowycz A., Bahri Y., Dyer E., Sohl-Dickstein J., Gur-Ari G. The large learning rate phase of deep learning: the catapult mechanism. 2020.
- Liao Q., Kawaguchi K., Poggio T.A. Streaming Normalization: Towards Sim-pler and More Biologically-plausible Normalizations for Online and Recurrent Learning // CoRR, Т. abs/1610.06160, 2016.
- Mahajan D., Girshick R.B., Ramanathan V., He K., Paluri M., Li Y., Bharambe A., van der Maaten L. Exploring the Limits of Weakly Supervised Pretraining // CoRR, Т. abs/1805.00932, 2018.
- Petroski Such F., Madhavan V., Conti E., Lehman J., Stanley K.O., Clune J. Deep Neuroevolution: Genetic Algorithms Are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning // ArXiv e-prints, 2017.
- Su H., Zhu X., Gong S. Deep Learning Logo Detection with Data Expansion by Synthesising Context // CoRR, Т. abs/1612.09322, 2016.
- Touvron H., Vedaldi A., Douze M., Jégou H. Fixing the train-test resolution discrepancy // CoRR, Т. abs/1906.06423, 2019.
- Xu C., Qin T., Wang G., Liu T.Y. An Actor-Critic Algorithm For Learning Rate 2017. С. 1–12.
- Xu C., Qin T., Wang G., Liu T.Y. Reinforcement Learning for Learning Rate Control // CoRR, Т. abs/1705.11159, 2017.
Дополнительные файлы
