Отправить статью по E-mail Многослойные искусственные нейронные сети с функцией активации типа s-парабола и их приложения
- Авторы: Хачумов М.В.1,2,3, Емельянова Ю.Г.1
-
Учреждения:
- Институт программных систем им. А.К. Айламазяна РАН
- Федеральный исследовательский центр «Информатика и управление» РАН
- Российский университет дружбы народов им. Патриса Лумумбы
- Выпуск: № 3 (2024)
- Страницы: 42-53
- Раздел: Машинное обучение, нейронные сети
- URL: https://journal-vniispk.ru/2071-8594/article/view/265358
- DOI: https://doi.org/10.14357/20718594240304
- EDN: https://elibrary.ru/KINYVP
- ID: 265358
Цитировать
Полный текст
Аннотация
Выполнен анализ современных работ в области построения быстродействующих нейронов и нейронных сетей. Приведен алгоритм настройки многослойной нейронной сети прямого распространения с функцией активации типа s-парабола. Рассмотрены примеры применения s-параболы в составе искусственных нейронных сетей для решения задач распознавания и прогнозирования временных рядов. Дано сравнение качества решений, полученных предложенным подходом, с решениями на основе нейронных сетей с традиционным сигмоидом. Показано наличие преимущества s-параболы по скорости обучения и последующего решения прикладной задачи.
Об авторах
Михаил Вячеславович Хачумов
Институт программных систем им. А.К. Айламазяна РАН; Федеральный исследовательский центр «Информатика и управление» РАН; Российский университет дружбы народов им. Патриса Лумумбы
Автор, ответственный за переписку.
Email: khmike@inbox.ru
кандидат физико-математических наук, старший научный сотрудник; старший научный сотрудник; доцент
Россия, Переславль-Залесский; Москва; МоскваЮлия Геннадиевна Емельянова
Институт программных систем им. А.К. Айламазяна РАН
Email: yuliya.emelyanowa2015@yandex.ru
кандидат технических наук, старший научный сотрудник
Россия, Переславль-ЗалесскийСписок литературы
- Lavin A., Gray S. Fast Algorithms for Convolutional Neural Networks CVPR // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016. P. 4013-4021. doi: 10.1109/CVPR.2016.435.
- Валуева М.В., Ляхов П.А., Нагорнов Н.Н., Валуев Г.В. Высокопроизводительные архитектуры цифровой фильтрации изображений в системе остаточных классов на основе метода Винограда // Компьютерная оптика. 2022. № 5. Т. 46. С. 752-762. doi: 10.18287/24126179-CO-933.
- Lebedev V. Algorithms for speeding up convolutional neural networks: Doctoral Thesis. Skolkovo Institute of Science and Technology. Doctoral program in computational and data science and engineering. Moscow, 2018. P. 106.
- Arce F., Zamora E., Humberto S., Barrón R. Differential evolution training algorithm for dendrite morphological neural networks // Applied Soft Computing. 2018. V. 68. P. 303-313.
- Dimitriadis N., Maragos P. Advances in the training, pruning and enforcement of shape constraints of morphological neural networks using tropical algebra // IEEE International Conference On Acoustics, Speech And Signal Processing. 2021. P. 3825-3829.
- Limonova E.E., Nikolaev D.P., Alfonso D.M., Arlazarov V.V. Bipolar morphological neural networks: gate-efficient architecture for computer vision // IEEE Access. 2021. V.9. P. 97569-97581.
- Dubey Sh.R., Singh S.K., Chaudhuri B.B. Activation Functions in Deep Learning: A Comprehensive Survey and Benchmark // Neurocomputing. 2022. V. 503. No 11. P. 1-18. doi: 10.1016/j.neucom.2022.06.111.
- Feng J., Lu Sh. Performance Analysis of Various Activation Functions in Artificial Neural Networks // Journal of Physics Conference Series. 2019. P. 1-7. doi: 10.1088/1742-6596/1237/2/02203.
- Хачумов М.В., Емельянова Ю.Г. Парабола как функция активации искусственных нейронных сетей // Искусственный интеллект и принятие решений. 2023. № 2. С. 89-97. doi: 10.14357/20718594230207 (RSCI).
- Хачумов М.В., Емельянова Ю.Г., Емельянов М.А., Хачумов В.М. Логический базис на нейронах с параболической функцией активации // Материалы Двадцать третьей Международной конференции по Вычислительной механике и современным прикладным программным системам (ВМСППС’2023). 2023. С. 144-146.
- Sosnin A.S., Suslova I.A. Neural network activation functions: sigmoid, linear, step, relu, than // Science. Information support. Technology. Education. The Proceedings of XII international research and practice conference. 2019. P. 237-246.
- Военная авиация России: обзор боевых самолетов // Электронный ресурс. URL: https://pilotgid.ru/samolety/voennye-samolety-rossii.html (доступ 05.10.2023).
- Нгуен З.Т. Инварианты в задачах распознавания графических образов // Веснтик РУДН. Серия Математика. Информатика. Физика. 2016. № 1. С. 76-85.
Дополнительные файлы
