Оптимизация нейронных сетей: методы и их сравнение на примере интеллектуального анализа текста
- Авторы: Торкунова Ю.В.1,2, Милованов Д.В.1
-
Учреждения:
- Казанский государственный энергетический университет
- Сочинский государственный университет
- Выпуск: Том 13, № 4 (2023)
- Страницы: 142-158
- Раздел: Статьи
- Статья опубликована: 30.12.2023
- URL: https://journal-vniispk.ru/2328-1391/article/view/348634
- DOI: https://doi.org/10.12731/2227-930X-2023-13-4-142-158
- EDN: https://elibrary.ru/SFIPKW
- ID: 348634
Цитировать
Полный текст
Аннотация
В результате исследования было разработано программное обеспечение, реализующее различные алгоритмы оптимизации нейронных сетей, позволившее провести их сравнительный анализ по качеству оптимизации. В статье подробно рассматриваются искусственные нейронные сети и методы их оптимизации: квантование, обрезка, дистилляция, разложение Такера. Описаны алгоритмы и инструменты оптимизации нейронных сетей, проведен сравнительный анализ различных методов, преимущества и недостатки, приведены расчетные значения и даны рекомендации по использованию каждого из методов. Оптимизация рассматривается на задаче классификации текстов, которые были предварительно подготовлены к обработке: извлечены признаки, выбраны и обучены модели, настроены параметры. Поставленная задача реализована при помощи технологий: языка программирования Python, фреймворка Pytorch, среды разработки Jupyter Notebook. Полученные результаты могут быть использованы в целях экономия вычислительных мощностей при сохранении качества распознавания и классификации.
Об авторах
Юлия Владимировна Торкунова
Казанский государственный энергетический университет; Сочинский государственный университет
Автор, ответственный за переписку.
Email: torkynova@mail.ru
ORCID iD: 0000-0001-7642-6663
SPIN-код: 7422-4238
профессор кафедры «Информационные технологии и интеллектуальные системы», доктор педагогических наук
Россия, ул. Красносельская, 51, г. Казань, Республика Татарстан, 420066, Российская Федерация; ул. Пластунская, 94, г. Сочи, Краснодарский край, 354000, Российская Федерация
Данила Владиславович Милованов
Казанский государственный энергетический университет
Email: studydmk@gmail.com
магистр
Россия, ул. Красносельская, 51, г. Казань, Республика Татарстан, 420066, Российская Федерация
Список литературы
- Аветисян Т. В., Львович Я. Е., Преображенский А. П. Разработка подсистемы распознания сигналов сложной формы // International Journal of Advanced Studies. 2023. Т. 13, № 1. С. 102-114. https://doi.org/10.12731/2227-930X-2023-13-1-102-114
- Акжолов Р.К., Верига А.В. Предобработка текста для решения задач NLP // Вестник науки. 2020. № 3 (24). C. 66-68.
- Ахметзянова К.Р., Тур. А.И., Кокоулин А.Н. Оптимизация вычислений нейронной сети // Вестник Пермского национального исследовательского политехнического университета. Электротехника, информационные технологии, системы управления. 2020. № 36. С. 117-130. https://doi.org/10.15593/2224-9397/2020.4.07
- Каширина И. Л., Демченко М. В. Исследование и сравнительный анализ методов оптимизации, используемых при обучении нейронных сетей // Вестник ВГУ, серия: Системный анализ и информационные технологии, 2018, № 4. С.123-132.
- Копырин А. С., Макарова И. Л. Алгоритм препроцессинга и унификации временных рядов на основе машинного обучения для структурирования данных // Программные системы и вычислительные методы. 2020. № 3. С. 40-50. https://doi.org/10.7256/2454-0714.2020.3.33958
- Осовский С. Нейронные сети для обработки информации. М.: Горячая линия. Телеком. 2019. 448 с.
- Романов Д.Е. Нейронные сети обратного распространения ошибки // Инженерный вестник Дона. 2009. № 3 . С. 19-24.
- Созыкин А.В. Обзор методов обучения глубоких нейронных сетей // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2017. № 3 (6). С. 28-59.
- Торкунова Ю.В., Коростелева Д.М., Кривоногова А.Е. Формирование цифровых навыков в электронной информационно-образовательной среде с использованием нейросетевых технологий // Современное педагогическое образование. 2020. №5. С. 107-110.
- Черкасова И.С. Оптимизация гиперпараметров нейронной сети и снижение вычислительных затрат // E-Scio. 2022. https://e-scio.ru/wp-content/uploads/2022/03/%D0%A7%D0%B5%D1%80%D0%BA%D0%B0%D1%81%D0%BE%D0%B2%D0%B0-%D0%98.-%D0%A1.pdf (дата обращения: 13.04.2023).
- Ященко А.В., Беликов А.В., Петерсон М.В. Дистилляция нейросетевых моделей для детектирования и описания ключевых точек изображений // Научно-технический вестник информационных технологий, механики и оптики. 2020. № 3. С. 402-409.
- A White Paper on Neural Network Quantization. https://doi.org/10.48550/arXiv.2106.08295
- Distilling Task-Specific Knowledge from BERT into Simple Neural Networks. https://doi.org/10.48550/arXiv.1903.12136
- Majid Janzamin, Rong Ge, Jean Kossaifi and Anima Anandkumar. Spectral Learning on Matrices and Tensors // Foundations and Trends R in Machine Learning, 2019. Vol. 12, No. 5-6. P. 393–536. https://doi.org/10.1561/2200000057
- Tensor Networks for Latent Variable Analysis. Part I: Algorithms for Tensor Train Decomposition. https://arxiv.org/pdf/1609.09230.pdf (дата обращения: 20.05.2023)
Дополнительные файлы
