Innovative Rating of Regions in the Electronic Industry: Construction and Verification Using Machine Learning

Full Text

Введение

Ориентированность отечественной экономики на технологическое лидерство требует применения новых, современных, подходов к анализу деятельности приоритетных отраслей, к числу которых относится радиоэлектронная промышленность (РЭП). Чтобы разработать актуальные методы управления ее развитием в регионах страны, необходимо исследовать большой объем данных (Big Data). Применение методов машинного обучения позволит построить инновационный рейтинг регионов, что будет способствовать принятию оптимальных управленческих решений государством и крупными частными компаниями в отношении планирования инновационного развития отрасли.

Необходимость сочетания государственных и цифровых инструментов и методов регулирования социально-экономических отношений в условиях трансформации экономической системы обоснована Л. П. Зеньковой и О. В. Машевской¹. Однако применение инновационных рейтингов регионов сопряжено с определенными трудностями [1–4]. Предпринят ряд попыток учесть при построении таких рейтингов особенности выбранных территорий² [5–8].

При построении и применении рейтингов для отрасли РЭП важно учитывать ее особенности. Результаты исследований, например³ [9], показывают, что размер рынка, развитие науки, техники и организации, качество человеческих ресурсов, а также факторы политики и информационной среды влияют на развитие отечественной электронной промышленности.

Построение инновационного рейтинга регионов в отрасли РЭП является типичной задачей многоуровневой классификации в машинном обучении. В этой области создано достаточно много эффективных методов.

Машинное обучение выступает ключевым компонентом в более широкой области искусственного интеллекта, которая использует статистические методы для наделения компьютеров способностью учиться и принимать решения автономно, без необходимости явного программирования. Оно основано на концепции, что компьютеры могут получать знания из данных, выявлять закономерности и делать выводы с минимальным вмешательством человека [10]. В этой области существуют различные типы алгоритмов машинного обучения: контролируемое, неконтролируемое, полуконтролируемое и обучение с подкреплением [11].

Метод классификации применяется для классификации истинного либо ложного результата или нескольких классов любого прогноза. Логистическая регрессия, наивный байесовский алгоритм (Naive Bayes), k ближайших соседей (k-Nearest Neighbors, KNN), деревья решений (Bagged Trees), машины опорных векторов (Support Vector Machine, SVM) и искусственная нейронная сеть (Artificial Neural Network, ANN) – вот некоторые из популярных алгоритмов классификации в различных областях⁴.

Цель исследования состоит в построении и верификации инновационного рейтинга регионов страны в отрасли РЭП с использованием машинного обучения. Преимущество авторского подхода заключается, во-первых, в построении рейтинга регионов конкретно для отрасли радиоэлектронной промышленности, а, во-вторых, в применении для этого более точного подхода, использующего последние достижения в области машинного обучения. В исследовании хорошо показали себя такие методы классификации в машинном обучении, как точный гауссовский SVM (Fine Gaussian SVM), подпространство KNN (Subspace KNN) и решающие деревья.

Обзор литературы

В области машинного обучения в последнее время появилось много эффективных решений, в частности новый метод классификации для многоуровневых многометковых наборов данных, основная цель которого – повысить точность задач классификации, включающих несколько классов и меток [12]. Эксперименты продемонстрировали его эффективность в ряде известных наборов данных со средней точностью 85,9 %.

Х. Таном [13] сравниваются пять традиционных классификаторов машинного обучения (Gaussian Mixture Models, Random Forest, SVM, XGBoost и Naive Bayes) и показано, что классификатор на основе SVM имеет самую низкую точность при обработке текстовых данных для применения задачи классификации текста.

Результаты работы Дж. Г. Переза и М. Баллеры⁵ свидетельствуют о том, что алгоритм Gradient Boosted Trees как один из методов машинного обучения превзошел другие алгоритмы, достигнув высокой точности классификации, а именно 91,58 %; на 2-м месте – подход Deep Learning (глубокое обучение), продемонстрировавший точность 90,48 %.

Сравнительное исследование, построенное с учетом четырех различных показателей производительности, показывает, что, за исключением алгоритма дерева решений, предлагаемые методы машинного обучения с подробными алгоритмами предварительной обработки хорошо работают для классификации публикаций по категориям на базе заданного текста⁶.

В публикации С.-Л. Лина для применения машинного обучения предлагается метод средней гауссовой машины опорных векторов (SVM), который создает пространство признаков путем извлечения характеристик сигнала вибрации, собранного на месте с опорой на опыт [14].

В статье К. Ма и др.⁷ рассматривается алгоритм KNN на основе подпространства признаков (Feature Subspace KNN). Во-первых, названный алгоритм решает все подпространства признаков согласно распределению обучающих выборок в пространстве признаков, чтобы гарантировать более высокое сходство выборок в одном подпространстве. Во-вторых, соответствующее подпространство признаков сопоставляется с выборками тестового набора. Таким образом, сначала выполняется поиск k ближайших соседей в заданном подпространстве, что повышает точность и эффективность алгоритма.

Случайные леса, основанные на деревьях решений, в сочетании с идеями агрегации и бутстрепа представляют собой мощный непараметрический статистический метод, позволяющий рассматривать в единой и универсальной структуре проблемы регрессии, а также двух- и многоуровневой классификации [15].

Построение эффективных деревьев обычно является сложным и трудоемким процессом, особенно для наборов данных с высокой дисперсией. Ряд авторов сосредоточили внимание на вопросах улучшения их производительности, надежности и стабильности⁸ [16].

В работе И. Ибаргурена и др. [17] метод PCTBagging представлен как гибридный между бэггингом и консолидированным деревом, так что в нем частично сохраняется свойство понятности последнего, а также улучшается дискриминационная способность. Консолидированное дерево сначала разрабатывается до определенной точки, а затем для каждого образца выполняется типичный бэггинг.

В отличие от других, для методов дерева решений эффективность прогнозирования ансамблевых методов выше, чем неансамблевых. Иначе говоря, деревья решений, использующие ансамблевые методы, обеспечивают лучшую эффективность их применения, в сравнении с KNN и линейным регрессионным анализом [18].

Х. Джафарзадэ и соавторы изучают возможности различных алгоритмов ансамблевого обучения, известных как алгоритмы бэггинга и бустинга (включая Adaptive Boosting (AdaBoost), Gradient Boosting Machine, XGBoost, LightGBM и Random Forest), для классификации данных дистанционного зондирования [19].

По результатам исследований С. Гавриленко, В. Челак и О. Хорносталь⁹ предложили два метода определения состояния вычислительной системы с использованием в качестве классификатора ансамбля деревьев решений на основе бустинга и бэггинга. Модификация применяемых классификаторов осуществлялась за счет задействования специальной процедуры выбора оптимальных параметров функционирования классификаторов, а также процедуры предобработки исходных данных.

В статье Г. Нго, Р. Бирда и Р. Чандры [20] представлено эволюционное обучение ансамблем с мешками деревьев, в котором эволюционные алгоритмы применяются для совершенствования содержимого мешков с целью итеративного улучшения ансамбля путем обеспечения разнообразия. Результаты показывают, что метод эволюционного ансамблевого бэггинга превосходит традиционные ансамблевые методы (бэггинг и случайные леса) для нескольких контрольных наборов данных при определенных ограничениях.

Тем не менее описанные методы и подходы пока не были реализованы для решения практической задачи, а именно для построения рейтинга регионов конкретно в разрезе отрасли радиоэлектронной промышленности.

Материалы и методы

Опишем этапы построения инновационного рейтинга регионов в РЭП с применением алгоритмов машинного обучения.

Этап 1 – предварительная разведка данных. Предполагает сбор необходимых данных по 83 регионам России за период 2010–2023 гг. на сайте Федеральной службы государственной статистики¹⁰. Выбор периода 2010–2023 гг. обусловлен отсутствием необходимых сведений за предыдущие годы.

Для моделирования использовались целевые функции (1: Объем инновационных товаров (всего); 2: Разработанные передовые производственные технологии (всего), ед.; 3: Сальдированный финансовый результат (информатизация и связь)), а также следующие входные переменные:

1 – Стоимость основных фондов (ОФ) (информатизация и связь);

2 – Ввод в действие ОФ (информатизация и связь);

3 – Оборот организаций (информатизация и связь);

4 – Затраты на внедрение и использование цифровых технологий (всего);

5 – Внутренние текущие затраты на научно-исследовательские работы (НИР) (фундаментальные исследования);

6 – Внутренние текущие затраты на НИР (прикладные исследования);

7 – Внутренние текущие затраты на НИР (разработки);

8 – Затраты на инновационную деятельность (всего);

9 – Используемые передовые производственные технологии (всего).

Таким образом собирались прямые и косвенные переменные, влияющие на инновационное развитие отрасли. К прямым переменным относились входы 1–3 и цель 3, к косвенным – все остальные. В итоге получилась матрица данных размерности 1162×13.

Данные в рублях корректировались на инфляцию, т. е. вычислялись в ценах последнего в выбранном периоде, 2023, года. Для этого данные 2022 года умножались на сумму: 1 плюс ставка инфляция за 2023 год; данные 2021 года – сначала на сумму: 1 плюс ставка инфляции за 2022 год, затем – на 1 плюс ставка инфляции за 2023 год и т. д. Вся имеющаяся выборка разбивалась на выборку для обучения (2010–2022 гг., матрица данных размерности 1079×13) и выборку для верификации модели (2023 г., матрица данных размерности 83×13).

Поскольку распределения значений входных переменных в 2010–2022 гг. не подчиняются нормальному закону, их необходимо линеаризовать, т. е. вычислить натуральный логарифм. Однако, чтобы веса одних входных переменных в обучающейся модели не превалировали над другими, прежде следовало эти данные нормализовать по формуле:

 

 

Это было необходимо сделать, чтобы избавиться от отрицательных значений для последующей линеаризации данных.

Аналогично поступили с целевыми переменными. При этом нормализованные данные в виде нулей заменялись на 0,000001, чтобы провести их линеаризацию. Пропуски в данных отсутствовали.

Линеаризация используемых целевых функций необходима еще и для того, чтобы стало возможным присвоить регионам рейтинг, так как в случае линеаризации данные более растянуты вдоль горизонтальной оси и почти подчиняются нормальному закону распределения.

Для того чтобы параметры нормализации обучающей выборки не повлияли на результаты верификации обученной модели, следовало выборку для верификации (2023 г.) отдельно скорректировать согласно параметрам нормализации обучающей выборки.

Инновационный рейтинг в отрасли РЭП предполагает присвоение регионам страны следующих значений: ‘A’ – лидер; ‘B’ – со средним уровнем инновационного развития; ‘C’ – депрессивный.

При этом сегменты линеаризованных значений целевых функций выглядели так:

1. Цель 1:
   'A' ⊂ (−2; +∞),
   'B' ⊂ (−5; −2],
   'C' ⊂ (−∞; −5].
2. Цель 2:
   'A' ⊂ (−2,5; +∞),
   'B' ⊂ (−8; −2,5],
   'C' ⊂ (−∞; −8].
3. Цель 3:
   'A' ⊂ (−2; +∞),
   'B' ⊂ (−2,0845; −2],
   'C' ⊂ (−∞; −2,0845].

Затем из значений для трех целевых функций формировался интегральный показатель “I-score”.

Этап 2 – машинное обучение модели различными методами на языке Python. Сначала из выборки для обучения случайным образом отбирались 20 % данных для тестирования модели, 15 % – для ее валидации. Кросс-валидация (перекрестная проверка) применялась для исключения эффекта переобучения. Параметр проверки по умолчанию – 5-кратная перекрестная проверка для защиты от переобучения.

С целью оценки качества обучения модели определялась ее точность (accuracy), а также использовались графики площади под кривой ошибок (ROC/AUC) и матрица ошибок (confusion matrix).

Предпочтительная точность модели приближена к 100 %. Соотношение между долей истинно положительных (true positive rate, TPR) и долей ложноположительных результатов (false positive rate, FPR) показывает ROC-кривая. Для оценки производительности классификационных моделей часто задействуется такой показатель, как площадь под кривой (area under the curve, AUC). Чем он выше, тем ближе классификатор к идеальной модели. У модели, производящей случайный отбор, показатель AUC будет равен 0,5, у идеальной – 1.

Таким образом, в идеальном случае график ROC/AUC должен заполнять левый верхний угол; правильно классифицированные значения на матрице ошибок (confusion matrix) – должны находиться на главной диагонали, отклонения от нее показывают ошибки классификации.

Среди набора обучающих методов использовался и «случайный лес». Методология заключалась в создании ряда подвыборок или реплик бутстрапа из набора данных. Эти подвыборки генерировались случайным образом с заменой из списка значений в наборе данных. Для каждой реплики выращивалось дерево решений. Каждое дерево решений – само по себе обученный классификатор и для упорядочивания новых значений может привлекаться изолированно. Однако прогнозы двух деревьев, выращенных из двух разных реплик бутстрапа, могут быть различными.

Ансамбль объединяет прогнозы всех деревьев решений, выращенных для всех реплик бутстрапа. Если большинство деревьев предсказывают один конкретный класс для нового значения, разумно считать, что этот прогноз более надежный, чем прогноз любого отдельного дерева. Если другой класс предсказывается меньшим набором деревьев, эта информация также полезна. Фактически доля деревьев, прогнозирующих различные классы, является основой для оценок классификации, которые сообщает ансамбль при классификации новых данных.

Этап 3 – тестирование обученной модели. Описанный подход позволил оптимально настроить гиперпараметры обучаемой модели, в числе которых варьируется набор предикторов (входных переменных). Это дало возможность сравнить результаты моделей, обученных на предыдущем этапе. Нередко оптимизированные ансамбли по точности на тестовых данных превосходят как обычный «случайный лес», так и другие модели машинного обучения.

Этап 4 – верификация обученной модели. Проводился на новых, совершенно не знакомых обученной модели данных 2023 года. Для этого прогнозируемые на ее основе инновационные рейтинги (I-score) сравнивались с фактическими (2023 г.). Точность верификации оценивалась для 83 исследуемых регионов России; желательной считалась близкая к 100 %.

Этап 5 – построение карты инновационного рейтинга регионов. Подобная географической карта позволяет наглядно позиционировать регионы как лидеров (рейтинг ‘A’), со средним уровнем инновационного развития (‘B’) и депрессивные (рейтинг ‘C’), а также сравнить прогнозируемые и фактические значения инновационного рейтинга регионов в отрасли РЭП в 2023 г.

Полезна информация и о несоответствии предсказанных по модели рейтингов фактическим. Это может свидетельствовать о возможности будущего изменения рейтингов регионов.

Результаты исследования

Апробация разработанной модели на данных за 2010–2022 гг. позволила построить инновационный рейтинг регионов России в отрасли РЭП с применением метода решающих деревьев согласно описанному алгоритму, а также оценить точность прогноза.

Этап 1. По итогам предварительной разведки данных за 2010–2022 гг. была получена матрица (табл. 1), где первые значения – сырые данные, вторые – обработанные, т. е. нормализованные и линеаризованные.        

 

Таблица 1. Матрица подготовленных для анализа сырых и обработанных данных¹¹

Table 1. Matrix of raw and processed data prepared for analysis

Предварительный анализ данных показал наличие тесной положительной корреляции между выбранными входными переменными 1–9 и целевыми функциями 1–3. Это подтвердило обоснованность выбора именно таких входных переменных и целевых функций.

Этап 2. В актуальной задаче классификации для трех целевых функций получились разные наилучшие модели машинного обучения на тесте (табл. 2).

Таблица 2. Наиболее качественные обученные модели

Table 2. Best trained models

Характеристика модели / Model Characteristics	Цель 1 / Target 1	Цель 2 / Target 2	Цель 3 / Target 3	I-score (интегральный показатель на основе трех целевых функций / integral indicator based on three objective functions)
Лучшая модель / Best Model	Random Forrest	Bagged Trees	Random Forrest	Fine Gaussian SVM
Точность на тесте / Test Accuracy	0,8100	0,8148	0,6000	0,8660
Точность на верификации / Verification Accuracy	0,8795	0,6867	0,7953	0,8193

 

При обучении сразу I-score на выборке 2010–2022 гг. была получена наилучшая модель «точный гауссовский SVM».

Этап 3. Матрица ошибок, представленная на рисунке 1, показывает, что модель, обученная для интегрального показателя I-score, на тесте неправильно определила лишь 13,3 % регионов класса ‘A’ (2 : (13 + 2) 100 %), 5,6 % – класса ‘B’ (7 : (119 + 7) 100 %) и 26,7 % регионов класса ‘C’ (20 : (55 + 20) 100 %). При этом F1-score (мера производительности модели, которая объединяет точность и полноту в единую метрику в диапазоне от 0 до 1, т. е. служит гармоническим средним точности и полноты) равен 0,83. Это достаточно качественный результат.

 

 

 

Рис. 1. Матрица ошибок на тесте для модели Fine Gaussian SVM, обученной для интегрального показателя I-score

Fig. 1. Test confusion matrix for a model Fine Gaussian SVM trained for the integral I-score metric

Графики ROC/AUC продемонстрировали достаточно качественные результаты на тесте для всех трех рейтингов (рис. 2). Средний ROC/AUC составил 0,94.

 

 

 

 

Рис. 2. Графики ROC/AUC на тесте для модели, обученной для интегрального показателя I-score

Fig. 2. ROC/AUC schedules for a model trained for the integral I-score metric

 

Этап 4. В ходе верификации обученные модели также обнаружили высокую точность (см. табл. 2). При этом на новых, не знакомых модели, данных (2023 г.) точность верификации для I-score достигла 81,93 %.

Матрица ошибок показала, что модель, обученная для I-score, на верификации неправильно определяет 50 % регионов класса ‘A’, 11,9 – класса ‘B’ и 21,9 % регионов класса ‘C’. Это достаточно качественный результат.

Этап 5. Согласно географической карте инновационного рейтинга регионов России (I-score) (рис. 3) в отрасли РЭП в 2023 г. регионами – лидерами (рейтинг ‘A’) стали Московская область, города Москва и Санкт-Петербург, Республика Татарстан, Нижегородская и Свердловская области.

 

 

 

 

Рис. 3. Инновационный рейтинг регионов России в отрасли РЭП в 2023 г. (прогноз/фактически в 2023 г.)

Fig. 3. Innovative rating of Russian regions in the REI in 2023 (forecast/actual in 2023)

 

Обсуждение и заключение

На языке Python написана программа, позволяющая построить карту инновационного рейтинга регионов в отрасли РЭП и для этого использующая различные алгоритмы машинного обучения: «случайный лес» (Random Forrest), подпространство k ближайших соседей (Subspace KNN), мешок деревьев (Bagged Trees), точную гауссову машину опорных векторов (Fine Gaussian SVM).

Обучающая выборка формировалась по данным Росстата за 2010–2022 гг., а именно по 83 регионам России. Апробация разработанной модели осуществлялась на базе независимых данных (за 2023 г.), которые не входили в обучающую выборку. Верификация подтвердила практическую применимость модели: точность прогноза интегрального показателя I-score на новых данных составила 81,93 %.

Регионам страны присваивались следующие значения инновационного рейтинга в отрасли РЭП: 1) ‘A’ – лидер; 2) ‘B’ – со средним уровнем инновационного развития; 3) ‘C’ – депрессивный. Затем из значений для трех целевых функций формировался итоговый интегральный показатель “I-score”.

Согласно карте инновационных рейтингов регионов России (см. табл. 3), в радиоэлектронной промышленности в 2023 г. регионами-лидерами (рейтинг ‘A’) стали Московская область, города Москва и Санкт-Петербург, Республика Татарстан, Нижегородская и Свердловская области.

Обученная модель спрогнозировала, что Новосибирская область также в 2023 г. попадает в число регионов-лидеров (рейтинг ‘A’). Хотя на практике этого не произошло, тем не менее подобный прогноз свидетельствует о том, что у Новосибирской области есть реальные перспективы в ближайшем будущем попасть в число регионов – лидеров в отрасли развития радиоэлектронной промышленности.

Республика Башкортостан, Пермский край и Челябинская область, напротив, по факту в 2023 г. попали в число лидеров (рейтинг ‘A’), однако обученная модель спрогнозировала для них рейтинг ‘B’ (регионы со средним уровнем инновационного развития). Это можно расценивать как погрешность модели либо как вероятность потери лидирующих позиций в отрасли РЭП для этих территорий в будущем.

Полученные результаты будут полезны государственным структурам и производственным компаниям для планирования инновационного развития отрасли радиоэлектронной промышленности.

Перспективы исследования связаны с применением карт Кохонена для определения статистических групп рейтингов с последующим машинным обучением для задачи классификации; глубокого обучения для задачи классификации с использованием сети долговременной краткосрочной памяти (Long Short-Term Memory). Ограничением исследования может быть недостаточная прямая корреляция входных переменных модели с целевыми функциями.

Дополнительная информация

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Вклад авторов:

С. Н. Яшин – формулирование замысла/идеи исследования, целей и задач; получение финансирования; контроль, лидерство и наставничество в процессе планирования и проведения исследования.

Л. П. Зенькова – формулирование замысла/идеи исследования, целей и задач; получение финансирования; контроль, лидерство и наставничество в процессе планирования и проведения исследования.

Е. В. Кошелев – создание и подготовка рукописи: визуализация результатов исследования и полученных данных.

А. А. Иванов – создание и подготовка рукописи: визуализация результатов исследования и полученных данных.

Доступность данных и материалов. Наборы данных, использованные и/или проанализированные в ходе текущего исследования, можно получить у авторов по обоснованному запросу

 

¹ Зенькова Л.П., Машевская О.В. Трансформация экономической системы в условиях становления цифровой экономики. Минск: ИВЦ Минфина; 2024. 239 с.

² Kogler D.F., Brenner T., Celebioglu F., Shin H. The Science-Innovation Nexus in a Regional Context – Introduction to the Special Issue, Policy and Future Research Directions. Review of Regional Research. 2024;(44):141–149. https://doi.org/10.1007/s10037-024-00212-0 

³ Kecun B., Yaqi C., Xieguo X., Yongzhi W. Research on the General Architecture of Intelligent Manufacturing in the Military Electronic Industry. In: 2020 International Conference on Artificial Intelligence and Electromechanical Automation (AIEA). Tianjin, China; 2020. Рр. 206–210. https://doi.org/10.1109/AIEA51086.2020.00051 ; Ranjan M., Singh S.K. What is Future Scope of PCB Fabrication and Manufacturing in Industries. International Journal of Engineering Development and Research. 2020;8(2):499–505. Available at: https://clck.ru/3QfoJd  (accessed 17.03.2025).

⁴ Goswami T. Machine Learning Behind Classification Tasks in Various Engineering and Science Domains. In: G.R. Sinha, J.S. Suri (еds). Cognitive Informatics, Computer Modelling, and Cognitive Science, Academic Press; 2020. Рр. 339–356. https://doi.org/10.1016/B978-0-12-819443-0.00016-7 

⁵ Perez J.G., Ballera M. A Comparative Study of NLP Transformer-Based and CNN-GloVe Models with Flask Application for Research Article Classification. In: Seventh International Symposium on Computer, Consumer and Control (IS3C). New York, USA; 2024. Рр. 352–358. https://doi.org/10.1145/3654522.3654557 

⁶ Chowdhury S., Schoen M.P. Research Paper Classification Using Supervised Machine Learning Techniques. 2020 Intermountain Engineering, Technology and Computing (IETC). Orem, UT, USA; 2020. Рр. 1–6. https://doi.org/10.1109/IETC47856.2020.9249211 

⁷ Ma X., Yang T., Chen J., Liu Z. k-Nearest Neighbor Algorithm Based on Feature Subspace. 2021 International Conference on Big Data Analysis and Computer Science (BDACS). Kunming, China; 2021. Рр. 225–228. https://doi.org/10.1109/BDACS53596.2021.00056 

⁸ Sarang P. Ensemble: Bagging and Boosting: Improving Decision Tree Performance by Ensemble Methods. In: Thinking Data Science. The Springer Series in Applied Machine Learning. Springer, Cham; 2023. Рр. 97–129. https://doi.org/10.1007/978-3-031-02363-7_5 ; Carreira-Perpiñán M.Á., Zharmagambetov A. Ensembles of Bagged TAO Trees Consistently Improve over Random Forests, AdaBoost and Gradient Boosting. In: Proceedings of the 2020 ACM-IMS on Foundations of Data Science Conference (FODS ‘20). Association for Computing Machinery, New York, USA; 2020. Рр. 35–46. https://doi.org/10.1145/3412815.3416882 

⁹ Gavrylenko S., Chelak V., Hornostal O. Ensemble Approach Based on Bagging and Boosting for Identification the Computer System State. In: 2021 XXXI International Scientific Symposium Metrology and Metrology Assurance (MMA). Sozopol, Bulgaria; 2021. Рр. 1–7. https://doi.org/10.1109/MMA52675.2021.9610949 

¹⁰ Федеральная служба государственной статистики: офиц. сайт [Электронный ресурс]. URL: https://rosstat.gov.ru/folder/210/document/13204  (дата обращения: 14.01.2025).

¹¹ Материал таблиц и рисунков подготовлен авторами по результатам исследования.

About the authors

Sergei N. Yashin

Lobachevsky University; Nizhny Novgorod State Technical University n. a. R. E. Alekseev

Email: jashinsn@yandex.ru
ORCID iD: 0000-0002-7182-2808
SPIN-code: 4191-7293
Scopus Author ID: 57191255169
ResearcherId: O-1752-2014

Dr. Sci. (Econ.), Professor, Head of the Chair of Management and Public Administration

Russian Federation, 23 Prospekt Gagarina, 603022 Nizhny Novgorod; 24 Minin St., 603155 Nizhny Novgorod

Larisa P. Ziankova

Belarusian State Economic University

Email: lovekak@mail.ru
ORCID iD: 0000-0002-1959-430X
Scopus Author ID: 57804766500

Dr. Sci. (Econ.), Professor of the Chair of Economics and Management

Belarus, 26 Partizanskii Prospekt, 220070 Minsk

Egor V. Koshelev

Lobachevsky University; Nizhny Novgorod State Technical University n. a. R. E. Alekseev

Author for correspondence.
Email: ekoshelev@yandex.ru
ORCID iD: 0000-0001-5290-7913
SPIN-code: 8429-5702
Scopus Author ID: 57192163661
ResearcherId: N-8586-2014

Cand. Sci. (Econ.), Associate Professor, Associate Professor of the Chair of Management and Public Administration

Russian Federation, 23 Prospekt Gagarina, 603022 Nizhny Novgorod; 24 Minin St., 603155 Nizhny Novgorod

Alexey A. Ivanov

Lobachevsky University; Nizhny Novgorod State Technical University n. a. R. E. Alekseev

Email: alexey.iff@yandex.ru
ORCID iD: 0000-0003-4299-4042
SPIN-code: 1055-4483
Scopus Author ID: 57207917762
ResearcherId: F-1106-2014

Cand. Sci. (Econ.), Associate Professor, Associate Professor of the Chair of Management and Public Administration

Russian Federation, 23 Prospekt Gagarina, 603022 Nizhny Novgorod; 24 Minin St., 603155 Nizhny Novgorod

References

Supplementary files