Разработка архитектуры импульсной нейронной сети с применением принципов дендритных вычислений
- Авторы: Маврин И.А.1, Рындин Е.А.1, Андреева Н.В.1, Лучинин В.В.1
-
Учреждения:
- Санкт-Петербургский государственный электротехнический университет (ЛЭТИ) имени В.И. Ульянова (Ленина)
- Выпуск: Том 18, № 4 (2023)
- Страницы: 821-824
- Раздел: Материалы конференции
- URL: https://journal-vniispk.ru/2313-1829/article/view/256347
- DOI: https://doi.org/10.17816/gc623425
- ID: 256347
Цитировать
Открытый доступ
Доступ предоставлен
Только для подписчиков
Аннотация
В работе представлены результаты проектирования и разработки аппаратной архитектуры импульсной нейронной сети (ИНС) на основе дендритных вычислений. Основной целью интеграции активных свойств дендритов в структуру нейронов ИНС является необходимость минимизации количества функциональных блоков (синаптических связей и нейронов), обусловленная существующими ограничениями доступного объёма встроенной памяти при аппаратной реализации нейроморфных архитектур.
В качестве тестовой задачи для ИНС на основе дендритных вычислений была выбрана задача классификации изображений восьми символов (цифр от 1 до 8), представляемых как пиксельные однобитные изображения с разрешением 3×7.
Учёт активных свойств дендритов осуществлялся дополнением модели импульсного нейрона сети механизмом настройки задержки поступления сигнала на отдельные входы, так называемым механизмом пластичности по задержке [1]. С этой целью была разработана модель ИНС с дополнительными к основным входами задержки (далее — ИНС с активными дендритами). Сигнал на основных входах ИНС дублировался через настраиваемый промежуток времени (время задержки) на входах задержки. Для простоты реализации время задержки устанавливалось одинаковым для всех дополнительных входов сети.
Входной сигнал подавался на входы ИНС построчно. Информация о трёх пикселях каждой строки (паттерн) поступала на шесть основных входов нейросети: три прямых и три инверсных, при этом «включённый» пиксель кодировался одним импульсом, поступающим на прямой вход, а «выключенный» пиксель — импульсом на соответствующий инверсный вход. Время сканирования строки составляло 10 мкс, длительность входных импульсов — 1 мкс, время задержки — 5 мкс.
Поиск оптимальных значений параметров нейронов ИНС осуществляли с помощью стохастического алгоритма, основанного на алгоритме имитации отжига. Для нейронов типа «интегратор с утечкой» оптимизировали значения постоянной времени утечки (22,8 мкс), порога срабатывания нейрона (1150 у.е.) и времени рефрактерности (1 мкс).
Для обучения ИНС с активными дендритами использовали правило темпотрона [2]. В процессе обучения оптимизировались значения следующих параметров: максимальное значение изменения веса синаптической связи при обучении, различное для её укрепления и ослабления (0,7 и –3 у.е. соответственно), а также максимальный вес нейрона сети (195 у.е.).
Введение дополнительных входов задержки обеспечило возможность настройки восприимчивости нейронов ИНС к последовательности поступления входных паттернов в процессе обучения.
Представленную в работе архитектуру ИНС на основе дендритных вычислений сравнивали с разработанной нами ранее архитектурой двухслойной ИНС со скрытым перцептронным слоем и выходным слоем нейронов типа «интегратор с утечкой» [3].
Показано, что при одинаковых конструкции импульсных нейронов, методе кодирования входных изображений и способе организации импульсного слоя в обеих разработанных архитектурах двуслойная ИНС со скрытым перцептронным слоем и выходным слоем нейронов типа «интегратор с утечкой» выполняла классификацию изображений трёх символов (с разрешением 3×5), используя 10 нейронов и 63 синаптических веса, в то время как ИНС с активными дендритами осуществляла классификацию восьми символов (с разрешением 3×7) с использованием четырёх импульсных нейронов и 48 синаптических весов.
Таким образом, интеграция активных свойств дендритов в структуру ИНС для распознавания изображений позволила сократить количество функциональных блоков нейронов на 60%, синапсов — на 24%.
Ключевые слова
Полный текст
В работе представлены результаты проектирования и разработки аппаратной архитектуры импульсной нейронной сети (ИНС) на основе дендритных вычислений. Основной целью интеграции активных свойств дендритов в структуру нейронов ИНС является необходимость минимизации количества функциональных блоков (синаптических связей и нейронов), обусловленная существующими ограничениями доступного объёма встроенной памяти при аппаратной реализации нейроморфных архитектур.
В качестве тестовой задачи для ИНС на основе дендритных вычислений была выбрана задача классификации изображений восьми символов (цифр от 1 до 8), представляемых как пиксельные однобитные изображения с разрешением 3×7.
Учёт активных свойств дендритов осуществлялся дополнением модели импульсного нейрона сети механизмом настройки задержки поступления сигнала на отдельные входы, так называемым механизмом пластичности по задержке [1]. С этой целью была разработана модель ИНС с дополнительными к основным входами задержки (далее — ИНС с активными дендритами). Сигнал на основных входах ИНС дублировался через настраиваемый промежуток времени (время задержки) на входах задержки. Для простоты реализации время задержки устанавливалось одинаковым для всех дополнительных входов сети.
Входной сигнал подавался на входы ИНС построчно. Информация о трёх пикселях каждой строки (паттерн) поступала на шесть основных входов нейросети: три прямых и три инверсных, при этом «включённый» пиксель кодировался одним импульсом, поступающим на прямой вход, а «выключенный» пиксель — импульсом на соответствующий инверсный вход. Время сканирования строки составляло 10 мкс, длительность входных импульсов — 1 мкс, время задержки — 5 мкс.
Поиск оптимальных значений параметров нейронов ИНС осуществляли с помощью стохастического алгоритма, основанного на алгоритме имитации отжига. Для нейронов типа «интегратор с утечкой» оптимизировали значения постоянной времени утечки (22,8 мкс), порога срабатывания нейрона (1150 у.е.) и времени рефрактерности (1 мкс).
Для обучения ИНС с активными дендритами использовали правило темпотрона [2]. В процессе обучения оптимизировались значения следующих параметров: максимальное значение изменения веса синаптической связи при обучении, различное для её укрепления и ослабления (0,7 и –3 у.е. соответственно), а также максимальный вес нейрона сети (195 у.е.).
Введение дополнительных входов задержки обеспечило возможность настройки восприимчивости нейронов ИНС к последовательности поступления входных паттернов в процессе обучения.
Представленную в работе архитектуру ИНС на основе дендритных вычислений сравнивали с разработанной нами ранее архитектурой двухслойной ИНС со скрытым перцептронным слоем и выходным слоем нейронов типа «интегратор с утечкой» [3].
Показано, что при одинаковых конструкции импульсных нейронов, методе кодирования входных изображений и способе организации импульсного слоя в обеих разработанных архитектурах двуслойная ИНС со скрытым перцептронным слоем и выходным слоем нейронов типа «интегратор с утечкой» выполняла классификацию изображений трёх символов (с разрешением 3×5), используя 10 нейронов и 63 синаптических веса, в то время как ИНС с активными дендритами осуществляла классификацию восьми символов (с разрешением 3×7) с использованием четырёх импульсных нейронов и 48 синаптических весов.
Таким образом, интеграция активных свойств дендритов в структуру ИНС для распознавания изображений позволила сократить количество функциональных блоков нейронов на 60%, синапсов — на 24%.
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ
Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией).
Источник финансирования. Работа выполнена при финансовой поддержке Министерства науки и высшего образования Российской Федерации (государственное задание в области научной деятельности FSEE-2020-0013).
Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.
Об авторах
И. А. Маврин
Санкт-Петербургский государственный электротехнический университет (ЛЭТИ) имени В.И. Ульянова (Ленина)
Автор, ответственный за переписку.
Email: iamavrin@etu.ru
Россия, Санкт-Петербург
Е. А. Рындин
Санкт-Петербургский государственный электротехнический университет (ЛЭТИ) имени В.И. Ульянова (Ленина)
Email: iamavrin@etu.ru
Россия, Санкт-Петербург
Н. В. Андреева
Санкт-Петербургский государственный электротехнический университет (ЛЭТИ) имени В.И. Ульянова (Ленина)
Email: iamavrin@etu.ru
Россия, Санкт-Петербург
В. В. Лучинин
Санкт-Петербургский государственный электротехнический университет (ЛЭТИ) имени В.И. Ульянова (Ленина)
Email: iamavrin@etu.ru
Россия, Санкт-Петербург
Список литературы
- Acharya J., Basu A., Legenstein R., et al. Dendritic computing: branching deeper into machine learning // Neuroscience. 2022. Vol. 489. P. 275–289. doi: 10.1016/j.neuroscience.2021.10.001
- Gütig R., Sompolinsky H. The tempotron: a neuron that learns spike timing-based decisions // Nat Neurosci. 2006. Vol. 9, N 3. P. 420–428. doi: 10.1038/nn1643
- Рындин Е.А., Маврин И.А., Андреева Н.В., Лучинин В.В. Нейроморфный электронный модуль, ориентированный на использование мемристорной ЭКБ, для распознавания изображений // Нано- и микросистемная техника. 2022. Т. 24, № 6. С. 293–303. doi: 10.17587/nmst.24.293-303
Дополнительные файлы
