Резервуарная вычислительная система с волатильными и неволатильными органическими мемристорами — перспективная аппаратная архитектура
- Авторы: Мацукатова А.Н.1,2, Прудников Н.В.1,3, Кулагин В.А.1,2, Трофимов А.Д.1,3, Емельянов А.В.1,3
-
Учреждения:
- Национальный исследовательский центр «Курчатовский институт»
- Московский государственный университет имени М.В. Ломоносова
- Московский физико-технический институт
- Выпуск: Том 18, № 4 (2023)
- Страницы: 814-817
- Раздел: Материалы конференции
- URL: https://journal-vniispk.ru/2313-1829/article/view/256360
- DOI: https://doi.org/10.17816/gc623423
- ID: 256360
Цитировать
Открытый доступ
Доступ предоставлен
Только для подписчиков
Аннотация
В последние годы многие научные группы работают над аппаратной реализацией искусственных нейронных сетей, чтобы приблизиться к вычислительной эффективности нервных систем живых организмов. Мемристоры могут играть роль синапсов в таких сетях [1]. Разнообразные мемристивные структуры и материалы уже были протестированы в нейронных сетях с различными архитектурами, но до сих пор ни один мемристор не считается идеальным для аппаратной реализации синапса [1]. Одной наиболее существенной проблемой является наличие вариативности, присущей всем мемристивным устройствам, что усложняет обучение нейронных сетей [1]. Было предложено несколько подходов для частичного решения этой проблемы, например, создание резервуарных вычислительных систем (РВС) [2] и спайковых нейронных сетей (СНС) [3], а также инженерия дефектов для улучшения мемристивных характеристик. В этой работе мы предлагаем объединить РВС с СНС и создать нейроморфную биоподобную систему на основе двух типов органических мемристоров со специально разработанными структурами и улучшенными характеристиками.
РВС состоит из двух основных частей: резервуара и считывающего слоя [2]. Резервуарный слой извлекает некоторые характерные признаки из входных данных благодаря своей внутренней нелинейной динамике. Затем считывающий слой использует эти признаки для классификации входных данных. Как правило, в качестве считывающего слоя в РВС используется стандартная полносвязная нейронная сеть. Процесс обучения происходит только в считывающем слое, в то время как резервуар не обучается. Уменьшение количества обучаемых синапсов значительно снижает влияние мемристивной вариативности на процесс обучения.
Использование различных типов мемристоров в РВС принципиально. Резервуарный слой должен состоять из мемристоров с кратковременной памятью, т.е. волатильных мемристоров. Таким образом, мемристоры могут обрабатывать каждый образец из входных данных индивидуально. Для реализации этого слоя были выбраны волатильные мемристоры на основе полианилина (ПАНИ). Они могут работать с биологически правдоподобными временными диапазонами, что важно, поскольку мы стремимся имитировать биологические системы [4]. Напротив, считывающий слой должен состоять из мемристоров с долговременной памятью, т.е. неволатильных мемристоров, поскольку считывающий слой должен сохранять обученные синаптические веса. Для считывающего слоя были выбраны неволатильные поли-п-ксилиленовые (ППК) мемристоры с внедренными наночастицами MoO3.
Резервуарная вычислительная система использует важные принципы функционирования мозга, поскольку и кратковременная, и долговременная память играет важную роль в биологических системах. Однако обычно в качестве считывающего слоя в РВС используются стандартные нейронные сети [2]. Их обучение требует постоянного глобального обновления весов, что делает их уязвимыми к мемристивной стохастичности. С другой стороны, в СНС предусмотрено локальное обучение, например, с использованием биоподобных правил обучения, что делает такие сети более эффективными и надежными [3]. Поэтому мы предполагаем, что полностью органическая РВС с СНС считывающим слоем является многообещающей аппаратной мемристивной архитектурой.
Работа состоит из двух частей: аппаратной и программной. Сначала были изготовлены и исследованы мемристивные устройства на основе ПАНИ и ППК. Аппаратный ПАНИ резервуар продемонстрировал способность извлекать характерные признаки из входных данных. Нанокомпозитные ППК мемристоры оказались подходящими на роль синапсов в считывающем слое благодаря уникальному сочетанию высокой скорости переключения, высокой стабильности, низкого энергопотребления и возможности реализации в кроссбар архитектуре. Затем в ходе моделирования было проведено сравнение стандартного и спайкового считывающего слоя. Было показано, что СНС считывающий слой более адаптивен и устойчив к шуму в задачах классификации изображений, а также к мемристивной вариативности [5].
Полный текст
В последние годы многие научные группы работают над аппаратной реализацией искусственных нейронных сетей, чтобы приблизиться к вычислительной эффективности нервных систем живых организмов. Мемристоры могут играть роль синапсов в таких сетях [1]. Разнообразные мемристивные структуры и материалы уже были протестированы в нейронных сетях с различными архитектурами, но до сих пор ни один мемристор не считается идеальным для аппаратной реализации синапса [1]. Одной из наиболее существенных проблем является наличие вариативности, присущей всем мемристивным устройствам, что усложняет обучение нейронных сетей [1]. Было предложено несколько подходов для частичного решения этой проблемы, например создание резервуарных вычислительных систем (РВС) [2] и спайковых нейронных сетей (СНС) [3], а также инженерия дефектов для улучшения мемристивных характеристик. В этой работе мы предлагаем объединить РВС с СНС и создать нейроморфную биоподобную систему на основе двух типов органических мемристоров со специально разработанными структурами и улучшенными характеристиками.
Резервуарная вычислительная система состоит из двух основных частей: резервуара и считывающего слоя [2]. Резервуарный слой извлекает некоторые характерные признаки из входных данных благодаря своей внутренней нелинейной динамике. Затем считывающий слой использует эти признаки для классификации входных данных. Как правило, в качестве считывающего слоя в РВС используют стандартную полносвязную нейронную сеть. Процесс обучения происходит только в считывающем слое, в то время как резервуар не обучается. Уменьшение количества обучаемых синапсов значительно снижает влияние мемристивной вариативности на процесс обучения.
Использование различных типов мемристоров в РВС принципиально. Резервуарный слой должен состоять из мемристоров с кратковременной памятью, т.е. волатильных мемристоров. Таким образом, мемристоры могут обрабатывать каждый образец из входных данных индивидуально. Для реализации этого слоя были выбраны волатильные мемристоры на основе полианилина (ПАНИ). Они могут работать с биологически правдоподобными временными диапазонами, что важно, поскольку мы стремимся имитировать биологические системы [4]. Напротив, считывающий слой должен состоять из мемристоров с долговременной памятью, т.е. неволатильных мемристоров, поскольку он должен сохранять обученные синаптические веса. Для считывающего слоя были выбраны неволатильные поли-п-ксилиленовые (ППК) мемристоры с внедрёнными наночастицами MoO3.
Резервуарная вычислительная система использует важные принципы функционирования мозга, поскольку и кратковременная, и долговременная память играет важную роль в биологических системах. Однако обычно в качестве считывающего слоя в РВС используют стандартные нейронные сети [2]. Их обучение требует постоянного глобального обновления весов, что делает эти сети уязвимыми к мемристивной стохастичности. С другой стороны, в СНС предусмотрено локальное обучение, например с использованием биоподобных правил обучения, что делает такие сети более эффективными и надёжными [3]. Поэтому мы предполагаем, что полностью органическая РВС с СНС-считывающим слоем является многообещающей аппаратной мемристивной архитектурой.
Работа состоит из двух частей: аппаратной и программной. Сначала были изготовлены и исследованы мемристивные устройства на основе ПАНИ и ППК. Аппаратный ПАНИ-резервуар продемонстрировал способность извлекать характерные признаки из входных данных. Нанокомпозитные ППК-мемристоры оказались подходящими на роль синапсов в считывающем слое благодаря уникальному сочетанию высокой скорости переключения, высокой стабильности, низкого энергопотребления и возможности реализации в кроссбар-архитектуре. Затем в ходе моделирования было проведено сравнение стандартного и спайкового считывающего слоя. Показано, что СНС-считывающий слой более адаптивен и устойчив к шуму в задачах классификации изображений, а также к мемристивной вариативности [5].
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ
Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией).
Источник финансирования. Данная работа выполнена при поддержке Российского фонда фундаментальных исследований (проект № 20-57-7801). А.Н. Мацукатова является стипендиатом Фонда развития теоретической физики и математики «БАЗИС» (№ 19-2-6-57-1). Измерения выполнены с использованием оборудования ресурсных центров (НИЦ «Курчатовский институт»).
Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.
Об авторах
А. Н. Мацукатова
Национальный исследовательский центр «Курчатовский институт»; Московский государственный университет имени М.В. Ломоносова
Автор, ответственный за переписку.
Email: an.matcukatova@physics.msu.ru
Россия, Москва; Москва
Н. В. Прудников
Национальный исследовательский центр «Курчатовский институт»; Московский физико-технический институт
Email: an.matcukatova@physics.msu.ru
Россия, Москва; Долгопрудный, Московская область
В. А. Кулагин
Национальный исследовательский центр «Курчатовский институт»; Московский государственный университет имени М.В. Ломоносова
Email: an.matcukatova@physics.msu.ru
Россия, Москва; Москва
А. Д. Трофимов
Национальный исследовательский центр «Курчатовский институт»; Московский физико-технический институт
Email: an.matcukatova@physics.msu.ru
Россия, Москва; Долгопрудный, Московская область
А. В. Емельянов
Национальный исследовательский центр «Курчатовский институт»; Московский физико-технический институт
Email: an.matcukatova@physics.msu.ru
Россия, Москва; Долгопрудный, Московская область
Список литературы
- Zhang Y., Wang Z., Zhu J., et al. Brain-inspired computing with memristors: challenges in devices, circuits, and systems // Appl Phys Rev. 2020. Vol. 7, N 1. P. 011308. doi: 10.1063/1.5124027
- Milano G., Pedretti G., Montano K., et al. In materia reservoir computing with a fully memristive architecture based on self-organizing nanowire networks // Nat Mater. 2022. Vol. 21, N 2. P. 195–202. doi: 10.1038/s41563-021-01099-9
- Querlioz D., Bichler O., Dollfus P., et al. Immunity to device variations in a spiking neural network with memristive nanodevices // IEEE Transactions on Nanotechnology. 2013. Vol. 12, N 3. P. 288–295. doi: 10.1109/TNANO.2013.2250995
- Masaev D.N., Suleimanova A.A., Prudnikov N.V., et.al. Memristive circuit-based model of central pattern generator to reproduce spinal neuronal activity in walking pattern // Front Neurosci. 2023. Vol. 17. P. 1124950. doi: 10.3389/fnins.2023.1124950
- Matsukatova A.N., Prudnikov N.V., Kulagin V.A., et al. Combination of organic-based reservoir computing and spiking neuromorphic systems for a robust and efficient pattern classification // Advanced Intelligent Systems. 2023. Vol. 5, N 6. P. 2200407. doi: 10.1002/aisy.202200407
Дополнительные файлы
