Импульсный бинарный нейрон - детектор причинно-следственных связей

Обложка

Цитировать

Полный текст

Аннотация

Цель. Распознавание причинно-следственных связей является фундаментальной функцией нейронных сетей, обучающихся целенаправленному поведению, осуществляющих планирование действий и формирующих модели динамики внешнего мира. Эта функциональность особенно важна для реализации обучения с подкреплением. В контексте импульсных нейронных сетей события представлены в виде импульсов (спайков), испускаемых нейронами сети или входными узлами. Обнаружение причинно-следственных связей между этими событиями является необходимым для эффективной реализации обучения с подкреплением. Методы. В данной работе представлен новый подход к распознаванию причинно-следственных связей с использованием импульсного бинарного нейрона. Этот подход основан на специально разработанных простых и эффективных правилах синаптической пластичности. При этом учитываются временные аспекты обнаруженных причинно-следственных связей, а также то, что спайковые сигналы могут иметь вид как одиночных импульсов, так и плотных последовательностей импульсов (всплесков), как это наблюдается в биологическом мозге. Кроме того, в данном исследовании уделяется большое внимание вопросу эффективной реализации предложенных моделей на современных и перспективных нейропроцессорах. Результаты. В сравнении с точными методами машинного обучения, такими как алгоритмы деревьев решений и сверточные нейронные сети, наш нейрон демонстрирует удовлетворительную точность, несмотря на свою простоту. Заключение. В данной работе представлена архитектура импульсной нейронной сети, включающая нейроны описываемого типа, которая может эффективно применяться в более сложных информационных окружениях, что делает ее перспективным кандидатом для реализации обучения с подкреплением в импульсных нейронных сетях.

Об авторах

Михаил Витальевич Киселев

Чувашский государственный университет

Московский проспект, 15

Денис Александрович Ларионов

Чувашский государственный университет

ORCID iD: 0000-0002-7437-2646
SPIN-код: 5586-5500
ResearcherId: JDM-7863-2023
Московский проспект, 15

Андрей Михайлович Урусов

Чувашский государственный университет

Московский проспект, 15

Список литературы

  1. Moreno-Bote R., Drugowitsch J. Causal Inference and Explaining Away in a Spiking Network // Scientific Reports. 2015. Vol. 5. P. 17531. doi: 10.1038/srep17531.
  2. Lansdell B. J., Kording K. P. Neural spiking for causal inference and learning // PLoS Computational Biology. 2023. Vol. 19, no. 4. P. e1011005. doi: 10.1371/journal.pcbi.1011005.
  3. Skatchkovsky N., Jang O., Simeone O. Bayesian continual learning via spiking neural networks // Frontiers in Computational Neuroscience. 2022. Vol. 16. P. 1037976. doi: 10.3389/fncom.2022. 1037976.
  4. Friston K. The history of the future of the bayesian brain // Neuroimage. 2012. Vol. 62, no. 2. P. 1230–1233. doi: 10.1016/j.neuroimage.2011.10.004.
  5. Kasabov N., Scott N. M., Tu E., Marks S., Sengupta N., Capecci E., Othman M., Doborjeh M. G., Murli N., Hartono R., Espinosa-Ramos J. I., Zhou L., Alvi F. B., Wang G., Taylor D., Feigin V., Gulyaev S., Mahmoud M., Hou Z.-G., Yang J. Evolving spatio-temporal data machines based on the NeuCube neuromorphic framework: Design methodology and selected applications // Neural Networks. 2016. Vol. 78. P. 1–14. doi: 10.1016/j.neunet.2015.09.011.
  6. Kasabov N. K. NeuCube: a spiking neural network architecture for mapping, learning and understanding of spatio-temporal brain data // Neural Networks. 2014. Vol. 52. P. 62–76. doi: 10.1016/j.neunet.2014.01.006.
  7. Schliebs S., Fiasche M., Kasabov N. Constructing Robust Liquid State Machines to Process Highly Variable Data Streams // International Conference on Artificial Neural Networks ICANN 2012: Artificial Neural Networks and Machine Learning – ICANN. 2012. P. 604–611. doi: 10.1007/978- 3-642-33269-2_76.
  8. Doborjeh M., Doborjeh Z., Merkin A., Krishnamurthi R., Enayatollahi R., Feigin V., Kasabov N. Personalized Spiking Neural Network Models of Clinical and Environmental Factors to Predict Stroke // Cognitive Computation. 2022. Vol. 14. P. 2187–2202. doi: 10.1007/s12559-021-09975-x.
  9. Fernando C. From blickets to synapses: Inferring temporal causal networks by observation // Cognitive Science. 2013. Vol. 37, no. 8. P. 1426–1470. doi: 10.1111/cogs.12073.
  10. Markram H., Gerstner W., Sjostrom P. J.A history of spike-timing-dependent plasticity // Frontiers in Synaptic Neuroscience. 2011. Vol. 3. P. 4. doi: 10.3389/fnsyn.2011.00004.
  11. Kerr R. R., Grayden D. B., Thomas D. A., Gilson M., Burkitt A. N. Coexistence of Reward and Unsupervised Learning During the Operant Conditioning of Neural Firing Rates // PLoS ONE. 2014. Vol. 9, no. 1. P. e87123. doi: 10.1371/journal.pone.0087123.
  12. Yuan M., Wu X., Yan R., Tang H. Reinforcement Learning in Spiking Neural Networks with Stochastic and Deterministic Synapses // Neural Computation. 2019. Vol. 31, no. 12. P. 2368–2389. doi: 10.1162/neco_a_01238.
  13. Mozafari M., Ganjtabesh M., Nowzari-Dalini A., Thorpe S. J., Masquelier T. Bio-Inspired Digit Recognition Using Reward-Modulated Spike-Timing-Dependent Plasticity in Deep Convolutional Networks // Pattern Recognition. 2019. Vol. 94. P. 87–95. doi: 10.1016/j.patcog.2019.05.015.
  14. Fremaux N., Sprekeler H., Gerstner W. Functional Requirements for Reward-Modulated SpikeTiming-Dependent Plasticity // The Journal of Neuroscience. 2010. Vol. 30, no. 40. P. 13326–13337. doi: 10.1523/JNEUROSCI.6249-09.2010.
  15. Juarez-Lora A., Ponce-Ponce V. H., Sossa H., Rubio-Espino E. R-STDP Spiking Neural Network Architecture for Motion Control on a Changing Friction Joint Robotic Arm // Frontiers in Neurorobotics. 2022. Vol. 16. P. 904017. doi: 10.3389/fnbot.2022.904017.
  16. Ivanov D., Chezhegov A., Kiselev M., Grunin A., Larionov D. Neuromorphic artificial intelligence systems // Frontiers in Neuroscience. 2022. Vol. 16. P. 959626. doi: 10.3389/fnins.2022.959626.
  17. Kiselev M., Ivanov A., Ivanov D. Approximating Conductance-Based Synapses by Current-Based Synapses // Advances in Neural Computation, Machine Learning, and Cognitive Research IV. Neuroinformatics 2020. Studies in Computational Intelligence. 2020. Vol. 925. P. 394–402. doi: 10.1007/978-3-030-60577-3_47.
  18. Kiselev M. V. A Synaptic Plasticity Rule Providing a Unified Approach to Supervised and Unsupervised Learning // Proceedings of International Joint Conference on Neural Networks. 2017. P. 3806–3813. doi: 10.1109/IJCNN.2017.7966336.
  19. Ho V. M., Lee J. A., Martin K. C. The cell biology of synaptic plasticity // Science. 2011. Vol. 334, no. 6056. P. 623–628. doi: 10.1126/science.1209236.
  20. Citri A., Malenka R. C. Synaptic Plasticity: Multiple Forms, Functions, and Mechanisms // Neuropsychopharmacology Reviews. 2008. Vol. 33. P. 18–41. doi: 10.1038/sj.npp.1301559.
  21. Roberts P. D., Leen T. K. Anti-hebbian spike-timing-dependent plasticity and adaptive sensory processing // Frontiers in Computational Neuroscience. 2010. Vol. 4. P. 156. doi: 10.3389/fncom. 2010.00156.
  22. Jiajun F. A Review for Deep Reinforcement Learning in Atari: Benchmarks, Challenges, and Solutions // ArXiv:abs/2112.04145. 2022.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».