Working memory capacity: the role of parameters of spiking neural network model

Cover Page

Cite item

Full Text

Abstract

Purpose of this work is to study a computational model of working memory formation based on spiking neural network with plastic connections and to study the capacity of working memory depending on the time scales of synaptic facilitation and depression and the background excitation of the network. Methods. The model imitates working memory formation within synaptic theory: memorized items are stored in form of short-term potentiated connections in selective population but not in form of persistent activity. Integrate-And-Fire neuron model in excitable mode are used as network elements. Connections between excitatory neurons demonstrates the effect of short-term plasticity. Results. It is shown that the working memory capacity increases as calcium recovery time parameter grow up or the capacity increases with neurotransmitter recovery time parameter becomes lower. Working memory capacity is found to decrease to zero with decrease of the background excitation as a result of lower values of both the mean and the variance of the external noise. Conclusion. Working memory capacity was studied as a function of time scales of synaptic facilitation and depression and background excitation of the network. Estimated working memory capacity is shown to be possibly larger than classical experimental estimations of four items. But capacity strongly depends on intrinsic parameters of neural networks.

About the authors

Natalya Sergeevna Kovaleva

Lobachevsky State University of Nizhny Novgorod

603950 Nizhny Novgorod, Gagarin Avenue, 23

Valerij Vladimirovich Matrosov

Lobachevsky State University of Nizhny Novgorod

603950 Nizhny Novgorod, Gagarin Avenue, 23

Mikhail Andreevich Mishchenko

Lobachevsky State University of Nizhny Novgorod

603950 Nizhny Novgorod, Gagarin Avenue, 23

References

  1. Baddeley A. Working memory // Science. 1992. Vol. 255, no. 5044. P. 556–559. DOI: 10.1126/ science.1736359.
  2. Baddeley A. Working memory: looking back and looking forward // Nat. Rev. Neurosci. 2003. Vol. 4, no. 10. P. 829–839. doi: 10.1038/nrn1201.
  3. Miller E. K., Erickson C. A., Desimone R. Neural mechanisms of visual working memory in prefrontal cortex of the macaque // J. Neurosci. 1996. Vol. 16, no. 16. P. 5154–5167. doi: 10.1523/JNEUROSCI.16-16-05154.1996.
  4. Fuster J. M., Alexander G. E. Neuron activity related to short-term memory // Science. 1971. Vol. 173, no. 3997. P. 652–654. doi: 10.1126/science.173.3997.652.
  5. Funahashi S., Bruce C. J., Goldman-Rakic P. S. Mnemonic coding of visual space in the monkey’s dorsolateral prefrontal cortex // J. Neurophysiol. 1989. Vol. 61, no. 2. P. 331–349. doi: 10.1152/jn.1989.61.2.331.
  6. Spaak E., Watanabe K., Funahashi S., Stokes M. G. Stable and dynamic coding for working memory in primate prefrontal cortex // J. Neurosci. 2017. Vol. 37, no. 27. P. 6503–6516. doi: 10.1523/JNEUROSCI.3364-16.2017.
  7. Barak O., Tsodyks M. Working models of working memory // Curr. Opin. Neurobiol. 2014. Vol. 25. P. 20–24. doi: 10.1016/j.conb.2013.10.008.
  8. Goldman-Rakic P. S. Cellular basis of working memory // Neuron. 1995. Vol. 14, no. 3. P. 477–485. doi: 10.1016/0896-6273(95)90304-6.
  9. Bray N. Working memory: Persistence is key // Nat. Rev. Neurosci. 2017. Vol. 18, no. 7. P. 385. doi: 10.1038/nrn.2017.70.
  10. Guo Z. V., Inagaki H. K., Daie K., Druckmann S., Gerfen C. R., Svoboda K. Maintenance of persistent activity in a frontal thalamocortical loop // Nature. 2017. Vol. 545, no. 7653. P. 181–186. doi: 10.1038/nature22324.
  11. Baddeley A. Working memory // Curr. Biol. 2010. Vol. 20, no. 4. P. R136–R140. DOI: 10.1016/ j.cub.2009.12.014.
  12. Diamond A. Executive functions // Annu. Rev. Psychol. 2013. Vol. 64. P. 135–168. DOI: 10.1146/ annurev-psych-113011-143750.
  13. Pasternak T., Greenlee M. W. Working memory in primate sensory systems // Nat. Rev. Neurosci. 2005. Vol. 6, no. 2. P. 97–107. doi: 10.1038/nrn1603.
  14. Afraimovich V., Gong X., Rabinovich M. Sequential memory: Binding dynamics // Chaos. 2015. Vol. 25, no. 10. P. 103118. doi: 10.1063/1.4932563.
  15. Kilpatrick Z. P. Synaptic mechanisms of interference in working memory // Sci. Rep. 2018. Vol. 8, no. 1. P. 7879. doi: 10.1038/s41598-018-25958-9.
  16. Nachstedt T. The Processing and Storage of Information in Neuronal Memory Systems Across Time Scales. Dissertation for the award of the degree «Doctor rerum naturalium». Gottingen: Georg-August-Universitat Gottingen, 2017. 149 p.
  17. Curtis C. E., D’Esposito M. Persistent activity in the prefrontal cortex during working memory // Trends Cogn. Sci. 2003. Vol. 7, no. 9. P. 415–423. doi: 10.1016/S1364-6613(03)00197-9.
  18. Riley M. R., Constantinidis C. Role of prefrontal persistent activity in working memory // Front. Syst. Neurosci. 2016. Vol. 9. P. 181. doi: 10.3389/fnsys.2015.00181.
  19. Bolkan S. S., Stujenske J. M., Parnaudeau S., Spellman T. J., Rauffenbart C., Abbas A. I., Harris A. Z., Gordon J. A., Kellendonk C. Thalamic projections sustain prefrontal activity during working memory maintenance // Nat. Neurosci. 2017. Vol. 20, no. 7. P. 987–996. doi: 10.1038/nn.4568.
  20. Constantinidis C., Funahashi S., Lee D., Murray J. D., Qi X.-L., Wang M., Arnsten A. F. T. Persistent spiking activity underlies working memory // J. Neurosci. 2018. Vol. 38, no. 32. P. 7020–7028. doi: 10.1523/JNEUROSCI.2486-17.2018.
  21. Rabinovich M., Huerta R., Laurent G. Transient dynamics for neural processing // Science. 2008. Vol. 321, no. 5885. P. 48–50. doi: 10.1126/science.1155564.
  22. Mongillo G., Barak O., Tsodyks M. Synaptic theory of working memory // Science. 2008. Vol. 319, no. 5869. P. 1543–1546. doi: 10.1126/science.1150769.
  23. Lundqvist M., Rose J., Herman P., Brincat S. L., Buschman T. J., Miller E. K. Gamma and beta bursts underlie working memory // Neuron. 2016. Vol. 90, no. 1. P. 152–164. DOI: 10.1016/ j.neuron.2016.02.028.
  24. Lisman J. E., Idiart M. A. P. Storage of 7 ± 2 short-term memories in oscillatory subcycles // Science. 1995. Vol. 267, no. 5203. P. 1512–1515. doi: 10.1126/science.7878473.
  25. Rolls E. T., Dempere-Marco L., Deco G. Holding multiple items in short term memory: A neural mechanism // PLOS ONE. 2013. Vol. 8, no. 4. P. e61078. doi: 10.1371/journal.pone.0061078.
  26. Dempere-Marco L., Melcher D. P., Deco G. Effective visual working memory capacity: An emergent effect from the neural dynamics in an attractor network // PLOS ONE. 2012. Vol. 7, no. 8. P. e42719. doi: 10.1371/journal.pone.0042719.
  27. Miller E. K., Lundqvist M., Bastos A. M. Working memory 2.0 // Neuron. 2018. Vol. 100, no. 2. P. 463–475. doi: 10.1016/j.neuron.2018.09.023.
  28. Lundqvist M., Herman P., Miller E. K. Working memory: Delay activity, yes! Persistent activity? Maybe not // J. Neurosci. 2018. Vol. 38, no. 32. P. 7013–7019. doi: 10.1523/JNEUROSCI.2485- 17.2018.
  29. Jun J. K., Miller P., Hernandez A., Zainos A., Lemus L., Brody C. D., Romo R. Heterogenous population coding of a short-term memory and decision task // J. Neurosci. 2010. Vol. 30, no. 3. P. 916–929. doi: 10.1523/JNEUROSCI.2062-09.2010.
  30. Hussar C. R., Pasternak T. Memory-guided sensory comparisons in the prefrontal cortex: Contribution of putative pyramidal cells and interneurons // J. Neurosci. 2012. Vol. 32, no. 8. P. 2747–2761. doi: 10.1523/JNEUROSCI.5135-11.2012.
  31. Rabinovich M. I., Simmons A. N., Varona P. Dynamical bridge between brain and mind // Trends Cogn. Sci. 2015. Vol. 19, no. 8. P. 453–461. doi: 10.1016/j.tics.2015.06.005.
  32. Wang Y., Markram H., Goodman P. H., Berger T. K., Ma J., Goldman-Rakic P. S. Heterogeneity in the pyramidal network of the medial prefrontal cortex // Nat. Neurosci. 2006. Vol. 9, no. 4. P. 534–542. doi: 10.1038/nn1670.
  33. Gordleeva S. Y., Tsybina Y. A., Krivonosov M. I., Ivanchenko M. V., Zaikin A. A., Kazantsev V. B., Gorban A. N. Modeling working memory in a spiking neuron network accompanied by astrocytes // Front. Cell. Neurosci. 2021. Vol. 15. P. 631485. doi: 10.3389/fncel.2021.631485.
  34. Miller G. A. The magical number seven, plus or minus two: Some limits on our capacity for processing information // Psychol. Rev. 1956. Vol. 63, no. 2. P. 81–97. doi: 10.1037/h0043158.
  35. Koyluoglu O. O., Pertzov Y., Manohar S., Husain M., Fiete I. R. Fundamental bound on the persistence and capacity of short-term memory stored as graded persistent activity // eLife. 2017. Vol. 6. P. e22225. doi: 10.7554/eLife.22225.
  36. Cowan N., Elliott E. M., Saults J. S., Morey C. C., Mattox S., Hismjatullina A., Conway A. R. A. On the capacity of attention: Its estimation and its role in working memory and cognitive aptitudes // Cogn. Psychol. 2005. Vol. 51, no. 1. P. 42–100. doi: 10.1016/j.cogpsych.2004.12.001.
  37. Conway A. R. A., Cowan N., Bunting M. F. The cocktail party phenomenon revisited: The importance of working memory capacity // Psychon. Bull. Rev. 2001. Vol. 8, no. 2. P. 331– 335. doi: 10.3758/BF03196169.
  38. Oberauer K. Access to information in working memory: Exploring the focus of attention // J. Exp. Psychol. Learn. Mem. Cogn. 2002. Vol. 28, no. 3. P. 411–421. doi: 10.1037/0278-7393.28.3.411.
  39. Cowan N. The magical mystery four: How is working memory capacity limited, and why? // Curr. Dir. Psychol. Sci. 2010. Vol. 19, no. 1. P. 51–57. doi: 10.1177/0963721409359277.
  40. Cowan N. The magical number 4 in short-term memory: A reconsideration of mental storage capacity // Behav. Brain Sci. 2001. Vol. 24, no. 1. P. 87–114. doi: 10.1017/S0140525X01003922.
  41. Frost A., Moussaoui S., Kaur J., Aziz S., Fukuda K., Niemeier M. Is the n-back task a measure of unstructured working memory capacity? Towards understanding its connection to other working memory tasks // Acta Psychol. 2021. Vol. 219. P. 103398. doi: 10.1016/j.actpsy.2021.103398.
  42. Mi Y., Katkov M., Tsodyks M. Synaptic correlates of working memory capacity // Neuron. 2017. Vol. 93, no. 2. P. 323–330. doi: 10.1016/j.neuron.2016.12.004.
  43. Hopfield J. J. Neural networks and physical systems with emergent collective computational abilities // Proc. Natl. Acad. Sci. U. S. A. 1982. Vol. 79, no. 8. P. 2554–2558. DOI: 10.1073/ pnas.79.8.2554.
  44. Song S., Sjostrom P. J., Reigl M., Nelson S., Chklovskii D. B. Highly nonrandom features of synaptic connectivity in local cortical circuits // PLOS Biol. 2005. Vol. 3, no. 3. P. e68. doi: 10.1371/journal.pbio.0030068.
  45. Дмитричев А. С., Касаткин Д. В., Клиньшов В. В., Кириллов С.Ю., Масленников О. В., Щапин Д. С., Некоркин В. И. Нелинейные динамические модели нейронов: обзор // Известия вузов. ПНД. 2018. Т. 26, № 4. С. 5–58. doi: 10.18500/0869-6632-2018-26-4-5-58.
  46. Tsodyks M. V., Markram H. The neural code between neocortical pyramidal neurons depends on neurotransmitter release probability // Proc. Natl. Acad. Sci. U. S. A. 1997. Vol. 94, no. 2. P. 719–723. doi: 10.1073/pnas.94.2.719.
  47. Luck S. J., Vogel E. K. The capacity of visual working memory for features and conjunctions // Nature. 1997. Vol. 390, no. 6657. P. 279–281. doi: 10.1038/36846.
  48. Potkin S. G., Turner J. A., Brown G. G., McCarthy G., Greve D. N., Glover G. H., Manoach D. S., Belger A., Diaz M., Wible C. G., Ford J. M., Mathalon D. H., Gollub R., Lauriello J., O’Leary D., van Erp T. G. M., Toga A. W., Preda A., Lim K. O., FBIRN. Working memory and DLPFC inefficiency in schizophrenia: The FBIRN study // Schizophr. Bull. 2009. Vol. 35, no. 1. P. 19–31. doi: 10.1093/schbul/sbn162.
  49. Godwin D., Ji A., Kandala S., Mamah D. Functional connectivity of cognitive brain networks in schizophrenia during a working memory task // Front. Psychiatry. 2017. Vol. 8. P. 294. doi: 10.3389/fpsyt.2017.00294.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».