On the spectrum of random Gram matrices of large dimension in the case of partial dependence

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

A unified theory is proposed, which enables one to derive universal limiting spectral distributions for random Gram matrices of large dimension and related matrix models in the case of partial dependence.

About the authors

Pavel Andreevich Yaskov

Steklov Mathematical Institute of Russian Academy of Sciences

Email: yaskov@mi-ras.ru
Scopus Author ID: 36635347000
ResearcherId: S-2745-2016
Candidate of physico-mathematical sciences, no status

References

  1. R. Adamczak, “On the Marchenko–Pastur and circular laws for some classes of random matrices with dependent entries”, Electron. J. Probab., 16 (2011), 37, 1065–1095
  2. R. Adamczak, “Some remarks on the Dozier–Silverstein theorem for random matrices with dependent entries”, Random Matrices Theory Appl., 2:2 (2013), 1250017, 46 pp.
  3. A. Ambainis, A. W. Harrow, M. B. Hastings, “Random tensor theory: extending random matrix theory to mixtures of random product states”, Comm. Math. Phys., 310:1 (2012), 25–74
  4. S. Anatolyev, P. Yaskov, “Asymptotics of diagonal elements of projection matrices under many instruments/regressors”, Econometric Theory, 33:3 (2017), 717–738
  5. Z. D. Bai, “Methodologies in spectral analysis of large dimensional random matrices, a review”, Statist. Sinica, 9:3 (1999), 611–677
  6. Zhidong Bai, J. W. Silverstein, Spectral analysis of large dimensional random matrices, Springer Ser. Statist., 2nd ed., Springer, New York, 2010, xvi+551 pp.
  7. Z. D. Bai, Y. Q. Yin, P. R. Krishnaiah, “On limiting spectral distribution of product of two random matrices when the underlying distribution is isotropic”, J. Multivariate Anal., 19:1 (1986), 189–200
  8. Zhidong Bai, Wang Zhou, “Large sample covariance matrices without independence structures in columns”, Statist. Sinica, 18:2 (2008), 425–442
  9. M. Banna, “Limiting spectral distribution of Gram matrices associated with functionals of $beta$-mixing processes”, J. Math. Anal. Appl., 433:1 (2016), 416–433
  10. M. Banna, F. Merlevède, “Limiting spectral distribution of large sample covariance matrices associated with a class of stationary processes”, J. Theoret. Probab., 28:2 (2015), 745–783
  11. M. Banna, F. Merlevède, M. Peligrad, “On the limiting spectral distribution for a large class of symmetric random matrices with correlated entries”, Stochastic Process. Appl., 125:7 (2015), 2700–2726
  12. J. Bryson, R. Vershynin, Hongkai Zhao, “Marchenko–Pastur law with relaxed independence conditions”, Random Matrices Theory Appl., 10:4 (2021), 2150040, 28 pp.
  13. B. Collins, Jianfeng Yao, Wangjun Yuan, “On spectral distribution of sample covariance matrices from large dimensional and large $k$-fold tensor products”, Electron. J. Probab., 27 (2022), 102, 18 pp.
  14. R. Couillet, M. Debbah, Random matrix methods for wireless communications, Cambridge Univ. Press, Cambridge, 2011, xxii+539 pp.
  15. R. Couillet, Zhenyu Liao, Random matrix methods for machine learning, Cambridge Univ. Press, Cambridge, 2022, viii+402 pp.
  16. A. Dembczak-Kolodziejczyk, A. Lytova, “On the empirical spectral distribution for certain models related to sample covariance matrices with different correlations”, Random Matrices Theory Appl., 11:3 (2022), 2250030, 23 pp.
  17. E. Dobriban, S. Wager, “High-dimensional asymptotics of prediction: ridge regression and classification”, Ann. Statist., 46:1 (2018), 247–279
  18. R. B. Dozier, J. W. Silverstein, “On the empirical distribution of eigenvalues of large dimensional information-plus-noise-type matrices”, J. Multivariate Anal., 98:4 (2007), 678–694
  19. N. El Karoui, “Concentration of measure and spectra of random matrices: applications to correlation matrices, elliptical distributions and beyond”, Ann. Appl. Probab., 19:6 (2009), 2362–2405
  20. N. El Karoui, “Random matrices and high-dimensional statistics: beyond covariance matrices”, Proceedings of the international congress of mathematicians–Rio de Janeiro 2018, v. 4, Invited lectures, World Sci. Publ., Hackensack, NJ, 2018, 2857–2876
  21. J. S. Geronimo, T. P. Hill, “Necessary and sufficient condition that the limit of Stieltjes transforms is a Stieltjes transform”, J. Approx. Theory, 121:1 (2003), 54–60
  22. V. L. Girko, Theory of stochastic canonical equations, v. I, II, Math. Appl., 535, Kluwer Acad. Publ., Dordrecht, 2001, xxiv+497 pp., xxvi+463 pp.
  23. V. L. Girko, A. K. Gupta, “Asymptotic behavior of spectral function of empirical covariance matrices”, Random Oper. Stochastic Equations, 2:1 (1994), 43–60
  24. U. Grenander, J. W. Silverstein, “Spectral analysis of networks with random topologies”, SIAM J. Appl. Math., 32:2 (1977), 499–519
  25. W. Hachem, P. Loubaton, J. Najim, “The empirical distribution of the eigenvalues of a Gram matrix with a given variance profile”, Ann. Inst. H. Poincare Probab. Statist., 42:6 (2006), 649–670
  26. W. Hachem, P. Loubaton, J. Najim, “A CLT for information-theoretic statistics of Gram random matrices with a given variance profile”, Ann. Appl. Probab., 18:6 (2008), 2071–2130
  27. P. Hall, “On the $L^p$ convergence of sums of independent random variables”, Math. Proc. Cambridge Philos. Soc., 82:3 (1977), 439–446
  28. R. A. Horn, Ch. R. Johnson, Topics in matrix analysis, Corr. reprint of the 1991 original, Cambridge Univ. Press, Cambridge, 1994, viii+607 pp.
  29. Jun Hui, Guangming Pan, “Limiting spectral distribution for large sample covariance matrices with $m$-dependent elements”, Comm. Statist. Theory Methods, 39:6 (2010), 935–941
  30. D. Jonsson, “Some limit theorems for the eigenvalues of a sample covariance matrix”, J. Multivariate Anal., 12:1 (1982), 1–38
  31. Haoyang Liu, A. Aue, D. Paul, “On the Marčenko–Pastur law for linear time series”, Ann. Statist., 43:2 (2015), 675–712
  32. C. Louart, Zhenyu Liao, R. Couillet, “A random matrix approach to neural networks”, Ann. Appl. Probab., 28:2 (2018), 1190–1248
  33. A. Lytova, “Central limit theorem for linear eigenvalue statistics for a tensor product version of sample covariance matrices”, J. Theoret. Probab., 31:2 (2018), 1024–1057
  34. F. Merlevède, C. Peligrad, M. Peligrad, “On the universality of spectral limit for random matrices with martingale differences entries”, Random Matrices Theory Appl., 4:1 (2015), 1550003, 33 pp.
  35. F. Merlevède, M. Peligrad, “On the empirical spectral distribution for matrices with long memory and independent rows”, Stochastic Process. Appl., 126:9 (2016), 2734–2760
  36. S. O'Rourke, “A note on the Marchenko–Pastur law for a class of random matrices with dependent entries”, Electron. Commun. Probab., 17 (2012), 28, 13 pp.
  37. A. Pajor, L. Pastur, “On the limiting empirical measure of eigenvalues of the sum of rank one matrices with log-concave distribution”, Studia Math., 195:1 (2009), 11–29
  38. L. Pastur, M. Shcherbina, Eigenvalue distribution of large random matrices, Math. Surveys Monogr., 171, Amer. Math. Soc., Providence, RI, 2011, xiv+632 pp.
  39. D. Paul, A. Aue, “Random matrix theory in statistics: a review”, J. Statist. Plann. Inference, 150 (2014), 1–29
  40. D. Paul, J. W. Silverstein, “No eigenvalues outside the support of the limiting empirical spectral distribution of a separable covariance matrix”, J. Multivariate Anal., 100:1 (2009), 37–57
  41. O. Pfaffel, E. Schlemm, “Eigenvalue distribution of large sample covariance matrices of linear processes”, Probab. Math. Statist., 31:2 (2011), 313–329
  42. O. Pfaffel, E. Schlemm, “Limiting spectral distribution of a new random matrix model with dependence across rows and columns”, Linear Algebra Appl., 436:9 (2012), 2966–2979
  43. P. Revesz, “$M$-mixing systems. I”, Acta Math. Acad. Sci. Hungar., 20 (1969), 431–442
  44. F. Rubio, X. Mestre, “Spectral convergence for a general class of random matrices”, Statist. Probab. Lett., 81:5 (2011), 592–602
  45. J. W. Silverstein, “Strong convergence of the empirical distribution of eigenvalues of large dimensional random matrices”, J. Multivariate Anal., 55:2 (1995), 331–339
  46. J. W. Silverstein, Z. D. Bai, “On the empirical distribution of eigenvalues of a class of large dimensional random matrices”, J. Multivariate Anal., 54:2 (1995), 175–192
  47. E. E. Tyrtyshnikov, N. L. Zamarashkin, “Spectra of multilevel Toeplitz matrices: advanced theory via simple matrix relationships”, Linear Algebra Appl., 270:1-3 (1998), 15–27
  48. D. Voiculescu, “Limit laws for random matrices and free products”, Invent. Math., 104:1 (1991), 201–220
  49. D. Voiculescu, “Lectures on free probability theory”, Lectures on probability theory and statistics (Saint-Flour, 1998), Lecture Notes in Math., 1738, Springer-Verlag, Berlin, 2000, 279–349
  50. K. W. Wachter, “The strong limits of random matrix spectra for sample matrices of independent elements”, Ann. Probab., 6:1 (1978), 1–18
  51. K. W. Wachter, “The limiting empirical measure of multiple discriminant ratios”, Ann. Statist., 8:5 (1980), 937–957
  52. Meng Wei, Guangyu Yang, Lingling Ying, “The limiting spectral distribution for large sample covariance matrices with unbounded $m$-dependent entries”, Comm. Statist. Theory Methods, 45:22 (2016), 6651–6662
  53. J. Wishart, “The generalised product moment distribution in samples from a normal multivariate population”, Biometrika, 20A:1-2 (1928), 32–52
  54. Jianfeng Yao, “A note on a Marčenko–Pastur type theorem for time series”, Statist. Probab. Lett., 82:1 (2012), 22–28
  55. P. Yaskov, “Variance inequalities for quadratic forms with applications”, Math. Methods Statist., 24:4 (2015), 309–319
  56. P. Yaskov, “A short proof of the Marchenko–Pastur theorem”, C. R. Math. Acad. Sci. Paris, 354:3 (2016), 319–322
  57. P. Yaskov, “Necessary and sufficient conditions for the Marchenko–Pastur theorem”, Electron. Commun. Probab., 21 (2016), 73, 8 pp.
  58. P. Yaskov, “LLN for quadratic forms of long memory time series and its applications in random matrix theory”, J. Theoret. Probab., 31:4 (2018), 2032–2055
  59. P. Yaskov, “Limit of the smallest eigenvalue of a sample covariance matrix for spherical and related distributions”, Recent developments in stochastic methods and applications, ICSM-5 (Moscow, 2020), Springer Proc. Math. Statist., 371, Springer, Cham, 2021, 229–241
  60. P. Yaskov, “Marchenko–Pastur law for a random tensor model”, Electron. Commun. Probab., 28 (2023), 23, 17 pp.
  61. P. Yaskov, “A remark on the spectrum of sample covariance matrices from large random tensors”, ALEA Lat. Am. J. Probab. Math. Stat. (to appear)
  62. Y. Q. Yin, “Limiting spectral distribution for a class of random matrices”, J. Multivariate Anal., 20:1 (1986), 50–68
  63. Y. Q. Yin, P. R. Krishnaiah, “A limit theorem for the eigenvalues of product of two random matrices”, J. Multivariate Anal., 13:4 (1983), 489–507
  64. Y. Q. Yin, P. R. Krishnaiah, “Limit theorem for the eigenvalues of the sample covariance matrix when the underlying distribution is isotropic”, Теория вероятн. и ее примен., 30:4 (1985), 810–816
  65. Wangjun Yuan, “On spectrum of sample covariance matrices from large tensor vectors”, ALEA Lat. Am. J. Probab. Math. Stat., 21:2 (2024), 1527–1545
  66. Lixin Zhang, Spectral analysis of large dimensional random matrices, Ph.D. thesis, Nat. Univ. of Singapore, 2006

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Copyright (c) 2025 Yaskov P.A.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».