УЛУЧШЕНИЕ НЕПОЛНОЙ МНОГОАСПЕКТНОЙ КЛАСТЕРИЗАЦИИ ТЕНЗОРНЫМ ВОССТАНОВЛЕНИЕМ ГРАФА СВЯЗНОСТИ

Обложка

Цитировать

Полный текст

Аннотация

С развитием технологий сбора данных появляется множество многоаспектных данных, и их кластеризация стала актуальной темой. Большинство методов многоаспектной кластеризации (multi-view clustering) предполагают, что все аспекты полностью наблюдаемы. Но во многих случаях это не так. Для работы с неполными многоаспектными данными были предложены некоторые тензорные методы. Однако традиционная тензорная норма требует больших вычислительных затрат, и такие методы, как правило, не могут обрабатывать неполные выборки и дисбаланс различных аспектов. Предлагается новый метод кластеризации неполных многоаспектных данных. Определяется новая тензорная норма для восстановления графа связности, графы регуляризируются до согласованного низкоразмерного представления образцов. Затем веса итеративно обновляются для каждого аспекта. По сравнению с существующими, предложенный метод не только определяет согласованность между аспектами, но и получает низкоразмерное представление образцов с помощью полученной проекционной матрицы. Для решения разработан эффективный оптимизационный алгоритм на основе метода неопределенных множителей Лагранжа. Экспериментальные результаты на четырех наборах данных демонстирируют эффективность метода.

Об авторах

Х. Жанг

Колледж математики Нанкинского ун-та аэронавтики и космонавтики

Email: matveev@ccas.ru
КНР, Нанкин

С. Чен

Колледж математики Нанкинского ун-та аэронавтики и космонавтики

Email: lyandcxh@nuaa.edu.cn
КНР, Нанкин

Ю. Жу

Факультет экспериментального фундаментального обучения,
Нанкинский ун-т аэронавтики и космонавтики

Email: matveev@ccas.ru
КНР, Нанкин

И. А. Матвеев

ФИЦ ИУ РАН

Автор, ответственный за переписку.
Email: matveev@ccas.ru
Россия, Москва

Список литературы

  1. Zhao J., Xie X., Xu X., Sun S. Multi-view Learning Overview: Recent Progress and New Challenges // Information Fusion. 2017. V. 38. P. 43–54.
  2. Liu Y., Fan L., Zhang C., Zhou T., Xiao Z., Geng L., Shen D. Incomplete Multi-modal Representation Learning for Alzheimer’s Disease Diagnosis // Medical Image Analysis. 2021. V. 69. P. 101953.
  3. Qiao L., Zhang L., Chen S., Shen D. Data-driven Graph Construction and Graph Learning: A Review // Neurocomputing. 2018. V. 312. P. 336–351.
  4. Wen J., Xu Y., Liu H. Incomplete Multiview Spectral Clustering with Adaptive Graph Learning // IEEE Trans. Cybernetics. 2020. V. 50. № 4. P. 1418–1429.
  5. Wen J., Zhang Zheng, Zhang Zhao, Fei L.K., Wang M. Generalized Incomplete Multiview Clustering with Flexible Locality Structure Diffusion // IEEE Trans. Cybernetics. 2021. V. 51. № 1. P. 101–114.
  6. Zhang N., Sun S. Incomplete Multiview Nonnegative Representation Learning with Multiple Graphs // Pattern Recognition. 2022. V. 123. P. 108412.
  7. Wen J., Yan K., Zhang Z., Xu Y., Wang J.Q., Fei L.K., Zhang B. Adaptive Graph Completion Based Incomplete Multiview Clustering // IEEE Trans. Multimedia. 2021. V. 23. P. 2493–2504.
  8. Liu J., Teng S., Zhang W., Fang X., Fei L., Zhang Z. Incomplete Multiview Subspace Clustering with Low-rank Tensor // Proc. IEEE Intern. Conf. Acoustics, Speech and Signal Processing. Toronto, Canada, 2021. P. 3180–3184.
  9. Wen J., Zhang Zheng, Zhang Zhao, Zhu L., Fei L.K., Zhang B., Xu Y. Unified Tensor Framework for Incomplete Multiview Clustering and Missing-view Inferring // Proc. 35th AAAI Conf. Artificial Intelligence. AAAI Press: Palo Alto, CA, USA. 2021. V. 35. P. 10273–10281.
  10. Xia W., Gao Q., Wang Q., Gao X. Tensor Completion-based Incomplete Multiview Clustering // IEEE Trans. Cybernetics. 2022. V. 52. № 12. P. 13635–13644.
  11. Blaschko M.B., Lampert C.H., Gretton A. Semi-supervised Laplacian Regularization of Kernel Canonical Correlation Analysis // Proc. Joint Europ. Conf. Machine Learning and Knowledge Discovery in Databases. Antwerp, Belgium, 2008. P. 133–145.
  12. Chen X., Chen S., Xue H., Zhou X. A Unified Dimensionality Reduction Framework for Semi-paired and Semi-supervised Multiview Data // Pattern Recognition. 2012. V. 45. № 5. P. 2005–2018.
  13. Zhou X., Chen X., Chen S. Neighborhood Correlation Analysis for Semi-paired Two-view Data // Neural Processing Letters. 2013. V. 37. № 3. P. 335–354.
  14. Yuan Y., Wu Z., Li Y., Qiang J., Gou J., Zhu Y. Regularized Multiset Neighborhood Correlation Analysis for Semi-paired Multiview Learning // Intern. Conf. Neural Information Processing. Vancouver, Canada, 2020. P. 616–625.
  15. Yang W., Shi Y., Gao Y., Wang L., Yang M. Incomplete Data Oriented Multiview Dimension Reduction via Sparse Low-rank Representation // IEEE Trans. Neural Networks and Learning Systems. 2018. V. 29. № 12. P. 6276–6291.
  16. Zhu C., Chen C., Zhou R., Wei L., Zhang X. A New Multiview Learning Machine with Incomplete Data // Pattern Analysis and Applications. 2020. V. 23. № 3. P. 1085–1116.
  17. Li S., Jiang Y., Zhou Z. Partial Multiview Clustering // Proc. AAAI Conf. artificial intelligence. Québec City, Canada, 2014. V. 28. № 1.
  18. Xu C., Tao D., Xu C. Multiview Learning with Incomplete Views // IEEE Trans. Image Processing. 2015. V. 24. № 12. P. 5812–5825.
  19. Wen J., Zhang Z., Xu Y., Zhong Z. Incomplete Multiview Clustering via Graph Regularized Matrix Factorization // Proc. European Conf. Computer Vision Workshops. Munich, Germany, 2018. P. 1–16.
  20. Hu M., Chen S. Doubly Aligned Incomplete Multiview Clustering // Proc. Intern. Joint Conf. Artificial Intelligence. Stockholm, Sweden, 2018. P. 2262–2268.
  21. Hu M., Chen S. One-pass Incomplete Multiview Clustering // Proc. AAAI Conf. Artificial Intelligence. Honolulu, Hawaii, USA, 2019. V. 33. P. 3838–3845.
  22. Liu J., Teng S., Fei L., Zhang W., Fang X., Zhang Z., Wu N. A Novel Consensus Learning Approach to Incomplete Multiview Clustering // Pattern Recognition. 2021. V. 115. P. 107890.
  23. Liu X., Zhu X., Li M., Wang L., Zhu E., Liu T., Kloft M., Shen D., Yin J., Gao W. Multiple Kernel k-means with Incomplete Kernels // IEEE Trans. Pattern Analysis and Machine Intelligence. 2019. V. 42. № 5. P. 1191–1204.
  24. Wen J., Sun H., Fei L., Li J., Zhang Z., Zhang B. Consensus Guided Incomplete Multiview Spectral Clustering // Neural Networks. 2021. V. 133. P. 207–219.
  25. Zhuge W., Luo T., Tao H., Hou C., Yi D. Multiview Spectral Clustering with Incomplete Graphs // IEEE Access. 2020. V. 8. P. 99820–99831.
  26. Liu X., Zhu X., Li M., Wang L., Tang C., Yin J., Shen D., Wang H., Gao W. Late Fusion Incomplete Multiview Clustering // IEEE Trans. Pattern Analysis and Machine Intelligence. 2018. V. 41. № 10. P. 2410–2423.
  27. Zheng X., Liu X., Chen J., Zhu E. Adaptive Partial Graph Learning and Fusion for Incomplete Multiview Clustering // Intern. J. Intelligent Systems. 2022. V. 37. № 1. P. 991–1009.
  28. Xie M., Ye Z., Pan G., Liu X. Incomplete Multiview Subspace Clustering with Adaptive Instance Sample Mapping and Deep Feature Fusion // Applied Intelligence. 2021. V. 51. № 8. P. 5584–5597.
  29. Zhao L., Chen Z., Yang Y., Wang Z.J., Leung V.C. Incomplete Multiview Clustering via Deep Semantic Mapping // Neurocomputing. 2018. V. 275. P. 1053–1062.
  30. Zhang C., Han Z., Fu H., Zhou J.T., Hu Q. CPM-nets: Cross Partial Multiview Networks // Advances in Neural Information Processing Systems. 2019. V. 32.
  31. Wang Q., Ding Z., Tao Z., Gao Q., Fu Y. Partial Multiview Clustering via Consistent GAN // Proc. IEEE Intern. Conf. Data Mining. Singapore, 2018. P. 1290–1295.
  32. Xu C., Liu H., Guan Z., Wu X., Tan J., Ling B. Adversarial Incomplete Multiview Subspace Clustering Networks // IEEE Trans. Cybernetics. 2022. V. 52. № 10. P. 10490–10503.
  33. Goodfellow I., Pouget-Abadie J., Mirza M., Xu B., Warde-Farley D., Ozair S., Courville A., Bengio Y. Generative Adversarial Networks // Comm. ACM. 2020. V. 63. № 11. P. 139–144.
  34. Lin Y., Gou Y., Liu Z., Li B., Lv J., Peng X. Completer: Incomplete Multiview Clustering via Contrastive Prediction // Proc. IEEE/CVF Conf. Computer Vision and Pattern Recognition. Nashville, TN, USA, 2021. P. 11174–11183.
  35. Zhang B., Hao J., Ma G., Yue J., Shi Z. Semi-paired Probabilistic Canonical Correlation Analysis // Intelligent Information Processing VII. IFIP Advances in Information and Communication Technology. Berlin, Heidelberg: Springer, 2014. V. 432.
  36. Matsuura T., Saito K., Ushiku Y., Harada T. Generalized Bayesian Canonical Correlation Analysis with Missing Modalities // 15th Europ. Conf. Computer Vision (ECCV). Munich, Germany, 2018. V. 11134. P. 641–656.
  37. Li P., Chen S. Shared Gaussian Process Latent Variable Model for Incomplete Multiview Clustering // IEEE Trans. Cybernetics. 2018. V. 50. № 1. P. 61–73.
  38. Kamada C., Kanezaki A., Harada T. Probabilistic Semi-canonical Correlation Analysis // Proc. 23rd ACM Intern. Conf. Multimedia. Brisbane, Australia, 2015. P. 1131–1134.
  39. Wang C. Variational Bayesian Approach to Canonical Correlation Analysis // IEEE Trans. Neural Networks. 2007. V. 18. № 3. P. 905–910.
  40. Kimura A., Sugiyama M., Nakano T., Kameoka H., Sakano H., Maeda E., Ishiguro K. SemiCCA: Efficient Semi-supervised Learning of Canonical Correlations // Information and Media Technologies. 2013. V. 8. № 2. P. 311–318.
  41. Luo Y., Tao D., Ramamohanarao K., Xu C., Wen Y. Tensor Canonical Correlation Analysis for Multiview Dimension Reduction // IEEE Trans. Knowledge and Data Engineering. 2015. V. 27. № 11. P. 3111–3124.
  42. Wong H., Wang L., Chan R., Zeng T. Deep Tensor CCA for Multiview Learning // IEEE Trans. Big Data. 2021. V. 8. P. 1664–1677.
  43. Cheng M., Jing L., Ng M.K. Tensor-based Low-dimensional Representation Learning for Multiview Clustering // IEEE Trans. Image Processing. 2018. V. 28. № 5. P. 2399–2414.
  44. Zhang C., Fu H., Liu S., Liu G., Cao X. Low-rank Tensor Constrained Multiview Subspace Clustering // Proc. IEEE Intern. Conf. Computer Vision. Santiago, Chile, 2015. P. 1582–1590.
  45. Wu J., Lin Z., Zha H. Essential Tensor Learning for Multiview Spectral Clustering // IEEE Trans. Image Processing. 2019. V. 28. № 12. P. 5910–5922.
  46. Carroll J. Generalization of Canonical Correlation Analysis to Three or More Sets of Variables // Proc. 76th Annual Convention of the American Psychological Association. 1968. V. 3. P. 227–228.
  47. Chen J., Wang G., Giannakis G.B. Graph Multiview Canonical Correlation Analysis // IEEE Trans. Signal Processing. 2019. V. 67. № 11 P. 2826–2838.
  48. Nie F., Li J., Li X. Self-weighted Multiview Clustering with Multiple Graphs // Intern. Joint Conf. Artificial Intelligence. Melbourne, Australia, 2017. P. 2564–2570.
  49. Fan K. On a Theorem of Weyl Concerning Eigenvalues of Linear Transformations // Proc. National Academy of Sciences. 1949. V. 35. № 11. P. 652–655.
  50. van Breukelen M., Duin R.P.W., Tax D.M.J., den Hartog J.E. Handwritten Digit Recognition by Combined Classifiers // Kybernetika. 1998. V. 34. № 4. P. 381–386.
  51. Greene D. 3 Sources Dataset // Электронный ресурс: http://erdos.ucd.ie/datasets/3sources.html. Дата доступа: 7 января 2023 г.
  52. Greene D., Cunningham P. Practical Solutions to the Problem of Diagonal Dominance in Kernel Document Clustering // Proc. 23rd Intern. Conf. Machine Learning. Pittsburgh, PA, USA, 2006. P. 377–384.
  53. Samaria F.S., Harter A.C. Parameterisation of a Stochastic Model for Human Face Identification // Proc. IEEE Workshop on Applications of Computer Vision. Sarasota, FL, USA, 1994. P. 138–142.
  54. Zhao H., Liu H., Fu Y. Incomplete Multi-modal Visual Data Grouping // Proc. Intern. Joint Conf. Artificial Intelligence. N.Y., USA, 2016. P. 2392–2398.
  55. Xie Y., Gu S., Liu Y., Zuo W., Zhang W., Zhang L. Weighted Schatten p-norm Minimization for Image Denoising and Background Subtraction // IEEE Trans. Image Processing. 2016. V. 25. № 10. P. 4842–4857.

Дополнительные файлы


© Х. Жанг, С. Чен, Ю. Жу, И.А. Матвеев, 2023

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».