Мониторинг отказоустойчивости в распределенных системах

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

Целью данной работы является разработка и верификация модели мониторинга отказоустойчивости и доступности распределенных систем, построенной на основе вероятностных характеристик компонентов и учета зависимых отказов. Современные распределенные системы требуют точных методов прогнозирования отказов, способных учитывать сложные зависимости между узлами и обеспечивать надежную работу при высоких нагрузках. Традиционные подходы, основанные на анализе эмпирических данных, часто оказываются недостаточными для предсказания состояния системы в условиях изменяющейся нагрузки, что ограничивает их применимость. В ходе исследования разработанная вероятностная модель прошла верификацию с использованием численного моделирования и оценки точности через расхождение Кульбака–Лейблера и среднеквадратичную ошибку (MSE), что подтвердило ее точность и практическую ценность. Экспериментально была доказана универсальность модели: она демонстрирует способность адаптироваться к различным типам распределенных систем, обеспечивая точное прогнозирование доступности и отказоустойчивости в реальном времени. Численные эксперименты показали, что предложенная модель может служить надежным инструментом для управления отказоустойчивостью и балансировкой нагрузки. Таким образом, разработанная модель является эффективным решением для повышения надежности распределенных систем и обладает высокой степенью универсальности, что делает ее ценной для широкого спектра применений.

Об авторах

Данил Игоревич Сухоплюев

МИРЭА – Российский технологический университет

Автор, ответственный за переписку.
Email: sukhoplyuev.d.i@edu.mirea.ru
SPIN-код: 3931-0217

аспирант

Россия, Москва

Алексей Николаевич Назаров

Федеральный исследовательский центр «Информатика и управление» Российской академии наук

Email: a.nazarov06@bk.ru
ORCID iD: 0000-0002-0497-0296
SPIN-код: 6032-5302

доктор технических наук, профессор

Россия, Москва

Список литературы

  1. Ермагамбетов Р.Т., Киселев Е.С. Современные системы хранения и обработки больших данных: Hadoop и Apache Spark // Форум молодых ученых. 2018. № 8 (24). С. 229–239. EDN: VLYZSA.
  2. Дзидзава Э.Т., Ахмедов К.М. Большие данные и HADOOP: обзорный доклад // Вестник магистратуры. 2021. № 1-1 (112). С. 30–32. EDN: SCTUXC.
  3. Некратюк А.А., Сафарьян О.А. Использование метода MAPREDUCE в BIG DATA // Молодой исследователь Дона. 2020. № 3 (24). С. 174–179. EDN: WJCAAM.
  4. Татарникова Т.М., Архипцев Е.Д., Кармановский Н.С. Определение размера кластера и числа реплик высоконагруженных информационных систем // Известия высших учебных заведений. Приборостроение. 2023. Т. 66. № 8. С. 646–651. doi: 10.17586/0021-3454-2023-66-8-646-651. EDN: GHKBJE.
  5. Copik M., Calotoiu A., Pengyu Zhou et al. FaaSKeeper: Learning from building serverless services with zookeeper as an example // HPDC’24: Proceedings of the 33rd International Symposium on High-Performance Parallel and Distributed Computing. NY.: Association for Computing Machinery, 2024. Pp. 94–108. doi: 10.1145/3625549.3658661.
  6. Григорян Т.Г. Отказоустойчивые системы и методы их достижения Fault-tolerant systems // Научный аспект. 2024. Т. 26. № 7. С. 3264–3268. EDN: EBZTNN.
  7. Лубков Н.В., Степанянц А.С., Викторова В.С. Надежностные модели и анализ систем с защитой // Автоматика и телемеханика. 2018. № 7. С. 117–137. doi: 10.31857/S000523100000271-2. EDN: YALAPB.
  8. Фокин А.Б. Метод расчета вероятностей связности (коэффициентов готовности) телекоммуникационной сети, поддерживающей механизмы обеспечения отказоустойчивости // Информационные системы и технологии. 2023. № 4 (138). С. 83–91. EDN: CWQJBV.
  9. Aglianò P., Ugolini S. Structural and universal completeness in algebra and logic. doi: 10.48550/arXiv.2309.14151. URL: https://arxiv.org/abs/2309.14151
  10. Лемешко Б.Ю., Лемешко С.Б. Проблемы применения непараметрических критериев согласия в задачах обработки результатов измерений // Системы анализа и обработки данных. 2021. № 2 (82). С. 47–66. doi: 10.17212/2782-2001-2021-2-47-66. EDN: WJARCI.
  11. Хацкевич В.Л. О некоторых экстремальных свойствах средних значений и математических ожиданий случайных величин // Вестник Воронежского государственного технического университета. 2013. Т. 9. № 3-1. С. 39–44. EDN: QCQYVZ.
  12. Гафарова Л.М., Завьялова И.Г., Мустафин Н.Н. Об особенностях применения критерия согласия Пирсона χ2 // Экономические и социально-гуманитарные исследования. 2015. № 4 (8). С. 63–67. EDN: VEIMQN.
  13. Головкина А.Г., Козынченко В.А., Клименко И.С. Метод последовательных приближений для построения модели динамической полиномиальной регрессии // Вестник Санкт-Петербургского университета. Прикладная математика. Информатика. Процессы управления. 2022. Т. 18. № 4. С. 487–500. doi: 10.21638/11701/spbu10.2022.404. EDN: QXVJIL.
  14. Sukhoplyuev D.I., Nazarov A.N. Analysis of application-level load balancing algorithms // Systems of signals generating and processing in the field of on-board communications. Moscow, 2023. Pp. 1–4. doi: 10.1109/IEEECONF56737.2023.10092019.
  15. Альфара A.Ю.А., Королев Д.В., Зайцев К.С., Дунаев М.Е. Разработка системы мониторинга для серверного приложения // International Journal of Open Information Technologies. 2023. Т. 11. № 8. С. 24–31. EDN: OCTBSB.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Рис. 1. Формальная архитектура NameNode – DataNode в Apache Hadoop (Источник: https://www.analyticsvidhya.com/blog/2022/05/workings-of-hadoop-distributed-filesystem-hdfs/)

Скачать (203KB)
3. Рис. 2. Nginx балансировщик нагрузки (Источник: https://coderpad.io/blog/development/how-to-configure-different-load-balancing-algorithms-on-nginx/)

Скачать (216KB)


Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».