The use of neural networks for real-time big data analysis

Abstract

The article is devoted to the exploration of the possibilities of using neural networks for real-time big data analysis in the field of information security. The relevance of the topic is due to the rapid growth of generated data volumes, the complexity of cyberattack methods, and the necessity to develop new effective approaches to information protection. The work examines in detail the key tasks addressed using neural network technologies, including anomaly detection in network traffic, prevention of distributed DDoS attacks, classification of malware, and forecasting new cyber threats. Special attention is paid to the unique advantages of neural networks, such as the ability to process extremely large volumes of heterogeneous data, identify complex non-obvious attack patterns, continuously learn and adapt to rapidly changing conditions in the cyber environment. The study utilizes deep learning methods, including convolutional and recurrent neural networks, for big data analysis and cyber threat identification. Approaches for real-time data processing and model robustness assessment are applied. The conducted research demonstrates that modern neural network architectures possess significant potential for revolutionary transformation of information security systems. Key advantages include ultra-high speed of streaming data processing, the capability to detect previously unknown types of attacks through the identification of complex correlations, as well as the ability to predict threats based on historical data analysis. However, the research also revealed serious technological challenges: excessive demand for computational resources to train complex models, the "black box" problem in interpreting decisions, the vulnerability of the neural network models themselves to specialized attacks (adversarial attacks), and ethical aspects of automated decision-making in cybersecurity. Successful implementation cases are presented, including next-generation intrusion detection systems and malware analysis platforms. The authors see promising directions for further research in the development of energy-efficient neural network models, creation of explainable AI methods for security, and advancement of adaptive systems capable of evolving alongside cyber threats. The results obtained are valuable for cybersecurity specialists, developers of protective solutions, and researchers in the field of artificial intelligence.

References

  1. Воронцов К.В. Машинное обучение и искусственные нейронные сети / К.В. Воронцов. – М.: ДМК Пресс, 2020. – 448 с. – ISBN 978-5-97060-799-1.
  2. Горбань А.Н., Дунин-Барковский В.Л. Нейронные сети: обучение, организация и применение / А.Н. Горбань, В.Л. Дунин-Барковский. – М.: ИПРЖР, 2018. – 292 с. – ISBN 978-5-93121-381-8.
  3. Корнеев В.В. Big Data в информационной безопасности: анализ угроз в реальном времени // Прикладная информатика. – 2021. – № 4. – С. 45-58. – doi: 10.25791/pfim.04.2021.1245.
  4. Соколов И.А., Петров Д.Ю. Применение LSTM-сетей для обнаружения DDoS-атак в потоковых данных // Информатика и её применения. – 2022. – Т. 16, № 3. – С. 72-83. – doi: 10.14357/19922264220308.
  5. Иванов А.М., Кузнецов С.П. Интеграция Apache Kafka и нейросетевых моделей для анализа кибератак // Труды международной конференции "Цифровая трансформация-2023". – СПб.: Изд-во Политехнического университета, 2023. – С. 112-125.
  6. Романова О.Л., Тимофеев А.В. Этика искусственного интеллекта в контексте информационной безопасности // Философия и наука. – 2021. – № 12. – С. 64-75. – doi: 10.15372/PS20211206.
  7. Бабичева М.В., Третьяков И.А. Применение методов машинного обучения для автоматизированного обнаружения сетевых вторжений // Вестник Дагестанского государственного технического университета. Технические науки. – 2023. – Т. 50, № 1. – С. 53-61. – doi: 10.21822/2073-6185-2023-50-1-53-61. – EDN: MGBAGF.
  8. Поздняк И.С., Макаров И.С. Модели обнаружения атак с использованием методов машинного обучения // Вестник Российского нового университета. Серия: Сложные системы: модели, анализ и управление. – 2024. – № 1. – С. 99-109. – doi: 10.18137/RNU.V9187.24.01.P.99. – EDN: MNMSYZ.
  9. Бабичева М.В., Третьяков И.А. Применение методов машинного обучения для автоматизированного обнаружения сетевых вторжений // Вестник Дагестанского государственного технического университета. Технические науки. – 2023. – Т. 50, № 1. – С. 53-61. – doi: 10.21822/2073-6185-2023-50-1-53-61. – EDN: MGBAGF.
  10. Харрисон М. Машинное обучение: карманный справочник. Краткое руководство по методам структурированного машинного обучения на Python / Пер. В.А. Коваленко. – СПб.: Диалектика, 2020. – 320 с. – ISBN 978-5-907203-17-4.

Supplementary files

Supplementary Files
Action
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».