Forecasting the spatiotemporal dynamics of the auroral oval using machine learning

Full Text

Введение. Магнитосфера Земли эффективно защищает ее поверхность от высокоэнергетических частиц, за исключением полярных областей, где геомагнитное поле вновь соединяется с полем солнечного ветра. Это повторное соединение вызывает проникновение заряженных частиц в атмосферу, нагревая и заряжая нейтральные атомы, производя ионы и электроны в ионосфере. Во время различных событий на Солнце (вспышки, выбросы корональной массы и т.д.) Земли достигает больше заряженных частиц. Кроме того, давление солнечного ветра искажает форму магнитосферы, позволяя большему количеству заряженных частиц проникать в атмосферу и вызывая магнитные бури и подбури. И те, и другие проявляются в полярных областях, как авроры (свечение заряженных атомов атмосферы), нагревая ионосферу и порождая электрические токи и неоднородности различных масштабов в ней [1].

Ионосферные неоднородности влияют на работу систем связи на дальние расстояния, навигацию, локацию, связь между спутниками и землей, затрудняя или делая ее невозможной. Также они оказывают значительное влияние на изменение электромагнитной индукции в Земле, в частности на поведение геомагнитно-индуцированных токов (ГИТ) [2, 3]. Влияние ионосферных неоднородностей различно на разных широтах, и области авроральных овалов под воздействием солнечного ветра индуцируют потоки поверхностных электрических полей, движущихся в направлении с востока на запад [4]. Таким образом, возникает потребность в обнаружении и прогнозировании перемещения аврорального овала, чтобы быть осведомленными в области их возможного влияния в определенные периоды времени.

Неоднородности малого масштаба, среди прочего, вызывают частые изменения полного электронного содержания (total electron content, TEC), измеряемого на пути от спутника к приемнику. Характер изменений TEC рассчитывается по коэффициенту, именуемому ROTI (Rate of TEC Index). ROTI определяется по следующей формуле:

$ROTI=\sqrt{\frac{1}{N}\sum _{m=n-\frac{N}{2}}^{n+\frac{N}{2}-1}{(RO{T}_m-\overline{RO{T}_m})}^2}, RO{T}_m=∆I/∆t$.

Здесь ∆I обозначает изменение TEC во времени ∆t, которое представляет собой временное разрешение измерений (обычно 30 с). Расчет ROTI выполняется на 5-минутном временном интервале. ROTI для определенного времени включает ROTI из интервала ± 2,5 мин, примыкающего к этому времени.

На основе TEC и карт полного ночного неба был создан метод, результатом которого является изображение с обнаруженным на нем авроральным овалом [5]. Однако неоднородности не являются статичными и через определенный промежуток времени могут создать помехи в других областях или выйти из зоны покрытия спутников. Таким образом, целью работы является прогнозирование перемещения авроральных овалов, используя набор изображений на определенном промежутке времени.

Для решения подобных задач используются методы компьютерного зрения, в частности, данная задача может рассматриваться как задача прогнозирования следующего кадра (Next-Frame Prediction) [6].

Прогнозирующее обучение предсказывает возможные события путем анализа имеющейся информации. Существуют несколько практических приложений, где используется предиктивное обучение [7]. Для подобного типа обучения используют рекуррентные сети. Рекуррентные сети подходят для поиска закономерностей в последовательных данных, например, для автомобильного трафика [8], прогнозирования погоды [9] или движений человека [10].

Обучение сети происходит последовательно, согласно временной последовательности изображений. Сеть находит последовательность изменений пикселей между изображениями. Кроме того, для конкретного изображения связь между пикселями является важным фактором, который необходимо учитывать при прогнозировании следующего кадра.

Ключевой признак может быть извлечен из пространственной структуры изображения по положению, внешнему виду и форме объекта. В работе [7] предлагается разделение сетей для предсказания следующего кадра на две архитектуры: «последовательность-один» и «последовательность-последовательность».

В первой архитектуре входными данными для модели глубокого обучения является набор кадров в порядке временных шагов от t до t + k. Предсказанием является следующий кадр [11-14].

Для второй архитектуры входными данными являются временные кадры, которые отдельно подаются в нейронную сеть [15-17]. В частности, кадр с временным шагом t подается на вход модели глубокого обучения, а предсказанием является следующий кадр с временным шагом t + k. Эта операция выполняется непрерывно, пока модель глубокого обучения не получит кадр на (t + k)-м временном шаге.

Иными словами, архитектура «последовательность-один» фокусируются на пространственной структуре из набора входных кадров, в то время как архитектуры «последовательность-последовательность» фокусируются на факторе временной последовательности.

Были рассмотрены несколько реализаций на основе сети CNN (Convolutional neural networks) и архитектуры LSTM (Long short-term memory).

Работа «VideoPredictionICLR2016» является представителем архитектуры «последовательность-один». Авторы этой работы [13] обучают сверточную сеть генерировать будущие кадры с учетом входной последовательности. Чтобы справиться с изначально размытыми прогнозами, полученными с помощью стандартной функции потерь среднеквадратичной ошибки (MSE), авторы предлагают три различных и дополнительных стратегии обучения функциям: многомасштабную архитектуру, состязательный метод обучения и функцию потери разницы градиентов изображения. Также авторы сравнивают прогнозы с различными опубликованными результатами, основанными на повторяющихся нейронных сетях в наборе данных UCF101.

Другая работа «Video Frame Synthesis using Deep Voxel Flow» [12] также имеет архитектуру «последовательность-один» и решает проблему синтеза новых видеокадров в существующем видео либо между существующими кадрами (интерполяция), либо после них (экстраполяция). Авторы обучают сеть, которая учится синтезировать видеокадры, передавая значения пикселей из существующих, что они называют глубоким потоком вокселей.

Принцип работы состоит в том, что DVF учится синтезировать целевой кадр из входного видео. Целевой кадр может быть промежуточным (интерполяция) или последующим (экстраполяция) входным видео. DVF использует архитектуру полностью сверточного кодера-декодера, содержащую три сверточных слоя, три уровня деконволюции и один слой узкого места. Единственное, что нужно для контроля DVF, – это синтезируемый целевой кадр.

В следующей работе PredRNN++ [18], которая является представителем архитектуры «последовательность-последовательность», предложена рекуррентная сеть для пространственно-временного прогнозирующего обучения. Авторы в своей работе использовали рекуррентную структуру под названием Causal LSTM с каскадной двойной памятью, а также блок Gradient Highway Unit, который обеспечивает альтернативные быстрые маршруты для градиентных потоков от выходов обратно к длинным предыдущим входам.

В работе Folded Recurrent Neural Networks [19], также придерживающейся архитектуры «последовательность-последовательность», использованы биективные рекуррентные блоки с управлением (bGRU). Стандартные GRU обновляют состояние, выставляемое, как выход с учетом входа. Авторы работы расширяют их, рассматривая вход, как другое рекуррентное состояние, и обновляют его с учетом выхода, используя дополнительный набор логических ворот. Укладка нескольких таких слоев приводит к рекуррентному автокодировщику: операторы, обновляющие выходы, составляют кодер, а те, что обновляют входы, образуют декодер. Состояния кодера и декодера являются общими, представление расслаивается в процессе обучения: некоторая информация не передается следующим слоям. Авторы используют только кодер или декодер для кодирования или предсказания. Это снижает вычислительные затраты и позволяет избежать повторного кодирования предсказаний при генерации нескольких кадров. Кроме того, можно удалять слои из обученной модели, что позволяет понять роль каждого слоя.

Несмотря на имеющиеся преимущества у этих работ, они также имеют ряд недостатков. Во-первых, в них используются устаревшая версия библиотеки TensorFlow, что делает невозможным доработку этих работ без полного или частичного переписывания изначального кода. Во-вторых, наборы данных, на которых тестировались работы, рассчитаны на определение человеческих движений или физики объекта, что не совсем подходит для решения нашей задачи.

Однако, методы, на которых основаны эти работы, могут быть использованы и в этом случае, но с определенной спецификой. Поскольку данные, которыми мы располагаем, являются своего рода временным рядом, то для них существует подходящий метод – ConvLSTM [9].

Convolutional LSTM-архитектуры объединяют обработку временных рядов и компьютерное зрение путем внедрения конволюционной рекуррентной ячейки в слой LSTM.

Методы. Для данного исследования использовались данные в виде набора изображений за определенные дни, которые являются совмещением данных TEC и данных карт полного ночного неба [5]. Эти данные, собранные за последовательные периоды времени, можно охарактеризовать, как временной ряд. В таких случаях подходящим подходом является использование модели на основе LSTM (Long Short Term Memory) [20], архитектуры рекуррентной нейронной сети. Математически ее можно представить следующим образом:

$$\begin{gathered} f_t={\sigma }_g\left(W_f{x}_t+U_f{h}_{t-1}+b_f\right), \\ {i}_t={\sigma }_g\left(W_i{x}_t+U_i{h}_{t-1}+b_i\right), \\ {o}_t={\sigma }_g\left(W_o{x}_t+U_o{h}_{t-1}+b_o\right), \\ {c}_t=f_t\circ c_{t-1}+i_t\circ {\sigma }_c\left(W_c{x}_t+U_c{h}_{t-1}+b_c\right), \\ {h}_t=o_t\circ {\sigma }_{c_t}, \end{gathered}$$

где x_t – входной вектор, h_t – выходной вектор, c_t – вектор состояний, W, U, b – матрицы и вектор параметров, f_t – вес забывания старой информации, i_t – вес получения новой информации, o_t – кандидат на выход, σ_g – функция активации на основе сигмоиды, σ_c – на основе гиперболического тангенса. В такой архитектуре модель передает предыдущее скрытое состояние на следующий шаг последовательности. Таким образом, сеть хранит информацию о предыдущих данных и использует их для принятия решений.

При работе с изображениями лучшим подходом является архитектура CNN (Convolutional Neural Network) [21]. Изображение проходит через конволюционные слои, в которых несколько фильтров извлекают важные особенности. После последовательного прохождения нескольких конволюционных слоев выходной сигнал подключается к полносвязной плотной сети.

С такими последовательными изображениями одним из использованных подходов являлось использование слоев ConvLSTM. Математическое описание модели LSTM со сверточным слоем можно представить следующим образом:

$$\begin{gathered} f_t={\sigma }_g\left(W_f*x_t+U_f*h_{t-1}+V_f\circ c_{t-1}+b_f\right), \\ {i}_t={\sigma }_g\left(W_i*x_t+U_i*h_{t-1}+V_i\circ c_{t-1}+b_i\right), \\ {o}_t={\sigma }_g\left(W_o*x_t+U_o*h_{t-1}+V_o\circ c_{t-1}+b_o\right), \\ {c}_t=f_t\circ c_{t-1}+i_t\circ {\sigma }_c\left(W_c*x_t+U_c*h_{t-1}+b_c\right), \\ {h}_t=o_t\circ {\sigma }_{c_t}, \end{gathered}$$

где * обозначает свертку. Это рекуррентный слой, как и LSTM, но внутренние матричные умножения заменены операциями свертки. В результате данные, проходящие через ячейки ConvLSTM, сохраняют размерность входа, а не являются просто одномерным вектором с признаками.

Для обработки данных была решено использовать реализацию этих методов в библиотеке Keras. Для создания датасета используются несколько наборов из шестнадцати кадров с разрешением 320 × 320 пикселей. Наборы данных загружались в фреймворк с последующим созданием и предварительной обработкой обучающих и проверочных датасетов, которые имели соотношение 90 обучающих к 10 тестовым. На рисунке 1 представлены подготовленные данные.

 

Рис. 1. Подготовленные данные для обучения сети

 

Для предсказания следующего кадра модель использует предыдущий кадр, который называется f_n, для прогнозирования нового кадра, называемого f_{n + 1}. Чтобы модель могла создавать эти прогнозы, данные обработаны так, чтобы были «смещенные» входы и выходы, где входные данные – это кадр x_n, используемый для прогнозирования кадра y_{n + 1}.

Для построения конволюционной LSTM-модели используется слой ConvLSTM2D, который принимает входные данные и возвращает прогноз кадра той же формы, то есть сначала строятся 3 слоя «ConvLSTM2D» с нормализацией пакетов, затем слой «Conv3D» для пространственно-временных выходов. После построения модели и подготовки данных определяются параметры и начинается обучение модели.

Для оценки точности полученных результатов было решено использовать Индекс структурного сходства (SSIM). Метрика индекса структурного сходства извлекает из изображения 3 ключевые характеристики: яркость, контрастность и структуру [22]. Сравнение двух изображений выполняется на основе этих трех характеристик.

Эта система рассчитывает индекс структурного сходства между двумя заданными изображениями, который представляет собой значение от −1 до +1. Значение +1 означает, что два заданных изображения очень похожи или одинаковы, а значение −1 означает, что эти два изображения очень разные. Часто эти значения корректируются, чтобы быть в диапазоне [0, 1], где крайние значения имеют одинаковое значение.

Результаты. После построения и обучения модели, генерируется несколько примеров прогнозирования кадров на основе набора кадров. Выбирается случайный пример из проверочного набора и из него первые два кадра. После этого модель спрогнозирует два новых кадра, которые мы можем сравнить с реальными. Результаты представлены в таблице 1 и на рисунке 2.

 

Таблица 1. Результаты прогнозирования

Количество наборов	Количество кадров в наборе	Средняя квадратичная ошибка	Индекс структурного сходства
2	16	0.08804311	0.64
10	16	0.071662135	0.76
20	16	0.03555805	0.81

 

Рис. 2. Реальные кадры (сверху) и прогнозные кадры (снизу)

 

Заключение. В результате работы была выявлена высока практическая эффективность в применении Convolutional LSTM-архитектуры для прогнозирования перемещения авроральных овалов на основе изображений, полученных в системе SIMuRG. В работе был использован сравнительно небольшой набор данных, в дальнейшем планируется его увеличение, что приведет к повышению точности модели.

Чтобы результат прогнозирования имел более очевидное практическое применение, требуется разработка методики обнаружения овала на прогнозируемых изображениях, что является следующим этапом этой работы.

Выполненная работа в сочетании с методом определения овалов может способствовать развитию стабильного подхода к определению и прогнозированию границ районов, характеризующихся возникновением сбоев в работе навигационных систем, большими ошибками позиционирования, которые могут возникать даже в средних широтах во время сильных магнитных бурь, когда авроральный овал смещен к экватору.

Благодарности. Работа выполнена в рамках государственного задания FZZS-2024-0003.

Acknowledgements: the work was carried out within the framework of the state assignment FZZS-2024-0003.

About the authors

Anastasia A. Lebedeva

Sberbank PJSC

Author for correspondence.
Email: garashchenkoaa@mail.ru

Expert in Digital Audit Technologies of the Department of Audit of Supporting Processes

Russian Federation, Irkutsk

Alexander A. Garashchenko

Irkutsk National Research Technical University

Email: garashchenkoaa@mail.ru
SPIN-code: 7466-9182

Junior Researcher

Russian Federation, 83, Lermontov St., Irkutsk, 664074

Denis N. Sidorov

Melentiev Energy Systems Institute of the Siberian Branch of the RAS

Email: contact.dns@gmail.com
SPIN-code: 6049-9314

Chief Researcher at the Department of Applied Mathematics

Russian Federation, 130, Lermontov St., Irkutsk, 664033

References

Supplementary files