The minimizing sets method for trend detection in time series of noisy measurement data

封面

如何引用文章

全文:

开放存取 开放存取
受限制的访问 ##reader.subscriptionAccessGranted##
受限制的访问 订阅存取

详细

This article discusses the problem of trend detection in time series generated by technical devices. The solution   to this problem is closely related to the problem of detecting coarse measurements (outliers), which negatively impact the accuracy of estimates of various physical quantities. These are crucial in many applications in various scientific fields in which the input data are observations, such as space geodynamics, geodesy, and others. Previously, the author proposed   a trend-detecting method based on the condition of maximizing the amount of data cleared of outliers and used in further   processing. The reference values used for trend construction are determined as a result of a completely convergent iterative process, the core of which is the minimizing sets method developed earlier by the author. This paper deals with the aspects of trend construction in the class of harmonic functions with unknown frequencies, phases and amplitudes.The main problem of trend construction in such a functional class is the nonlinear dependence of harmonics on the desired parameters, which does not allow to reduce the problem of trend search to the solution of a system of linear equations. The search for harmonics approximating the measurement data is carried out by the conjugate gradients method generalized to nonlinear problems. The efficiency of the method was tested on the test problem of trend construction in the data obtained by computer simulation.

作者简介

I. Bezmenov

Russian Metrological Institute of Technical Physics and Radio Engineering

Email: bezmenov@vniiftri.ru

参考

  1. Dach R., Beutler G., Hugentobler U. et al. Time transfer using GPS carrier phase: error propagation and results. Journal of Geodesy, 77(1-2), 1–14 (2003). https://doi.org/10.1007/s00190-002-0296-z
  2. Донченко С. И., Блинов И. Ю., Норец И. Б. и др. Характеристики долговременной нестабильности водородных стандартов частоты и времени нового поколения. Измерительная техника, (1), 35–38 (2020). https://doi.org/10.32446/0368-1025it.2020-1-35-38
  3. Bernese GNSS Software Version 5.2. Dach R., Lutz S., Walser P., Fridez P. (eds.) Astronomical Institute, University of Bern, Bern Open Publishing, Bern (2015). https://doi.org/10.7892/boris.72297
  4. Пасынок С. Л. Повышение точности определения параметров вращения Земли методом комбинирования результатов измерений различных видов в Главном метрологическом центре Государственной службы времени, частоты и определения параметров вращения Земли. Измерительная техника, (1), 39–44 (2020). https://doi.org/10.32446/0368-1025it.2020-1-39-44
  5. Zharov V. E., Pasynok S. L. SAI-VNF VLBI Analysis Center in 2019–2020. International VLBI Service for Geodesy and Astrometry 2019+2020 Biennial Report, Behrend D., Armstrong K. L., Baver K. D. (eds.), NASA/TP-20210021389, 258–259 (2021). https://ivscc.gsfc.nasa.gov/publications/br2019+2020/acsai-vniiftri.pdf
  6. Schubert E., Weiler M., Zimek A. Outlier detection and trend detection: two sides of the same coin. Proceedings 2015 IEEE International Conference on Data Mining Workshop (ICDMW), Atlantic City, NJ, USA, рр. 40–46 (2015). https://doi.org/10.1109/ICDMW.2015.79
  7. Blazquez-Garcia A., Conde A., Mori U., Lozano J. A. A review on outlier/anomaly detection in time series data. ACM Computing Surveys, 54(3), 1–33 (2021). https://doi.org/10.1145/3444690
  8. Vaniček P. Approximate spectral analysis by least-squares fit. Astrophysics and Space Science, 4(4), 387–391 (1969). https://doi.org/10.1007/BF0065134
  9. Erten E., Reigber A., Hellwich O. Generation of three-dimensional deformation maps from InSAR data using spectral diversity techniques. ISPRS Journal of Photogrammetry and Remote Sensing, (65), 388–394 (2010). https://doi.org/10.1016/j.isprsjprs.2010.04.005
  10. Сосновский А. В. Интерферометрическая обработка данных космических радиолокаторов с синтезированной апертурой при создании цифровых моделей рельефа земной поверхности: состояние и проблемы. Ural Radio Engineering Journal, 4(2), 198–233 (2020). https://doi.org/10.15826/urej.2020.4.2.004
  11. Bernardi M. S., Africa P. C., de Falco C. et al. On the use of interferometric synthetic aperture radar data for monitoring and forecasting natural hazards. Mathematical Geosciences, (53), 1781–1812 (2021). https://doi.org/10.1007/s11004-021-09948-8
  12. Ma P., Zheng Y., Zhang Z. et al. Building risk monitoring and prediction using integrated multi-temporal InSAR and numerical modeling techniques. International Journal of Applied Earth Observation and Geoinformation, (114), 103076 (2022). https://doi.org/10.1016/j.jag.2022.103076
  13. Venmans A. A. M., op de Kelder M., de Jong J. et al. Reliability of InSAR satellite monitoring of buildings near inner city quay walls. Proceedings of the International Association of Hydrological Sciences, (382), 195–199 (2020). https://doi.org/10.5194/piahs-382-195-2020
  14. Li M., Wu H., Yang M., et al. Trend Classification of InSAR displacement time series using SAE–CNN. Remote Sensing, 16(1), 54 (2023). https://doi.org/10.3390/rs16010054
  15. Zhou C., Gong H., Chen B., et al. InSAR time-series analysis of land subsidence under different land use types in the Eastern Beijing Plain, China. Remote Sensing, 9(4), 380 (2017). https://doi.org/10.3390/rs9040380
  16. Kermarrec G., Maddanu F., Klos A. et al. Modeling trends and periodic components in geodetic time series: a unified approach. Journal of Geodesy, 98, 17 (2024). https://doi.org/10.1007/s00190-024-01826-5
  17. Chang K.-L., Schultz M. G., Lan X. et al. Trend detection of atmospheric time series: incorporating appropriate uncertainty estimates and handling extreme events. Elementa: Science of the Anthropocene, 9(1), 00035 (2021). https://doi.org/10.1525/elementa.2021.00035
  18. Melek W. W., Lu Z., Kapps A., Fraser W. D. Comparison of trend detection algorithms in the analysis of physiological time series data. IEEE Transactions on Biomedical Engineering, 52(4), 639–651 (2005). https://doi.org/10.1109/TBME.2005.844029
  19. Mredula M. S., Dey N., Rahman M.S. et al. A review on the trends in event detection by analyzing social media platforms’ data. Sensors, (22), 4531 (2022). https://doi.org/10.3390/s22124531
  20. Безменов И. В., Наумов А. В., Пасынок С. Л. Эффективный алгоритм устранения выбросов из данных измерений глобальных навигационных спутниковых систем. Измерительная техника, (9), 26–30 (2018). https://doi.org/10.32446/0368-1025it-2018-9-26-30
  21. Безменов И. В. Метод очистки измерительных данных от выбросов: поиск оптимального решения с минимальным количеством отбракованных результатов измерений. Измерительная техника, (1), 16–23 (2023). https://doi.org/10.32446/0368-1025it.2023-1-16-23
  22. Bezmenov I. V. Fast algorithm for cleaning highly noisy measurement data from outliers, based on the search for the optimal solution with the minimum number of rejected measurement data. Metascience in Aerospace, 1(1), 110–129 (2024). https://doi.org/10.3934/mina.2024005
  23. Bezmenov I. V. Effective algorithms for detection outliers and cycle slip repair in GNSS data measurements. In: Satellite Systems – Design, Modeling, Simulation and Analysis, ed. Nguyen T. M., IntechOpen, London, UK, рр. 177–209 (2021). https://doi.org/10.5772/intechopen.92658
  24. Bezmenov I. V. Trend detection in time series of measurement data in solving problems in space geodynamics and other research areas. Metascience in Aerospace, 1(3), 268–291 (2024). https://doi.org/10.3934/mina.2024012
  25. Игнатенко И. Ю., Безменов И. В. Применение алгоритмов устойчивого оценивания при обработке лазерно-локационных измерений. Метрология времени и пространства. Доклады XI Международного симпозиума, Менделеево, 27–29 сентября 2023 г., ФГУП «ВНИИФТРИ», Менделеево, c. 71–81 (2024)
  26. Безменов И. В., Игнатенко И. Ю., Пасынок С. Л. Новые методы достижения перспективного уровня точности координатно-временных измерений. Труды ИПА РАН, (60), 12–20 (2022). https://doi.org/10.32876/ApplAstron.60.12-20
  27. Безменов И. В., Дроздов А. Э., Пасынок С. Л. Стратегия поиска выбросов в рядах зашумлённых данных с неизвестным трендом. Измерительная техника, (5), 29–34 (2022). https://doi.org/10.32446/0368-1025it.2022-5-29-34
  28. Самарский А. А., Николаев Е. С. Методы решения сеточных уравнений. Наука, Москва (1978).
  29. Цыба Е. Н., Волкова О. А., Вострухов Н. А. Опыт применения автоэнкодеров при решении задач обнаружения аномалий во временных рядах измерительной информации. Альманах современной метрологии, (2(38)), 150–160 (2024).

补充文件

附件文件
动作
1. JATS XML
下载

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».