izmertechИзмерительная техникаIzmeritel`naya Tekhnika0368-10252949-5237ФГУП "ВНИИФТРИ"10.32446/0368-1025it.2025-1-5-16izmertech-2277Research ArticleК 70-ЛЕТИЮ ВНИИФТРИON THE 70TH ANNIVERSARY OF VNIIFTRIМетод минимизирующих наборов построения тренда во временны́х рядах зашумлённых данных измерений.The minimizing sets method for trend detection in time series of noisy measurement dataБезменовИ. В.BezmenovI. V.

Игорь Витальевич Безменов

 

Igor V. Bezmenov

bezmenov@vniiftri.ruВсероссийский научно-исследовательский институт физико-технических и радиотехнических измеренийРоссияRussian Metrological Institute of Technical Physics and Radio EngineeringRussian Federation202503042025741516Copyright © ФГУП "ВНИИФТРИ", 20252025ФГУП "ВНИИФТРИ"ФГУП "ВНИИФТРИ"https://www.izmt.ru/jour/about/submissions#copyrightNoticehttps://www.izmt.ru/jour/article/view/2277

Рассмотрена проблема обнаружения трендов во временны́х рядах, генерируемых техническими устройствами. Решение этой проблемы тесно связано с проблемой обнаружения грубых измерений (выбросов), которые оказывают негативное влияние на точность оценок различных физических величин. Такие величины получают при решении многих прикладных задач в различных научных областях (космической геодинамике, геодезии и др.), где исходными данными являются наблюдения. Для построения трендов использован предложенный ранее авторский метод на основе условия максимизации объёма данных, очищенных от выбросов и применяемых в последующей обработке. Необходимые для построения тренда опорные значения определяются в результате абсолютно сходящегося итерационного процесса, ядром которого является метод минимизирующих наборов. На каждом этапе итерационного процесса тренд аппроксимируется функцией из заранее определённого функционального класса. Проанализированы аспекты поиска тренда в классе гармонических функций с неизвестными частотами, фазами и амплитудами. Основная сложность решения данной задачи заключается в нелинейной зависимости гармоник от искомых параметров, что не позволяет свести задачу поиска тренда к решению системы линейных уравнений. Для поиска гармоник, аппроксимирующих данные измерений, использован метод сопряжённых градиентов, который обобщён на нелинейные задачи. Эффективность метода проверена на тестовой задаче построения тренда в данных, полученных с помощью компьютерного моделирования.

This article discusses the problem of trend detection in time series generated by technical devices. The solution   to this problem is closely related to the problem of detecting coarse measurements (outliers), which negatively impact the accuracy of estimates of various physical quantities. These are crucial in many applications in various scientific fields in which the input data are observations, such as space geodynamics, geodesy, and others. Previously, the author proposed   a trend-detecting method based on the condition of maximizing the amount of data cleared of outliers and used in further   processing. The reference values used for trend construction are determined as a result of a completely convergent iterative process, the core of which is the minimizing sets method developed earlier by the author. This paper deals with the aspects of trend construction in the class of harmonic functions with unknown frequencies, phases and amplitudes.The main problem of trend construction in such a functional class is the nonlinear dependence of harmonics on the desired parameters, which does not allow to reduce the problem of trend search to the solution of a system of linear equations. The search for harmonics approximating the measurement data is carried out by the conjugate gradients method generalized to nonlinear problems. The efficiency of the method was tested on the test problem of trend construction in the data obtained by computer simulation.

информационно-измерительные системывременны́е рядыпредварительная обработка данныхвыбросыочистка данных от выбросовоптимальное решениеметод минимизирующих наборовinformation and measuring systemstime seriesdata preprocessingoutlierstime series data cleaningoptimal solutionminimaizing sets methodReferencesDach R., Beutler G., Hugentobler U. et al. Time transfer using GPS carrier phase: error propagation and results. Journal of Geodesy, 77(1-2), 1–14 (2003). https://doi.org/10.1007/s00190-002-0296-zDach R., Beutler G., Hugentobler U. et al. Time transfer using GPS carrier phase: error propagation and results. Journal of Geodesy, 77(1-2), 1–14 (2003). https://doi.org/10.1007/s00190-002-0296-zДонченко С. И., Блинов И. Ю., Норец И. Б. и др. Характеристики долговременной нестабильности водородных стандартов частоты и времени нового поколения. Измерительная техника, (1), 35–38 (2020). https://doi.org/10.32446/0368-1025it.2020-1-35-38Donchenko S. I., Blinov I. Y., Norets I. B. et al., Characteristics of the long-term instability of the new-generation hydrogen frequency and time standards. Measurement Techniques, 63(1), 34–37 (2020). https://doi.org/10.1007/s11018-020-01746-8Bernese GNSS Software Version 5.2. Dach R., Lutz S., Walser P., Fridez P. (eds.) Astronomical Institute, University of Bern, Bern Open Publishing, Bern (2015). https://doi.org/10.7892/boris.72297Bernese GNSS Software Version 5.2. Dach R., Lutz S., Walser P., Fridez P. (eds.) Astronomical Institute, University of Bern, Bern Open Publishing, Bern (2015). https://doi.org/10.7892/boris.72297Пасынок С. Л. Повышение точности определения параметров вращения Земли методом комбинирования результатов измерений различных видов в Главном метрологическом центре Государственной службы времени, частоты и определения параметров вращения Земли. Измерительная техника, (1), 39–44 (2020). https://doi.org/10.32446/0368-1025it.2020-1-39-44Pasynok S. L. Increase in the determination accuracy of the Earth’s rotation parameters by combining the results of various types of measurements in the Main Metrological Center of the State service of time, frequency, and earth’s rotation parameters evaluation. Measurement Techniques, 63(1), 38–44 (2020). https://doi.org/10.1007/s11018-020-01747-7Zharov V. E., Pasynok S. L. SAI-VNF VLBI Analysis Center in 2019–2020. International VLBI Service for Geodesy and Astrometry 2019+2020 Biennial Report, Behrend D., Armstrong K. L., Baver K. D. (eds.), NASA/TP-20210021389, 258–259 (2021). https://ivscc.gsfc.nasa.gov/publications/br2019+2020/acsai-vniiftri.pdfZharov V. E., Pasynok S. L. SAI-VNF VLBI Analysis Center in 2019–2020. International VLBI Service for Geodesy and Astrometry 2019+2020 Biennial Report, Behrend D., Armstrong K. L., Baver K. D. (eds.), NASA/TP-20210021389, 258–259 (2021). https://ivscc.gsfc.nasa.gov/publications/br2019+2020/acsai-vniiftri.pdfSchubert E., Weiler M., Zimek A. Outlier detection and trend detection: two sides of the same coin. Proceedings 2015 IEEE International Conference on Data Mining Workshop (ICDMW), Atlantic City, NJ, USA, рр. 40–46 (2015). https://doi.org/10.1109/ICDMW.2015.79Schubert E., Weiler M., Zimek A. Outlier detection and trend detection: two sides of the same coin. Proceedings 2015 IEEE International Conference on Data Mining Workshop (ICDMW), Atlantic City, NJ, USA, рр. 40–46 (2015). https://doi.org/10.1109/ICDMW.2015.79Blazquez-Garcia A., Conde A., Mori U., Lozano J. A. A review on outlier/anomaly detection in time series data. ACM Computing Surveys, 54(3), 1–33 (2021). https://doi.org/10.1145/3444690Blazquez-Garcia A., Conde A., Mori U., Lozano J. A., A review on outlier/anomaly detection in time series data. ACM Computing Surveys, 54(3), 1–33 (2021). https://doi.org/10.1145/3444690Vaniček P. Approximate spectral analysis by least-squares fit. Astrophysics and Space Science, 4(4), 387–391 (1969). https://doi.org/10.1007/BF0065134Vaniček P. Approximate spectral analysis by least-squares fit. Astrophysics and Space Science, 4(4), 387–391 (1969). https://doi.org/10.1007/BF0065134Erten E., Reigber A., Hellwich O. Generation of three-dimensional deformation maps from InSAR data using spectral diversity techniques. ISPRS Journal of Photogrammetry and Remote Sensing, (65), 388–394 (2010). https://doi.org/10.1016/j.isprsjprs.2010.04.005Erten E., Reigber A., Hellwich O. Generation of three-dimensional deformation maps from InSAR data using spectral diversity techniques. ISPRS Journal of Photogrammetry and Remote Sensing, (65), 388–394 (2010). https://doi.org/10.1016/j.isprsjprs.2010.04.005Сосновский А. В. Интерферометрическая обработка данных космических радиолокаторов с синтезированной апертурой при создании цифровых моделей рельефа земной поверхности: состояние и проблемы. Ural Radio Engineering Journal, 4(2), 198–233 (2020). https://doi.org/10.15826/urej.2020.4.2.004Sosnovsky A. V. InSAR data processing in digital elevation models creating tasks: state-of-art and issues. Ural Radio Engineering Journal, 4(2), 198–233 (2020). (In Russ.) https://doi.org/10.15826/urej.2020.4.2.004Bernardi M. S., Africa P. C., de Falco C. et al. On the use of interferometric synthetic aperture radar data for monitoring and forecasting natural hazards. Mathematical Geosciences, (53), 1781–1812 (2021). https://doi.org/10.1007/s11004-021-09948-8Bernardi M.S., Africa P.C., de Falco C., et al. On the use of interferometric synthetic aperture radar data for monitoring and forecasting natural hazards. Mathematical Geosciences, (53), 1781–1812 (2021). https://doi.org/10.1007/s11004-021-09948-8Ma P., Zheng Y., Zhang Z. et al. Building risk monitoring and prediction using integrated multi-temporal InSAR and numerical modeling techniques. International Journal of Applied Earth Observation and Geoinformation, (114), 103076 (2022). https://doi.org/10.1016/j.jag.2022.103076Ma P., Zheng Y., Zhang Z. et al. Building risk monitoring and prediction using integrated multi-temporal InSAR and numerical modeling techniques. International Journal of Applied Earth Observation and Geoinformation, (114), 103076 (2022). https://doi.org/10.1016/j.jag.2022.103076Venmans A. A. M., op de Kelder M., de Jong J. et al. Reliability of InSAR satellite monitoring of buildings near inner city quay walls. Proceedings of the International Association of Hydrological Sciences, (382), 195–199 (2020). https://doi.org/10.5194/piahs-382-195-2020Venmans A. A. M., op de Kelder M., de Jong J. et al. Reliability of InSAR satellite monitoring of buildings near inner city quay walls. Proceedings of the International Association of Hydrological Sciences, (382), 195–199 (2020). https://doi.org/10.5194/piahs-382-195-2020Li M., Wu H., Yang M., et al. Trend Classification of InSAR displacement time series using SAE–CNN. Remote Sensing, 16(1), 54 (2023). https://doi.org/10.3390/rs16010054Li M., Wu H., Yang M. et al. Trend classification of InSAR displacement time series using SAE–CNN. Remote Sensing, 16(1), 54 (2023). https://doi.org/10.3390/rs16010054Zhou C., Gong H., Chen B., et al. InSAR time-series analysis of land subsidence under different land use types in the Eastern Beijing Plain, China. Remote Sensing, 9(4), 380 (2017). https://doi.org/10.3390/rs9040380Zhou C., Gong H., Chen B. et al. InSAR time-series analysis of land subsidence under different land use types in the Eastern Beijing Plain, China. Remote Sensing, 9(4), 380 (2017). https://doi.org/10.3390/rs9040380Kermarrec G., Maddanu F., Klos A. et al. Modeling trends and periodic components in geodetic time series: a unified approach. Journal of Geodesy, 98, 17 (2024). https://doi.org/10.1007/s00190-024-01826-5Kermarrec G., Maddanu F., Klos A. et al. Modeling trends and periodic components in geodetic time series: a unified approach. Journal of Geodesy, 98, 17 (2024). https://doi.org/10.1007/s00190-024-01826-5Chang K.-L., Schultz M. G., Lan X. et al. Trend detection of atmospheric time series: incorporating appropriate uncertainty estimates and handling extreme events. Elementa: Science of the Anthropocene, 9(1), 00035 (2021). https://doi.org/10.1525/elementa.2021.00035Chang K.-L., Schultz M. G., Lan X. et al. Trend detection of atmospheric time series: incorporating appropriate uncertainty estimates and handling extreme events. Elementa: Science of the Anthropocene, 9(1), 00035 (2021). https://doi.org/10.1525/elementa.2021.00035Melek W. W., Lu Z., Kapps A., Fraser W. D. Comparison of trend detection algorithms in the analysis of physiological time series data. IEEE Transactions on Biomedical Engineering, 52(4), 639–651 (2005). https://doi.org/10.1109/TBME.2005.844029Melek W. W., Lu Z., Kapps A., Fraser W. D. Comparison of trend detection algorithms in the analysis of physiological time series data. IEEE Transactions on Biomedical Engineering, 52(4), 639–651 (2005). https://doi.org/10.1109/TBME.2005.844029Mredula M. S., Dey N., Rahman M.S. et al. A review on the trends in event detection by analyzing social media platforms’ data. Sensors, (22), 4531 (2022). https://doi.org/10.3390/s22124531Mredula M. S., Dey N., Rahman M. S. et al. A review on the trends in event detection by analyzing social media platforms’ data. Sensors, (22), 4531 (2022). https://doi.org/10.3390/s22124531Безменов И. В., Наумов А. В., Пасынок С. Л. Эффективный алгоритм устранения выбросов из данных измерений глобальных навигационных спутниковых систем. Измерительная техника, (9), 26–30 (2018). https://doi.org/10.32446/0368-1025it-2018-9-26-30Bezmenov I. V., Naumov A. V., Pasynok S. L. An effective algorithm for elimination of outliers from data measurements of Global Navigation Satellite Systems. Measurement Techniques, 61(9), 878–884 (2018). https://doi.org/10.1007/s11018-018-1518-yБезменов И. В. Метод очистки измерительных данных от выбросов: поиск оптимального решения с минимальным количеством отбракованных результатов измерений. Измерительная техника, (1), 16–23 (2023). https://doi.org/10.32446/0368-1025it.2023-1-16-23Bezmenov I. V. Method of cleaning outliers from measurement data: search for the optimal solution with the minimum number of rejected measured data. Measurement Techniques, 66(1), 14–23 (2023). https://doi.org/10.1007/s11018-023-02184-yBezmenov I. V. Fast algorithm for cleaning highly noisy measurement data from outliers, based on the search for the optimal solution with the minimum number of rejected measurement data. Metascience in Aerospace, 1(1), 110–129 (2024). https://doi.org/10.3934/mina.2024005Bezmenov I. V. Fast algorithm for cleaning highly noisy measurement data from outliers, based on the search for the optimal solution with the minimum number of rejected measurement data. Metascience in Aerospace, 1(1), 110–129 (2024). https://doi.org/10.3934/mina.2024005Bezmenov I. V. Effective algorithms for detection outliers and cycle slip repair in GNSS data measurements. In: Satellite Systems – Design, Modeling, Simulation and Analysis, ed. Nguyen T. M., IntechOpen, London, UK, рр. 177–209 (2021). https://doi.org/10.5772/intechopen.92658Bezmenov I. V. Effective algorithms for detection outliers and cycle slip repair in GNSS data measurements. In: Satellite Systems – Design, Modeling, Simulation and Analysis, ed. Nguyen T. M. IntechOpen, London, UK, рр. 177–209 (2021). https://doi.org/10.5772/intechopen.92658Bezmenov I. V. Trend detection in time series of measurement data in solving problems in space geodynamics and other research areas. Metascience in Aerospace, 1(3), 268–291 (2024). https://doi.org/10.3934/mina.2024012Bezmenov I. V. Trend detection in time series of measurement data in solving problems in space geodynamics and other research areas. Metascience in Aerospace, 1(3), 268–291 (2024). https://doi.org/10.3934/mina.2024012Игнатенко И. Ю., Безменов И. В. Применение алгоритмов устойчивого оценивания при обработке лазерно-локационных измерений. Метрология времени и пространства. Доклады XI Международного симпозиума, Менделеево, 27–29 сентября 2023 г., ФГУП «ВНИИФТРИ», Менделеево, c. 71–81 (2024)Ignatenko I. Yu., Bezmenov I. V. Application of stable estimation algorithms in laser location measurement processing. Metrology of time and space. Reports of the XI International Symposium, Mendeleevo, Russia, 27–29 September 2023, Mendeleevo, FSUE “VNIIFTRI”, рр. 71–81 (2024). (In Russ.)Безменов И. В., Игнатенко И. Ю., Пасынок С. Л. Новые методы достижения перспективного уровня точности координатно-временных измерений. Труды ИПА РАН, (60), 12–20 (2022). https://doi.org/10.32876/ApplAstron.60.12-20Bezmenov I. V., Ignatenko I. Yu., Pasynok S. L. New methods for achieving advanced accuracy in time and coordinate measurements. Transactions of IAA RAS, (60), 12–20 (2022). (In Russ.) https://doi.org/10.32876/ApplAstron.60.12-20Безменов И. В., Дроздов А. Э., Пасынок С. Л. Стратегия поиска выбросов в рядах зашумлённых данных с неизвестным трендом. Измерительная техника, (5), 29–34 (2022). https://doi.org/10.32446/0368-1025it.2022-5-29-34Bezmenov I. V., Drozdov A. E., Pasynok S. L. A Strategy for finding outliers in noisy data series including an unknown trend. Measurement Techniques, 65(5), 339–345 (2022). https://doi.org/10.1007/s11018-022-02085-6Самарский А. А., Николаев Е. С. Методы решения сеточных уравнений. Наука, Москва (1978).Samarskii A. A., Nikolaev E. S. Numerical methods for grid equations, Birkhäuser Verlag, Basel (1989). https://doi.org/10.1007/978-3-0348-9142-4Цыба Е. Н., Волкова О. А., Вострухов Н. А. Опыт применения автоэнкодеров при решении задач обнаружения аномалий во временных рядах измерительной информации. Альманах современной метрологии, (2(38)), 150–160 (2024).Tsyba E. N., Volkova O. A., Vostrukhov N. A. Experience of using autoencoders in solving problems of detecting anomalies in time series of measurement information. Al’manac of Modern Metrology, 2(38), 150–160 (2024). (In Russ.)

The authors declare that there are no conflicts of interest present.