izmertechИзмерительная техникаIzmeritel`naya Tekhnika0368-10252949-5237ФГУП "ВНИИФТРИ"10.32446/0368-1025it.2022-5-29-34izmertech-1572Research ArticleИЗМЕРЕНИЯ В ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЯХMEASUREMENTS IN INFORMATION TECHNOLOGIESCтратегия поиска выбросов в рядах зашумлённых данных c неизвестным трендомA strategy for finding outliers in noisy data series including an unknown trendБезменовИ. В.BezmenovI. V.

Игорь Витальевич Безменов

г. п. Менделеево, Московская обл.

Igor V. Bezmenov

Mendeleevo, Moscow Region

bezmenov@vniiftri.ruДроздовА. Э.DrozdovA. E.

Алексей Эдуардович Дроздов

г. п. Менделеево, Московская обл.

 Aleksey E. Drozdov

Mendeleevo, Moscow Region

drozdov@vniiftri.ruПасынокС. Л.PasynokS. L.

 Сергей Леонидович Пасынок

г. п. Менделеево, Московская обл.

Sergey L. Pasynok

Mendeleevo, Moscow Region

pasynok@vniiftri.ruВсероссийский научно-исследовательский институт физико-технических и радиотехнических измеренийРоссияRussian Metrological Institute of Technical Physics and Radio EngineeringRussian FederationВсероссийский научно-исследовательский институт физико-технических и радиотехнических измеренийRussian Federation202202052023052934Copyright © ФГУП "ВНИИФТРИ", 20232023ФГУП "ВНИИФТРИ"ФГУП "ВНИИФТРИ"https://www.izmt.ru/jour/about/submissions#copyrightNoticehttps://www.izmt.ru/jour/article/view/1572

Рассмотрена проблема обнаружения грубых измерений (выбросов) при автоматизированной обработке рядов измерительных данных, полученных от технических устройств. Предложена модификация разработанной ранее первым из авторов стратегии детектирования выбросов во временных рядах зашумлённых данных, содержащих неизвестный тренд. Ранее разработанная стратегия состоит из двух этапов: построения тренда и применения к остаткам, полученным после вычитания найденного тренда из данных измерений, алгоритма поиска оптимального решения. Поиск тренда осуществляется в классе степенных полиномов с помощью метода наименьших квадратов по наборам опорных значений, количество которых задаётся заранее. Алгоритм поиска тренда осуществляется с помощью абсолютно сходящегося итерационного процесса и основан на методе минимизирующих последовательностей (наборов). При реализации ранее разработанной стратегии необходимо задать общее количество опорных значений, по которым строится тренд, что может исказить определение тренда и детектирование выбросов. В предложенной стратегии исправлен указанный недостаток: число опорных значений выбирается из условия минимизации количества обнаруженных выбросов с одной стороны, и из условия максимизации числа опорных значений – с другой. Приведены результаты численного тестирования на реальных данных для спутниковых лазерных дальномерных измерений. Разработанную стратегию можно применять для обнаружения и устранения выбросов из временных рядов измерительных данных на стадии их предварительной обработки.

One of the problems related to detection of coarse measurements (outliers) in automated processing of data series measured in technical devices has been considered. A modifi cation of the strategy developed by the fi rst author for detecting outliers in time series of noisy data containing an unknown trend is proposed. The previously developed strategy consists of two steps: fi nding a trend and applying to the residues obtained after subtracting the found trend from the measurement data, an algorithm for fi nding the optimal solution. The search for a trend is carried out in the power polynomials class by means of the least squares method using sets with preset number of reference values. The trend search algorithm is carried out using a completely convergent iterative process and is based on the method of minimizing sequences (sets). The disadvantage of this strategy is the need to set a priori the total number of reference values by which the trend is built, which can lead to a distorted determination of the trend and incorrect detection of outliers. In the proposed strategy, the number of reference values is selected from the condition of minimizing the number of detected outliers on the one hand, and from the condition of maximizing the numberof reference values on the other. The results of numerical testing on real data for satellite laser range fi nding measurements are given. The proposed strategy can be used to detect and eliminate outliers from time series of data at the stage of their preliminary processing.

временные рядыпредварительная обработка данныхвыбросычистка данных от выбросовоптимальное решениеминимизирующие наборыtime seriesdata preprocessingoutliersdata cleaningoptimal solutionminimizing setsReferencesInternational GNSS Service, available at: http://www.igs.org/network (accessed: 05.04.2022).International GNSS Service, available at: http://www.igs.org/network (accessed: 05.04.2022).Пасынок С. Л., Безменов И. В., Игнатенко И. Ю., Иванов В. С., Цыба Е. Н., Жаров В. Е. Текущие работы ГМЦ ГСВЧ в части определения ПВЗ // Труды ИПА РАН. 2021. Вып. 57. С. 28–33. https://doi.org/10.32876/ApplAstron.57.28-33Pasynok S. L., Bezmenov I. V., Ignatenko I. Yu., Ivanov V. S., Tsyba E. N., Zharov V. E., Transactions IAA RAS, 2021, iss. 57, pp. 28–33. (In Russ.) https://doi.org/10.32876/ApplAstron.57.28-33Bernese GNSS Software Version 5.2. User manual, ed. Dach R., Lutz S., Walser P., Fridez P., Astronomical Institute, University of Bern, Bern Open Publishing, 2015. https://doi.org/10.7892/boris.72297Bernese GNSS Software Version 5.2. User manual, ed. Dach R., Lutz S., Walser P., Fridez P., Astronomical Institute, University of Bern, Bern Open Publishing, 2015. https://doi.org/10.7892/boris.72297Безменов И. В., Блинов И. Ю. Теоретические основы построения моделей для описания современных шкал времени и стандартов частоты. Менделеево: ВНИИФТРИ, 2015. 528 с.Bezmenov I. V., Blinov I. Yu., Teoreticheskie osnovy postroenija modelej dlja opisanija sovremennyh shkal vremeni i standartov chastoty [Theoretical foundations for model construction to describe modern time scales and frequency standards], Mendeleevo, VNIIFTRI Publ., 2015, 528 p. (In Russ.)Mehlstäubler T. E., Grosche G., Lisdat C., Schmidt P. O., Denker H., Reports on Progress in Physics, 2018, vol. 81, no. 6, 064401. https://doi.org/10.1088/1361-6633/aab409Mehlstäubler T. E., Grosche G., Lisdat C., Schmidt P. O., Denker H., Reports on Progress in Physics, 2018, vol. 81, no. 6, 064401. https://doi.org/10.1088/1361-6633/aab409GGOS Requirements for Core Sites (Revision 2) Draft 3.4, available at: https://cddis.nasa.gov/docs/2015/SiteRecDoc_Rev2_D3.4.pdf (accessed: 16.04.2022).GGOS Requirements for Core Sites (Revision 2) Draft 3.4, available at: https://cddis.nasa.gov/docs/2015/SiteRecDoc_Rev2_D3.4.pdf (accessed: 16.04.2022).Blazquez-Garcia A., Conde A., Mori U., Lozano J. A., ACM Computing Surveys, 2021, vol. 54, iss. 3, pp. 1–33. https://doi.org/10.1145/3444690Blazquez-Garcia A., Conde A., Mori U., Lozano J. A., ACM Computing Surveys, 2021, vol. 54, iss. 3, pp. 1–33. https://doi.org/10.1145/3444690Fox A. J., Outliers in Time Series, Journal of the Royal Statistical Society: Series B (Methodological), 1972, vol. 34, no. 3, pp. 350–363.Fox A. J., Outliers in Time Series, Journal of the Royal Statistical Society: Series B (Methodological), 1972, vol. 34, no. 3, pp. 350–363.Basu S., Meckesheimer M., Knowl. Inf. Syst, 2007, vol. 11, no. 2, pp. 137–154. https://doi.org/10.1007/s10115-006-0026-6Basu S., Meckesheimer M., Knowl. Inf. Syst, 2007, vol. 11, no. 2, pp. 137–154. https://doi.org/10.1007/s10115-006-0026-6Mehrang S., Helander E., Pavel M., Chieh A., Korhonen I., 2015 IEEE International Conference on Bioinformatics and Biomedicine (BIBM), Washington, DC, USA, 2015, 9–12 November, IEEE, 2015, pp. 1489–1496. https://doi.org/10.1109/BIBM.2015.7359896Mehrang S., Helander E., Pavel M., Chieh A., Korhonen I., 2015 IEEE International Conference on Bioinformatics and Biomedicine (BIBM), Washington, DC, USA, 2015, 9–12 November, IEEE, 2015, pp. 1489–1496. https://doi.org/10.1109/BIBM.2015.7359896J. Chen, W. Li, A. Lau, J. Cao, and K. Wang, IEEE Transactions on Smart Grid, 2010, vol. 1, no. 2, pp. 213–221. https://doi.org/10.1109/TSG.2010.2053052J. Chen, W. Li, A. Lau, J. Cao, and K. Wang, IEEE Transactions on Smart Grid, 2010, vol. 1, no. 2, pp. 213–221. https://doi.org/10.1109/TSG.2010.2053052Безменов И. В., Наумов А. В., Пасынок С. Л. Эффективный алгоритм устранения выбросов из данных измерений глобальных навигационных спутниковых систем // Измерительная техника. 2018. № 9. С. 26–30. https://doi.org/10.32446/0368-1025it-2018-9-26-30Bezmenov I. V., Naumov A. V., Pasynok S. L., Measurement Techniques, 2018, vol. 61, pp. 878–884. https://doi.org/10.1007/s11018-018-1518-ySinclair A. T., Data Screening and Normal Point Formation, Re-Statement of Herstmonceux Normal Point Recommendation, available at: https://ilrs.cddis.eosdis.nasa.gov/data_and_products/ data/npt/npt_algorithm.html (accessed: 06.04.22).Sinclair A. T., Data Screening and Normal Point Formation, Re-Statement of Herstmonceux Normal Point Recommendation, available at: https://ilrs.cddis.eosdis.nasa.gov/data_and_products/ data/npt/npt_algorithm.html (accessed: 06.04.22).Bezmenov I. V., Eff ective Algorithms for Detection Outliers and Cycle Slip Repair in GNSS Data Measurements, ch. 9 in book: Satellite Systems: Design, Modeling, Simulation and Analysis,. ed. Tien M. Nguyen, IntechOpen, London, UK, 2021, pp. 177–209. https://doi.org/10.5772/intechopen.73789Bezmenov I. V., Effective Algorithms for Detection Outliers and Cycle Slip Repair in GNSS Data Measurements, ch. 9 in book: Satellite Systems: Design, Modeling, Simulation and Analysis,. ed. Tien M. Nguyen, IntechOpen, London, UK, 2021, pp. 177–209. https://doi.org/10.5772/intechopen.73789

The authors declare that there are no conflicts of interest present.