izmertechИзмерительная техникаIzmeritel`naya Tekhnika0368-10252949-5237ФГУП "ВНИИФТРИ"10.32446/0368-1025it.2023-10-17-24izmertech-2049Research ArticleОБЩИЕ ВОПРОСЫ МЕТРОЛОГИИ И ИЗМЕРИТЕЛЬНОЙ ТЕХНИКИGENERAL PROBLEMS OF METROLOGY AND MEASUREMENT TECHNIQUESПрименение непараметрической методики проверки гипотезы о независимости случайных величин в условиях большого объёма статистических данныхApplication of a nonparametric technique for testing the hypothesis of independence of random variables in conditions of a large volume of statistical datahttps://orcid.org/0000-0002-0664-3870ЛапкоА. В.LapkoA. V.

Александр Васильевич Лапко - доктор технических наук, профессор, ведущий научный сотрудник Института вычислительного моделирования Сибирского отделения Российской академии наук, заведующий кафедрой космических средств и технологий

Красноярск

Aleksandr V. Lapko

Krasnoyarsk

lapko@icm.krasn.ruhttps://orcid.org/0000-0001-6938-9323ЛапкоВ. А.LapkoV. A.

Василий Александрович Лапко - доктор технических наук, профессор, заслуженный деятель науки РФ, главный научный сотрудник Института вычислительного моделирования Сибирского отделения Российской академии наук, профессор кафедры космических средств и технологий.

Красноярск

Vasiliy A. Lapko

Krasnoyarsk

valapko@yandex.ruБахтинаА. В.BakhtinaA. V.

Анна Валадимировна Бахтина

Красноярск

Anna V. Bakhtina

Krasnoyarsk

anna-denisyuk@yandex.ruИнститут вычислительного моделирования Сибирского отделения РАН; Сибирский государственный университет науки и технологий имени академика М.Ф. РешетнёваРоссияInstitute of Computational Modelling, Siberian Branch of the Russian Academy of Sciences; Reshetnev Siberian State University of Science and TechnologyRussian FederationСибирский государственный университет науки и технологий имени академика М. Ф. РешетнёваРоссияReshetnev Siberian State University of Science and TechnologyRussian Federation2023171120230101724Copyright © ФГУП "ВНИИФТРИ", 20232023ФГУП "ВНИИФТРИ"ФГУП "ВНИИФТРИ"https://www.izmt.ru/jour/about/submissions#copyrightNoticehttps://www.izmt.ru/jour/article/view/2049

Рассмотрена задача проверки гипотезы о независимости случайных величин в условиях больших объёмов статистических данных. Результаты решения задачи необходимы при оценивании плотностей вероятностей случайных величин и синтезе алгоритмов обработки информации. Предложена непараметрическая методика проверки гипотезы о независимости случайных величин в выборке, содержащей большой объём статистических данных. Методика основана на сжатии исходной статистической информации путём декомпозиции области значений случайных величин. Сформированный массив данных состоит из центров интервалов дискретизации и соответствующих им частот принадлежности наблюдений исходной выборки. Полученная информация применена при построении непараметрического алгоритма распознавания образов, соответствующего критерию максимального правдоподобия. Законы распределения в классах оценены в предположении независимости и зависимости сравниваемых случайных величин. При восстановлении законов распределения случайных величин в классах использованы регрессионные оценки плотностей вероятностей. Для этих условий вычислены оценки вероятностей ошибок распознавания образов в классах и по их минимальному значению приняты решения о независимости либо зависимости случайных величин. Методика применена при анализе данных дистанционного зондирования лесных массивов, определены линейные и нелинейные связи между спектральными признаками объектов исследования.

The problem of testing the hypothesis about the independence of random variables in conditions of large volumes of statistical data is considered. The results of solving the problem are necessary when estimating probability densities of random variables and synthesizing information processing algorithms. A nonparametric technique is proposed for testing the hypothesis about the independence of random variables in a sample containing a large amount of statistical data. The technique is based on compression of the initial statistical information by decomposition of the range of values of random variables. The generated data array consists of the centers of sampling intervals and the corresponding frequencies of observations from the original sample. The information obtained is used in the construction of a nonparametric pattern recognition algorithm corresponding to the maximum likelihood criterion. The evaluation of the distribution laws in classes is carried out under the assumption of independence and dependence of the compared random variables. When restoring the laws of distribution of random variables in classes, regression estimates of probability densities are used. Under these conditions, estimates of the probabilities of pattern recognition errors in classes are calculated. According to their minimum value, a decision is made on the independence or dependence of random variables. The technique was applied in the analysis of remote sensing data of forest areas, linear and nonlinear dependencies between pairs of spectral characteristics of the objects of study were determined.

Keywords:

гипотеза о независимости случайных величинпроверка гипотезырегрессионная оценка плотности вероятностираспознавание образовдистанционное зондированиелесные массивыhypothesis of the independence of random variableshypothesis testingregression estimation of probability densitypattern recognitionremote sensingwoodlandsReferencesПугачёв В. С. Теория вероятностей и математическая статистика: учебное пособие. М.: Физматлит, 2002. 496 с.Pugachev V. S., Teoriya veroyatnostej i matematicheskaya statistika [Probability theory and mathematical statistics: study guide], Moscow, Fizmatlit Publ., 2002, 496 p. (In Russ.)Лапко А. В., Лапко В. А., Бахтина А. В. Исследование методики проверки гипотезы о независимости двухмерных случайных величин с использованием непараметрического классификатора // Автометрия. 2021. Т. 57. № 6. С. 90–100. https://doi.org/10.15372/AUT20210610Lapko A. V., Lapko V. A., Bakhtina A. V., Optoelectronics, Instrumentation and Data Processing, 2022, vol. 57, no. 6, pp. 639– 648. https://doi.org/10.3103/S8756699021060078Лапко А. В., Лапко В. А., Бахтина А. В. Применение непараметрического алгоритма распознавания образов в задаче проверки гипотезы о независимости переменных неоднозначных функций // Измерительная техника. 2022. № 1. С. 17–22. https://doi.org/10.32446/0368-1025it.2022-01-17-22Lapko A. V., Lapko V. A., Bakhtina A. V., Measurement Techniques, 2022, vol. 65, no. 1, pp. 17–23. https://doi.org/10.1007/s11018-022-02043-2Лапко А. В., Лапко В. А., Бахтина А. В. Сравнение методики проверки гипотезы о независимости двухмерных случайных величин, основанной на непараметрическом классификаторе // Искусственный интеллект и принятие решений. 2022. № 1. С. 45–56. https://doi.org/10.14357/20718594220105Lapko A. V., Lapko V. A., Bakhtina A. V. Comparison of the methodology for hypothesis testing of the independence of two-dimensional random variables based on a nonparametric classifier. Scientific and Technical Information Processing, 2022, no. 1, pp. 45–56. (In Russ.)Лапко А. В., Лапко В. А. Регрессионная оценка многомерной плотности вероятности и её свойства // Автометрия. 2014. Т. 50. № 2. С. 50–56. https://elibrary.ru/smewvrLapko A. V., Lapko V. A. Optoelectronics, Instrumentation and Data Processing, 2014, vol. 50, no 2, pp. 148–153. https://doi.org/10.3103/S875669901402006XParzen E., Annals of Mathematical Statistics, 1962, vol. 33, nо. 3, pp. 1065–1076. https://doi.org/10.1214/aoms/1177704472Parzen E. Annals of Mathematical Statistics, 1962, vol. 33, nо. 3, pp. 1065–1076. https://doi.org/10.1214/aoms/1177704472Епанечников В. А. Непараметрическая оценка многомерной плотности вероятности // Теория вероятности и её применения. 1969. Т. 14. № 1. С. 156–161.Epanechnikov V. A. Theory of Probability & Its Applications, 1969, vol. 14, no. 1, pp. 156–161. https://doi.org/10.1137/1114019Sturgess H. A., Journal of the American Statistical Association, 1926, vol. 21, pp. 65–66. https://doi.org/10.1080/01621459.1926.10502161Sturgess H. A., Journal of the American Statistical Association, 1926, vol. 21, pp. 65–66. https://doi.org/10.1080/01621459.1926.10502161Heinhold I., Gaede K. W., Ingeniur-Statistic, München, Wien, Springler Verlag, 1964, 352 p. (In German)Heinhold I., Gaede K. W., Ingeniur-Statistic, München, Wien, Springler Verlag, 1964, 352 p. (In German)Лемешко Б. Ю., Чимитова Е. В. О выборе числа интервалов в критериях согласия типа χ2 // Заводская лаборатория. Диагностика материалов. 2003. Т. 69. №. 1. С. 61–67. https://elibrary.ru/sdjqifLemeshko B. Yu., Chimitova E. V., On the selection of the number of intervals in the criteria of agreement of type χ2, Industrial Laboratory. Diagnostics of Materials, 2003, vol. 69, no. 1, pp. 61– 67. (In Russ.)Hacine Gharbi A., Ravier P., Harba R., Mohamadi T., Pattern Recognition Letters, 2012, vol. 33, no. 10, pp. 1302–1308. https://doi.org/10.1016/j.patrec.2012.02.022.Hacine Gharbi A., Ravier P., Harba R., Mohamadi T., Pattern Recognition Letters, 2012, vol. 33, no. 10, pp. 1302–1308. https://doi.org/10.1016/j.patrec.2012.02.022Scott D. W., Multivariate Density Estimation: Theory, Practice, and Visualization, 2nd Edition, NY, John Wiley & Sons, 2015, 384 p.Scott D. W., Multivariate Density Estimation: Theory, Practice, and Visualization, 2nd Edition, NY, John Wiley & Sons, 2015, 384 p.Devroye L., Lugosi G., Test, 2004, vol. 13, no. 1, pp. 129– 145. https://doi.org/10.1007/BF02603004Devroye L., Lugosi G., Test, 2004, vol. 13, no. 1, pp. 129– 145. https://doi.org/10.1007/BF02603004Лапко А. В., Лапко В. А. Оптимальный выбор количества интервалов дискретизации области изменения одномерной случайной величины при оценивании плотности вероятности // Измерительная техника. 2013. № 7. С. 24–27. https://elibrary.ru/rbfsyjLapko A. V., Lapko V. A., Measurement Techniques, 2013, vol. 56, no. 7, pp. 763–767. https://doi.org/10.1007/s11018-013-0279-xЛапко А. В., Лапко В. А. Выбор оптимального количества интервалов дискретизации области значений двухмерной случайной величины // Измерительная техника. 2016. № 2. С. 14–17. https://elibrary.ru/vtytabLapko A. V., Lapko V. A., Measurement Techniques, 2016, vol. 59, no. 2, pp. 122–126. https://doi.org/10.1007/s11018-016-0928-yЛапко А. В., Лапко В. А. Метод дискретизации области значений многомерной случайной величины // Измерительная техника. 2019. № 1. С. 16–20. https://doi.org/10.32446/0368-1025it.2019-1-16-20Lapko A. V., Lapko V. A., Measurement Techniques, 2019, vol. 62, no. 1, pp. 16–22. https://doi.org/10.1007/s11018-019-01579-0Rudemo M., Empirical choice of histograms and kernel density estimators, Scandinavian Journal of Statistics, 1982, vol. 9, no. 2, pp. 65–78.Rudemo M., Empirical choice of histograms and kernel density estimators, Scandinavian Journal of Statistics, 1982, vol. 9, no. 2, pp. 65–78.Hall P., Annals of Statistics, 1983, vol. 11, no. 4, pp. 1156– 1174. https://doi.org/10.1214/aos/1176346329Hall P., Annals of Statistics, 1983, vol. 11, no. 4, pp. 1156– 1174. https://doi.org/10.1214/aos/1176346329Bowman A. W., Biometrika, 1984, vol. 71, no. 2, pp. 353– 360. https://doi.org/10.1093/BIOMET/71.2.353Bowman A. W., Biometrika, 1984, vol. 71, no. 2, pp. 353– 360. https://doi.org/10.1093/BIOMET/71.2.353Jiang M., Provost S. B., Journal of Statistical Computation and Simulation, 2014, vol. 84, no. 3, pp. 614–627. https://doi.org/10.1080/00949655.2012.721366Jiang M., Provost S. B., Journal of Statistical Computation and Simulation, 2014, vol. 84, no. 3, pp. 614–627. https://doi.org/10.1080/00949655.2012.721366Dutta S., Communications in Statistics – Simulation and Computation, 2016, vol. 45, no. 2, pp. 472–490. https://doi.org/10.1080/03610918.2013.862275Dutta S., Communications in Statistics – Simulation and Computation, 2016, vol. 45, no. 2, pp. 472–490. https://doi.org/10.1080/03610918.2013.862275Heidenreich N.-B., Schindler A., Sperlich S., AStA Advances in Statistical Analysis, 2013, vol. 97, no. 4, pp. 403–433. https://doi.org/10.1007/s10182-013-0216-yHeidenreich N.-B., Schindler A., Sperlich S., AStA Advances in Statistical Analysis, 2013, vol. 97, no. 4, pp. 403–433. https://doi.org/10.1007/s10182-013-0216-yLi Q., Racine J. S., Nonparametric Econometrics: Theory and Practice, Princeton, Princeton University Press, 2007, 768 p.Li Q., Racine J. S., Nonparametric Econometrics: Theory and Practice, Princeton, Princeton University Press, 2007, 768 p.Шаракшанэ А. С., Железнов И. Г., Ивницкий В. А. Сложные системы. М.: Высшая школа, 1977. 248 с.Sharakshaneh А. S., Zheleznov I. G., Ivnitskij V. А., Slozhnye sistemy, Moscow, Vysshaya shkola Publ., 1977, 247 p. (In Russ.)Дворкин Б. А. Европейская программа GMES и перспективная группировка спутников ДЗЗ Sentinel // Геоматика. 2011. № 3. С. 14–26. https://elibrary.ru/stytmrDvorkin B., European program GMES and the challenging constellation of Sentinel satellites, Geomatics, 2011, no. 3, pp. 14– 26. (In Russ.)Горяинов В. Б., Павлов И. В., Цветкова Г. М., Тескин О. И. Математическая статистика: учебник для вузов. М.: МГТУ им. Н. Э. Баумана. 2001. 424 с.Goryainov V. B., Pavlov I. V., Tsvetkova G. M., Teskin O. I. Matematicheskaya statistika: textbook for universities, Moscow, MGTU im. N. E. Baumana Publ., 2001, 424 p. (In Russ.)

The authors declare that there are no conflicts of interest present.