Применение непараметрической методики проверки гипотезы о независимости случайных величин в условиях большого объёма статистических данных

Рассмотрена задача проверки гипотезы о независимости случайных величин в условиях больших объёмов статистических данных. Результаты решения задачи необходимы при оценивании плотностей вероятностей случайных величин и синтезе алгоритмов обработки информации. Предложена непараметрическая методика проверки гипотезы о независимости случайных величин в выборке, содержащей большой объём статистических данных. Методика основана на сжатии исходной статистической информации путём декомпозиции области значений случайных величин. Сформированный массив данных состоит из центров интервалов дискретизации и соответствующих им частот принадлежности наблюдений исходной выборки. Полученная информация применена при построении непараметрического алгоритма распознавания образов, соответствующего критерию максимального правдоподобия. Законы распределения в классах оценены в предположении независимости и зависимости сравниваемых случайных величин. При восстановлении законов распределения случайных величин в классах использованы регрессионные оценки плотностей вероятностей. Для этих условий вычислены оценки вероятностей ошибок распознавания образов в классах и по их минимальному значению приняты решения о независимости либо зависимости случайных величин. Методика применена при анализе данных дистанционного зондирования лесных массивов, определены линейные и нелинейные связи между спектральными признаками объектов исследования.

1. Пугачёв В. С. Теория вероятностей и математическая статистика: учебное пособие. М.: Физматлит, 2002. 496 с.

2. Лапко А. В., Лапко В. А., Бахтина А. В. Исследование методики проверки гипотезы о независимости двухмерных случайных величин с использованием непараметрического классификатора // Автометрия. 2021. Т. 57. № 6. С. 90–100. https://doi.org/10.15372/AUT20210610

3. Лапко А. В., Лапко В. А., Бахтина А. В. Применение непараметрического алгоритма распознавания образов в задаче проверки гипотезы о независимости переменных неоднозначных функций // Измерительная техника. 2022. № 1. С. 17–22. https://doi.org/10.32446/0368-1025it.2022-01-17-22

4. Лапко А. В., Лапко В. А., Бахтина А. В. Сравнение методики проверки гипотезы о независимости двухмерных случайных величин, основанной на непараметрическом классификаторе // Искусственный интеллект и принятие решений. 2022. № 1. С. 45–56. https://doi.org/10.14357/20718594220105

5. Лапко А. В., Лапко В. А. Регрессионная оценка многомерной плотности вероятности и её свойства // Автометрия. 2014. Т. 50. № 2. С. 50–56. https://elibrary.ru/smewvr

6. Parzen E., Annals of Mathematical Statistics, 1962, vol. 33, nо. 3, pp. 1065–1076. https://doi.org/10.1214/aoms/1177704472

7. Епанечников В. А. Непараметрическая оценка многомерной плотности вероятности // Теория вероятности и её применения. 1969. Т. 14. № 1. С. 156–161.

8. Sturgess H. A., Journal of the American Statistical Association, 1926, vol. 21, pp. 65–66. https://doi.org/10.1080/01621459.1926.10502161

9. Heinhold I., Gaede K. W., Ingeniur-Statistic, München, Wien, Springler Verlag, 1964, 352 p. (In German)

10. Лемешко Б. Ю., Чимитова Е. В. О выборе числа интервалов в критериях согласия типа χ2 // Заводская лаборатория. Диагностика материалов. 2003. Т. 69. №. 1. С. 61–67. https://elibrary.ru/sdjqif

11. Hacine Gharbi A., Ravier P., Harba R., Mohamadi T., Pattern Recognition Letters, 2012, vol. 33, no. 10, pp. 1302–1308. https://doi.org/10.1016/j.patrec.2012.02.022.

12. Scott D. W., Multivariate Density Estimation: Theory, Practice, and Visualization, 2nd Edition, NY, John Wiley & Sons, 2015, 384 p.

13. Devroye L., Lugosi G., Test, 2004, vol. 13, no. 1, pp. 129– 145. https://doi.org/10.1007/BF02603004

14. Лапко А. В., Лапко В. А. Оптимальный выбор количества интервалов дискретизации области изменения одномерной случайной величины при оценивании плотности вероятности // Измерительная техника. 2013. № 7. С. 24–27. https://elibrary.ru/rbfsyj

15. Лапко А. В., Лапко В. А. Выбор оптимального количества интервалов дискретизации области значений двухмерной случайной величины // Измерительная техника. 2016. № 2. С. 14–17. https://elibrary.ru/vtytab

16. Лапко А. В., Лапко В. А. Метод дискретизации области значений многомерной случайной величины // Измерительная техника. 2019. № 1. С. 16–20. https://doi.org/10.32446/0368-1025it.2019-1-16-20

17. Rudemo M., Empirical choice of histograms and kernel density estimators, Scandinavian Journal of Statistics, 1982, vol. 9, no. 2, pp. 65–78.

18. Hall P., Annals of Statistics, 1983, vol. 11, no. 4, pp. 1156– 1174. https://doi.org/10.1214/aos/1176346329

19. Bowman A. W., Biometrika, 1984, vol. 71, no. 2, pp. 353– 360. https://doi.org/10.1093/BIOMET/71.2.353

20. Jiang M., Provost S. B., Journal of Statistical Computation and Simulation, 2014, vol. 84, no. 3, pp. 614–627. https://doi.org/10.1080/00949655.2012.721366

21. Dutta S., Communications in Statistics – Simulation and Computation, 2016, vol. 45, no. 2, pp. 472–490. https://doi.org/10.1080/03610918.2013.862275

22. Heidenreich N.-B., Schindler A., Sperlich S., AStA Advances in Statistical Analysis, 2013, vol. 97, no. 4, pp. 403–433. https://doi.org/10.1007/s10182-013-0216-y

23. Li Q., Racine J. S., Nonparametric Econometrics: Theory and Practice, Princeton, Princeton University Press, 2007, 768 p.

24. Шаракшанэ А. С., Железнов И. Г., Ивницкий В. А. Сложные системы. М.: Высшая школа, 1977. 248 с.

25. Дворкин Б. А. Европейская программа GMES и перспективная группировка спутников ДЗЗ Sentinel // Геоматика. 2011. № 3. С. 14–26. https://elibrary.ru/stytmr

26. Горяинов В. Б., Павлов И. В., Цветкова Г. М., Тескин О. И. Математическая статистика: учебник для вузов. М.: МГТУ им. Н. Э. Баумана. 2001. 424 с.