izmertechИзмерительная техникаIzmeritel`naya Tekhnika0368-10252949-5237ФГУП "ВНИИФТРИ"10.32446/0368-1025it.2021-9-3-9izmertech-1940Research ArticleОБЩИЕ ВОПРОСЫ МЕТРОЛОГИИ И ИЗМЕРИТЕЛЬНОЙ ТЕХНИКИGENERAL PROBLEMS OF METROLOGY AND MEASUREMENT TECHNIQUESФормирование наборов независимых компонент многомерной случайной величины на основе непараметрического алгоритма распознавания образовFormation of sets of independent components of a multidimensional random variable based on a nonparametric pattern recognition algorithmЛапкоА. В.LapkoA. V.

Александр Васильевич Лапко

Красноярск

Aleksandr V. Lapko

Krasnoyarsk

lapko@icm.krasn.ruhttps://orcid.org/0000-0001-6938-9323ЛапкоВ. А.LapkoV. A.

Василий Александрович Лапко

Красноярск

Vasiliy A. Lapko

Krasnoyarsk

valapko@yandex.ruБахтинаА. В.BakhtinaA. V.

Анна Владимировна Бахтина

Красноярск

Anna V. Bakhtina

Krasnoyarsk

anna-denisyuk@yandex.ruИнститут вычислительного моделирования Сибирского отделения РАН; Сибирский государственный университет науки и технологий имени академика М. Ф. РешетнёваРоссияInstitute of Computational Modelling, Siberian Branch of the Russian Academy of Sciences; Reshetnev Siberian State University of Science and TechnologyRussian FederationСибирский государственный университет науки и технологий имени академика М. Ф. РешетнёваРоссияReshetnev Siberian State University of Science and TechnologyRussian Federation2021140820230939Copyright © ФГУП "ВНИИФТРИ", 20232023ФГУП "ВНИИФТРИ"ФГУП "ВНИИФТРИ"https://www.izmt.ru/jour/about/submissions#copyrightNoticehttps://www.izmt.ru/jour/article/view/1940

Рассмотрена возможность обхода проблемы декомпозиции области значений случайных величин при проверке различных гипотез. Дан краткий обзор литературы по данной проблеме. Предложена методика формирования наборов независимых компонент многомерной случайной величины, основанная на проверке гипотез о независимости парных сочетаний компонент многомерной случайной величины. В методике использован двухмерный непараметрический алгоритм распознавания образов ядерного типа, соответствующий критерию максимального правдоподобия. В отличие от традиционной методики с применением критерия Пирсона, предложенная методика позволяет обойти проблему декомпозиции области значений случайных величин на многомерные интервалы. Приведены результаты вычислительных экспериментов, выполненных согласно методике формирования наборов независимых случайных величин. С использованием полученной информации построен информационный граф, вершины которого соответствуют компонентам многомерной случайной величины, а рёбра определяют их независимость, при этом вершины полных подграфов соответствуют группам независимых компонент случайной величины. Полученные результаты создают основу синтеза многоуровневой непараметрической системы обработки данных большого объёма, каждый уровень которой соответствует конкретному набору независимых случайных величин.

The possibility of circumventing the problem of decomposition of the range of values of random variables when testing various hypotheses is considered. A brief review of the literature on this problem is given. A method for forming sets of independent components of a multidimensional random variable is proposed, based on hypotheses testing about the independence of paired combinations of components of a multidimensional random variable. The method uses a two-dimensional non-parametric algorithm for pattern recognition of the kernel type, corresponding to the criterion of maximum likelihood. In contrast to the traditional method based on the application of the Pearson criterion, the proposed approach avoids the problem of decomposing the range of values of random variables into multidimensional intervals. The results of computational experiments performed according to the method of forming sets of independent random variables are presented. Using the information obtained, an information graph is constructed, the vertices of which correspond to the components of a multidimensional random variable, and the edges determine their independence. Then the vertices of the complete subgraphs correspond to groups of independent components of a random variable. The obtained results form the basis for the synthesis of a multi-level nonparametric large volume data processing system, each level of which corresponds to a specific set of independent random variables.

проверка гипотезынабор независимых случайных величинмногомерная случайная величинаалгоритмы распознавания образовядерная оценка плотности вероятностивыбор коэффициентов размытости ядерных функцийкоэффициент контрэксцессакоэффициент асимметрииинформационный графhypothesis testingset of independent random variablesmultidimensional random variablepattern recognition algorithmskernel probability density estimatebandwidths selection of the kernel functionsantikurtosis coefficientskewness coefficientinformation graphReferencesЛапко А. В., Лапко В. А. Свойства непараметрической оценки многомерной плотности вероятности независимых случайных величин // Информатика и системы управления. 2012. Т. 31. № 1. С. 166−174.Lapko A. V., Lapko V. A., Informatika i sistemy upravleniya, 2012, vol. 31, no. 1, pp. 166−174. (In Russ.)Лапко А. В., Лапко В. А. Непараметрическая оценка плотности вероятности независимых случайных величин // Информатика и системы управления. 2011. Т. 29. № 3. С. 118–124.Lapko A. V., Lapko V. A., Informatika i sistemy upravleniya, 2011, vol. 29, no. 3, pp. 118–124. (In Russ.)Лапко А. В., Лапко В. А. Влияние априорной информации о независимости многомерных случайных величин на свойства их непараметрической оценки плотности вероятности // Системы управления и информационные технологии. 2012. Т. 48. № 2.1. С. 164–167.Lapko A. V., Lapko V. A., Sistemy upravleniya i informatsionnyye tekhnologii, 2012, vol. 48, no. 2.1, pp. 164–167. (In Russ.)Лапко А. В., Лапко В. А. Свойства непараметрической решающей функции при наличии априорных сведений о независимости признаков классифицируемых объектов // Автометрия. 2012. Т. 48. № 4. С. 112–119.Lapko A. V., Lapko V. A., Optoelectronics, Instrumentation and Data Processing, 2012, vol. 48, no. 4, pp. 416–422. https://doi.org/10.3103/S8756699012040139Пугачёв В. С. Теория вероятностей и математическая статистика: учебное пособие. М: Физматлит, 2002. 496 с.Pugachev V. S., Probability theory and mathematical statistics, Moscow, Fizmatlit Publ., 2002, 496 p. (In Russ.)Sturges H. A., Journal of the American Statistical Association, 1926, vol. 21, pp. 65–66. https://doi.org/10.1080/01621459.1926.10502161Sturges H. A., Journal of the American Statistical Association, 1926, vol. 21, pp. 65–66. https://doi.org/10.1080/01621459.1926.10502161Scott D. W. Multivariate Density Estimation: Theory, Practice, and Visualization, New York, Wiley, 1992, 317 p.Scott D. W. Multivariate Density Estimation: Theory, Practice, and Visualization, New York, Wiley, 1992, 317 p.Hacine-Gharbi A., Ravier P., Harba R., Mohamadi T., Pattern Recognition Letters, 2012, vol. 33, no. 10, pp. 1302–1308. https://doi.org/10.1016/j.patrec.2012.02.022Hacine-Gharbi A., Ravier P., Harba R., Mohamadi T., Pattern Recognition Letters, 2012, vol. 33, no. 10, pp. 1302–1308. https://doi.org/10.1016/j.patrec.2012.02.022Devroye L., Lugosi G., Test, 2004, vol. 13. no. 1, pp. 129– 145. https://doi.org/10.1007/BF02603004Devroye L., Lugosi G.,·Test, 2004, vol. 13. no. 1, pp. 129– 145. https://doi.org/10.1007/BF02603004Лапко А. В., Лапко В. А. Метод дискретизации области значений многомерной случайной величины // Измерительная техника. 2019. № 1. С. 16–20. https://doi.org/10.32446/0368-1025it.2019-1-16-20Lapko A. V., Lapko V. A., Measurement Techniques, 2019, vol. 62, no. 1, pp. 16–22. https://doi.org/10.1007/s11018-019-01579-0Heinhold I., Gaede K., Ingeniur statistic, München-Wien, Springler Verlag, 1964, 352 p.Heinhold I., Gaede K., Ingeniur statistic, München-Wien, Springler Verlag, 1964, 352 p.Лапко А. В., Лапко В. А. Непараметрическое оценивание квадратического функционала многомодальной плотности вероятности // Метрология. 2019. № 3. С. 17–29. https://doi.org/10.32446/0132-4713.2019-3-17-29Lapko A. V., Lapko V. A., Measurement Techniques, 2019, vol. 62, no. 9, pp. 769–775. https://doi.org/10.1007/s11018-019-01693-zЛапко А. В., Лапко В. А. Оценивание параметров формулы оптимальной дискретизации области значений двумерной случайной величины // Измерительная техника. 2018. № 5. С. 9–13. https://doi.org/10.32446/0368-1025it.2018-5-9-13Lapko A. V., Lapko V. A., Measurement Techniques, 2018, vol. 61, no. 5, pp. 427–433. https://doi.org/10.1007/s11018-018-1447-9Лапко А. В., Лапко В. А. Непараметрические алгоритмы распознавания образов в задаче проверки статистической гипотезы о тождественности двух законов распределения случайных величин // Автометрия. 2010. Т. 46. № 6. С. 47–53.Lapko A. V., Lapko V. A., Optoelectronics, Instrumentation and Data Processing, 2010, vol. 46, no. 6, pp. 545–550. https://doi.org/10.3103/S8756699011060069Лапко А. В., Лапко В. А. Сравнение эмпирической и теоретической функций распределения случайной величины на основе непараметрического классификатора // Автометрия. 2012. Т. 48. № 1. С. 45–49.Lapko A. V., Lapko V. A., Optoelectronics, Instrumentation and Data Processing, 2012, vol. 48, no. 1, pp. 37–41. https://doi.org/10.3103/S8756699012010050Лапко А. В., Лапко В. А. Методика проверки гипотез о распределениях многомерных спектральных данных с использованием непараметрического алгоритма распознавания образов // Компьютерная оптика. 2019. Т. 43. № 2. С. 238– 244. https://doi.org/10.18287/2412-6179-2019-43-2-238-244Lapko A. V., Lapko V. A., Computer Optics, 2019; vol. 43, no. 2, pp. 238–244. https://doi.org/10.18287/2412-6179-2019-43-2-238-244Parzen E., Annals of Mathematical Statistics, 1962, vol. 33, nо. 3, pp. 1065–1076.Parzen E., Annals of Mathematical Statistics, 1962, vol. 33, nо. 3, pp. 1065–1076. https://doi.org/10.1214/aoms/1177704472Епанечников В. А. Непараметрическая оценка многомерной плотности вероятности // Теория вероятности и ее применения. 1969. Т. 14. №1. С. 156–161.Epanechnikov V. A., Theory of Probability & Its Applications, 1969, vol. 14, no. 1, pp. 156–161. https://doi.org/10.1137/1114019Silverman B. W., Density estimation for statistics and data analysis, London, Chapman & Hall, 1986, 175 p.Silverman B. W., Density estimation for statistics and data analysis, London, Chapman & Hall, 1986, 175 p.Sheather S., Jones M., Journal of Royal Statistical Society Series B, 1991, vol. 53, no. 3, pp. 683–690. https://doi.org/10.1111/j.2517-6161.1991.tb01857.xSheather S., Jones M., Journal of Royal Statistical Society Series B, 1991, vol. 53, no. 3, рр. 683–690. https://doi.org/10.1111/j.2517-6161.1991.tb01857.xSheather S. J., Statistical Science, 2004, vol. 19, no. 4, pp. 588–597. https://doi.org/10.1214/088342304000000297Sheather S. J., Statistical Science, 2004, vol. 19, no. 4, рр. 588–597. https://doi.org/10.1214/088342304000000297Terrell G. R., Scott, D. W., Journal of the American Statistical Association, 1985, vol. 80, pp. 209–214.Terrell G. R., Scott, D. W., Journal of the American Statistical Association, 1985, vol. 80, рр. 209–214.Jones M. C., Marron J. S., Sheather S. J., Journal of the American Statistical Association, 1996, vol. 91, pp. 401–407.Jones M. C., Marron J. S., Sheather S. J., Journal of the American Statistical Association, 1996, vol. 91, рр. 401–407.Scott D. W., Multivariate Density Estimation: Theory, Practice, and Visualization, New Jersey, John Wiley & Sons, 2015, 384 p.Scott D. W., Multivariate Density Estimation: Theory, Practice, and Visualization, New Jersey, John Wiley & Sons, 2015, 384 p.Лапко А. В., Лапко В. А. Модифицированный алгоритм быстрого выбора коэффициентов размытости ядерных оценокмногомерных плотностей вероятностей // Измерительная техника. 2020. № 11. С. 9–13. https://doi.org/10.32446/0368-1025it.2020-11-9-13Lapko A. V., Lapko V. A., Measurement Techniques, 2021, vol. 63, no. 11, pp. 856–861. htt ps://doi.org/10.1007/s11018-021-01873-wЛапко А. В., Лапко В. А. Оценивание интеграла от квадрата производных симметричных плотностей вероятностей одномерных случайных величин // Метрология. 2020. № 1. С. 15–27. https://doi.org/10.32446/0132-4713.2020-1-15-27Lapko A. V., Lapko V. A., Measurement Techniques, 2020, vol. 63, no. 3, pp. 171–176. https://doi.org/10.1007/s11018-020-01768-2Лапко А. В., Лапко В. А. Оценивание нелинейного функционала от плотности вероятности при оптимизации непараметрических решающих функций // Измерительная техника. 2021. № 1. С. 14–20. https://doi.org/10.32446/0368-1025it.2021-1-14-20Lapko A. V., Lapko V. A., Measurement Techniques, 2021, vol. 64, no. 1, pp. 13–20. https://doi.org/10.1007/s11018-021-01889-2Лапко А. В., Лапко В. А. Быстрый алгоритм выбора коэффициентов размытости ядерных функций в непараметрической оценке плотности вероятности // Измерительная техника. 2018. № 6. С. 16–20. https://doi.org/10.32446/0368-1025it-2018-6-16-20Lapko A. V., Lapko V. A., Measurement Techniques, 2018, vol. 61, no. 6, pp. 540–545. https://doi.org/10.1007/s11018-018-1463-9Лапко А. В., Лапко В. А. Быстрый алгоритм выбора коэффициентов размытости в многомерных ядерных оценках плотности вероятности // Измерительная техника. 2018. № 10. С. 19–23. https://doi.org/10.32446/0368-1025it.2018-10-19-23Lapko A. V., Lapko V. A., Measurement Techniques, 2019, vol. 61, no. 10, pp. 979–986. https://doi.org/10.1007/s11018-019-01536-xШаракшанэ А. С., Железнов И. Г., Ивницкий В. А. Сложные системы. М.: Высшая школа, 1977. 248 с.Sharakshaneh А. S., Zheleznov I. G., Ivnitskij V. А., Complex system, Moscow, Vysshaya shkola Publ., 1977, 248 p. (In Russ.)Кристофидес Н. Теория графов. Алгоритмический подход. М.: Мир, 1978. 432 с.Christofi des N., Graph theory: an algorithmic approach, London, Academic Press, 1975, 424 p.

The authors declare that there are no conflicts of interest present.