izmertechИзмерительная техникаIzmeritel`naya Tekhnika0368-10252949-5237ФГУП "ВНИИФТРИ"10.32446/0368-1025it.2021-4-49-57izmertech-1901Research ArticleАКУСТИЧЕСКИЕ ИЗМЕРЕНИЯACOUSTIC MEASUREMENTSМетод измерений показателя динамики эмоционального состояния пользователя по речевому сигналу в режиме реального времениThe method of real-time acoustic measurement of dynamical changes in the speaker’s emotional stateСавченкоЛ. В.SavchenkoL. V.

Людмила Васильевна Савченко

Нижний Новгород

Lyudmila V. Savchenko

Nizhniy Novgorod

lsavchenko@hse.ruСавченкоА. В.SavchenkoA. V.

Андрей Владимирович Савченко

Нижний Новгород

Andrey V. Savchenko

Nizhniy Novgorod

avsavchenko@hse.ruНациональный исследовательский университет «Высшая школа экономики»РоссияHSE UniversityRussian Federation202102082023044957Copyright © Савченко Л.В., Савченко А.В., 20232023Савченко Л.В., Савченко А.В.Savchenko L.V., Savchenko A.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.izmt.ru/jour/article/view/1901

Рассмотрены проблемы внедрения систем с голосовым интерфейсом для дистанционного обслуживания населения. Эффективность таких систем может быть повышена за счёт автоматического анализа изменений эмоционального состояния пользователя в ходе диалога. Для измерений показателя динамики эмоционального состояния в режиме реального времени предложено использовать эффект звуковой (фонетической) вариативности речи пользователя на интервалах наблюдений небольшой (доли минуты) длительности. На основе теоретико-информационного подхода разработан метод акустических измерений динамики эмоционального состояния в условиях малых выборок с использованием масштабноинвариантой меры вариаций речевого сигнала в частотной области. Рассмотрен пример практической реализации данного метода в режиме мягкого реального времени. Показано, что в данном случае задержка получения результатов измерений не превышает 10–20 с. Результаты экспериментальных исследований подтвердили высокое быстродействие предложенного метода и его чувствительность к изменениям динамики эмоционального состояния под действием внешних возмущений. Разработанный метод можно использовать при внедрении автоматизированного контроля качества голосовых образцов пользователей единых биометрических систем. Также метод будет полезен для повышения безопасности путём бесконтактного выявления потенциально опасных лиц с краткосрочным нарушением психоэмоционального состояния.

In this paper we consider the issues in implementations of interactive voice response systems with remote access. Their efficiency can be improved by automatically analyzing changes in the user's emotional state during the dialogue. In order to measure the indicator of the dynamics of the emotional statein real time, it is proposed to use the effect of sound (phonetic) variability of the user's speech at short intervals (fractions of a minute). The novel method of acoustic measurements in conditions of small samples has been developed based on information-theoretic approach by using a scale-invariant gain-optimized dissimilarity measure of the speech signals in the frequency domain. An example of its practical implementation in soft real time is considered. It is shown that the delay in obtaining the measurement results does not exceed in this case 10–20 sec. The experimental results confirmed the high speed of the proposed method and its sensitivity to changes in the emotional state under the influence of external noise. The proposed method can be used for automated quality control of voice samples of users in unified biometric systems, as well as to improve safety by non-contact identification of potentially dangerous persons with short-term psycho-emotional disorders.

змерение динамики эмоционального состоянияакустические измеренияакустика речиавтоматическая обработка речипроблема малых выбороктеоретико-информационный подходmeasurement of dynamics in emotional stateacoustic measurementsspeech acousticsautomatic speech processingsmall-sample-size probleminformation-theoretic approachReferencesDavis S. K. et al., Personality and Individual Diff erences, 2020, vol. 160, no. 109938. https://doi.org/10.1016/j.paid.2020.109938Davis S. K. et al., Personality and Individual Diff erences, 2020, vol. 160, no. 109938. https://doi.org/10.1016/j.paid.2020.109938.Савченко В. В., Савченко А. В. Способ обновления голосовых образцов в Единой биометрической системе в режиме реального времени // Измерительная техника. 2020. № 5. C. 58–65. https://doi.org/10.32446/0368-1025it.2020-5-58-65Savchenko V. V., Savchenko А. V., Measurement Techniques, 2020, vol. 62, no. 5, рр. 458–465. https://doi.org/10.1007/s11018-020-01702-1Савченко В. В., Савченко А. В. Метод измерений показателя акустического качества аудиозаписей, подготовленных для регистрации и обработки в Единой биометрической системе // Измерительная техника. 2019. № 12. С. 40–47. https://doi.org/10.32446/0368-1025it.2019-12-40-46Savchenko V. V., Savchenko А. V., Measurement Techniques, 2019, vol. 62, no. 12, рр. 1071–1078. https://doi.org/10.1007/s11018-020-01736-wГаляшина Е. И. Актуальные проблемы идентификации лиц по фонограммам телефонных переговоров // Сборник материалов XXIII международной научно-практической конференции «Деятельность правоохранительных органов в современных условиях». В 2-х томах. Восточно-Сибирский институт Министерства внутренних дел Российской Федерации. Иркутск, 2018. С. 141–146. URL: https://istina.msu.ru/publications/article/167326015(датаобращения:14.08.2020).Galyashina E. I., Aktual’nye problemy identifi kacii lits po fonogrammam telefonnyh peregovorov, Proceedings of the XXIII International Scientifi c and Practical Conference “Deyatel’nost’ pravoohranitel’nyh organov v sovremennyh usloviyah”, in 2 volumes, Irkutsk, Vostochno-Sibirskij institut Ministerstva vnutrennih del Rossijskoj Federacii Publ., 2018, pp. 141–146, available at: https://istina.msu.ru/publications/article/167326015/(accessed:14.08.2020).(In Russ.)Falagiarda F., Collignon O., Cortex, 2019, vol. 119, рр. 184– 194. https://doi.org/10.1016/j.cortex.2019.04.017Falagiarda F., Collignon O., Cortex, 2019, vol. 119, рр. 184– 194. https://doi.org/10.1016/j.cortex.2019.04.017Akbulut F. P., Perros H. G., Shahzad M., Computer Methods and Programs in Biomedicine, 2020, vol. 195, no. 105571. https://doi.org/10.1016/j.cmpb.2020.105571Akbulut F. P., Perros H. G., Computer Methods and Programs in Biomedicine, 2020, vol. 195, no. 105571. https://doi.org/10.1016/j.cmpb.2020.105571Shaqra F. A., Duwairi R., Al-Ayyoub M., Procedia Computer Science, 2019, vol. 151, рр. 37–44. https://doi.org/10.1016/j.procs.2019.04.009Shaqra F. A., Duwairi R., Al-Ayyoub M., Procedia Computer Science, 2019, vol. 151, рр. 37–44. https://doi.org/10.1016/j.procs.2019.04.009Arana J. M. et al., Computers in Human Behavior, 2020, vol. 104, no. 106156. https://doi.org/10.1016/j.chb.2019.106156Arana J. M. et al., Computers in Human Behavior, 2020, vol. 104, no. 106156. https://doi.org/10.1016/j.chb.2019.106156Bourguignon M. et al., NeuroImage, 2020, vol. 216, no. 116788. https://doi.org/10.1016/j.neuroimage.2020.116788Bourguignon M. et al., NeuroImage, 2020, vol. 216, no. 116788. https://doi.org/10.1016/j.neuroimage.2020.116788Liu Z. et al., Brain and Language, 2020, vol. 203, no. 104755. https://doi.org/10.1016/j.bandl.2020.104755Liu Z. et al., Brain and Language, 2020, vol. 203, no. 104755. https://doi.org/10.1016/j.bandl.2020.104755Schuller B., Voice and Speech Analysis in Search of States and Traits, in: Salah A. A., Gevers T. (eds.) Computer Analisis of Human Behavior, Springer, Heidelberg, 2011, 227 p. https://doi.org/10.1007/978-0-85729-994-9_9Schuller B., Voice and Speech Analysis in Search of States and Traits, in: Salah A. A., Gevers T. (eds.) Computer Analisis of Human Behavior, Springer, Heidelberg, 2011, 227 p. https://doi.org/10.1007/978-0-85729-994-9_9Cardona D. et al., Neurocomputing, 2017, vol. 265, рр. 78– 90. https://doi.org/10.1016/j.neucom.2016.09.140Cardona D. et al., Neurocomputing, 2017, vol. 265, рр. 78–90. https://doi.org/10.1016/j.neucom.2016.09.140Yu D., Deng L., Automatic Speech Recognition: A Deep Learning Approach, Springer, 2014, 321 p. https://doi.org/10.1007/978-1-4471-5779-3Yu D., Deng L., Automatic Speech Recognition: A Deep Learning Approach, Springer, 2014, 321 p. https://doi.org/10.1007/978-1-4471-5779-3Schuster M., Lecture Notes in Computer Science, 2010, vol. 6230, рр. 8–10. https://doi.org/10.1007/978-3-642-15246-7_3Schuster M., Lecture Notes in Computer Science, 2010, vol. 6230, рр. 8–10. https://doi.org/10.1007/978-3-642-15246-7_3Rammohan R. et al., Journal of Allergy and Clinical Immunology, 2017, vol. 139, iss. 2, no. ab250. https://doi.org/10.1016/j.jaci.2016.12.804Rammohan R. et al., Journal of Allergy and Clinical Immunology, 2017, vol. 139, iss. 2, no. ab250. https://doi.org/10.1016/j.jaci.2016.12.804Володин Н. А., Ермоленко Т. В., Семенюк В. В. Исследование эффективности применения нейронных сетей для распознавания эмоций человека по голосу // В сборнике: Донецкие чтения 2019: образование, наука, инновации, культура и вызовы современности. Материалы IV Международной научной конференции. 2019. С. 221–223. URL:https://elibrary.ru/download/elibrary_41422521_75290048.pdf(датаобращения:14.08.2020).Volodin N. A., Ermolenko T. V., Semenyuk V. V., Issledovanie eff ektivnosti primeneniya nejronnyh setej dlya raspoznavaniya emocij cheloveka po golosu, Proceedings of the Conference International Scientifi c Conference “Doneckie chteniya 2019: obrazovanie, nauka, innovacii, kul’tura i vyzovy sovremennosti”, 2019, pp. 221–223, available at: https://elibrary.ru/down load/elibrary_41422521_75290048.pdf(accessed:14.08.2020).(In Russ.)Grachev A. M., Ignatov D. I., Savchenko A. V., Applied Soft Computing, 2019, vol. 79, рр. 354–362. https://doi.org/10.1016/j.asoc.2019.03.057Grachev A. M., Ignatov D. I., Savchenko A. V., Applied Soft Computing, 2019, vol. 79, рр. 354–362. https://doi.org/10.1016/j.asoc.2019.03.057Устинов Р. А. Особенности современных систем защиты речевой информации. Безопасность информационных технологий. [Электрон. журнал]. 2017. Т. 24. № 4. https://doi.org/10.26583/bit.2017.4.08Ustinov R. A., Bezopasnost’ informacionnyh tekhnologij, 2017, vol. 24, no. 4. (In Russ.) https://doi.org/10.26583/bit.2017.4.08Cui S., Li E., Kang X., Autoregressive model based smoothing forensics of very sho rt speech clips, 2020 IEEE International Conference on Multimedia and Expo (ICME), London, United Kingdom, 2020, рр. 1–6. https://doi.org/10.1109/ICME46284.2020.9102765Cui S., Li E., Kang X., 2020 IEEE International Conference on Multimedia and Expo (ICME), London, United Kingdom, 2020, рр. 1–6. https://doi.org/10.1109/ICME46284.2020.9102765Savchenko V. V., Radioelectronics and Communications Systems, 2020, vol. 63, no 1, рр. 42–54. https://doi.org/10.3103/S0735272720010045Savchenko V. V., Radioelectronics and Communications Systems, 2020, vol. 63, no 1, рр. 42–54. https://doi.org/10.3103/S0735272720010045Савченко В. В., Савченко А. В. Критерий гарантированного уровня значимости в задаче автоматической сегментации речевого сигнала // Радиотехника и электроника. 2020. Т. 65. № 11. С. 1060–1066. https://doi.org/10.31857/S0033849420110157Savchenko V. V., Savchenko А. V., Journal of Communications Technology and Electronics, 2020, vol. 65, no. 11, рр. 1060– 1066. https://doi.org/10.31857/S0033849420110157Hautamäki R. G. et al., Speech Communication, 2017, vol. 95, рр. 1–15. https://doi.org/10.1016/j.specom.2017.10.002Hautamäki R.G. et al., Speech Communication, 2017, vol. 95, рр. 1–15. https://doi.org/10.1016/j.specom.2017.10.002Лебедева Н. Н., Каримова Е. Д. Акустические характеристики речевого сигнала как показатель функционального состояния человека // Успехи физиологических наук. 2014. Т. 45. № 1. С. 57–95. URL: http://naukarus.com/akusticheskieharakteristiki-rechevogo-signala-kak-okazatel-funktsionalnogosostoyaniya-heloveka(датаобращения:14.08.2020).Lebedeva N. N., Karimova E. D., Uspekhi fi ziologicheskih nauk, 2014, vol. 45, no. 1, pp. 57–95, available at: http://naukarus.com/akusticheskie-harakteristiki-rechevogo-signala-kak-pokazatelfunktsionalnogo-sostoyaniya-cheloveka(accessed:14.08.2020).(In Russ.)Savchenko V. V., Journal of Communications Technology and Electronics, 2018, vol. 63, no. 1, рр. 53–57. https://doi.org/10.1134/S1064226918010126Savchenko V. V., Journal of Communications Technology and Electronics, 2018, vol. 63, no. 1, рр. 53–57. https://doi.org/10.1134/S1064226918010126Savchenko A. V., Savchenko V. V., Journal of Communications Technology and Electronics, 2016, vol. 61, no. 4, рр. 430–435. https://doi.org/10.1134/S1064226916040112Savchenko A. V., Savchenko V. V., Journal of Communications Technology and Electronics, 2016, vol. 61, no. 4, рр. 430– 435. https://doi.org/10.1134/S1064226916040112Савченко В. В. Метод измерения показателя акустического качества речи на основе теоретико-информационного подхода // Измерительная техника. 2018. № 1. С. 60–64. https://doi.org/10.32446/0368-1025it.2018-1-60-64Savchenko V. V., Measurement Techniques, 2018, vol. 61, no. 1, pp. 79–84. https://doi.org/10.1007/s11018-018-1391-8Савченко В. В., Савченко Л. В. Метод измерений показателя разборчивости речевого сигнала в информационной метрике Кульбака-Лейблера // Измерительная техника. 2019. № 9. С. 59–64. https://doi.org/10.32446/0368-1025it.2019-9-59-64Savchenko V. V., Savchenko L. V., Measurement Techniques, 2019, vol. 62, no. 9, pp. 832–839. https://doi.org/10.1007/s11018-019-01702-1Savchenko L. V., Savchenko A. V., Journal of Communications Technology and Electronics, 2019, vol. 64, no. 3, рр.238–244. https://doi.org/10.1134/S1064226919030173Savchenko L. V., Savchenko A. V., Journal of Communications Technology and Electronics, 2019, vol. 64, no. 3, рр. 238– 244. https://doi.org/10.1134/S1064226919030173Савченко А. В., Савченко В. В. Метод измерения частоты основного тона речевого сигнала для систем акустического анализа речи // Измерительная техника. 2019. № 3. С. 59–63. https://doi.org/10.32446/0368-1025it.2019-3-59-63Savchenko А. V., Savchenko V. V., Measurement Techniques, 2019, vol. 62, no. 3, pp. 282–288. https://doi.org/10.1007/s11018-019-01617-xSavchenko A. V., Sequential Three-Way Decisions in Effi cient Classifi cation of Piecewise Stationary Speech Signals, in: Polkowski L. et al. (eds) Rough Sets. IJCRS 2017. Lecture Notes in Computer Science, 2017, vol. 10314, Springer, Cham. https://doi.org/10.1007/978-3-319-60840-2_19Savchenko A. V., Sequential Three-Way Decisions in Effi cient Classifi cation of Piecewise Stationary Speech Signals, in: Polkowski L. et al. (eds) Rough Sets. IJCRS 2017, Lecture Notes in Computer Science, 2017, vol. 10314, Springer, Cham. https://doi.org/10.1007/978-3-319-60840-2_19Kullback S., Information Theory and Statistics, N. Y., Dover Publications, 1997, 432 p. URL: https://www.amazon.com//dp/0486696847(датаобращения:14.08.2020).Kullback S., Information Theory and Statistics, N. Y., Dover Publications, 1997, 432 p., available at: https://www.amazon.com//dp/0486696847(accessed:14.08.2020).Gray R. M. et al., IEEE Transactions on Signal Proce ssing, 1980, vol. 28, no. 4, рр. 367–377. https://doi.org/10.1109/TASSP.1980.1163421Gray R. M. et al., IEEE Transactions on Signal Processing, 1980, vol. 28, no. 4, рр. 367–377. https://doi.org/10.1109/TASSP.1980.1163421Savchenko A. V., Savchenko V. V., Savchenko L. V., Optimization of Gain in Symmetrized Itakura-Saito Discrimination for Pronunciation Learning, in: Kononov A., Khachay M., Kalyagin V., Pardalos P. (eds), Mathematical Optimization Theory and Operations Research. MOTOR 2020, Lecture Notes in Computer Science, 2020, vol. 12095, Springer, Cham. https://doi.org/10.1007/978-3-030-49988-4_30Savchenko A. V., Savchenko V. V., Savchenko L. V., Optimization of Gain in Symmetrized Itakura-Saito Discrimination for Pronunciation Learning, in: Kononov A., Khachay M., Kalyagin V., Pardalos P. (eds), Mathematical Optimization Theory and Operations Research, MOTOR 2020, Lecture Notes in Computer Science, 2020, vol. 12095, Springer, Cham. https://doi.org/10.1007/978-3-030-49988-4_30Vestman V. et al., Speech Communication, 2018, vol. 99, рр. 62–79. https://doi.org/10.1016/j.specom.2018.02.009Vestman V. et al., Speech Communication, 2018, vol. 99, рр. 62–79. https://doi.org/10.1016/j.specom.2018.02.009Candan Ç., Signal Processing, 2020, vol. 166, no. 107256. https://doi.org/10.1016/j.sigpro.2019.107256Candan Ç., Signal Processing, 2020, vol. 166, no. 107256. https://doi.org/10.1016/j.sigpro.2019.107256Tuncel K. S., Baydogan M. G., Pattern Recognition, 2018, vol. 73, рр. 202–215. https://doi.org/10.1016/j.patcog.2017.08.016Tuncel K. S., Baydogan M. G., Pattern Recognition, 2018, vol. 73, рр. 202–215. https://doi.org/10.1016/j.patcog.2017.08.016Savchenko V. V., Savchenko А. V., Radioelectronics and Communications Systems, 2019, vol. 62, рр. 276–286. https://doi.org/10.3103/S0735272719050042Savchenko V. V., Savchenko А. V., Radioelectronics and Communications Systems, 2019, vol. 62, рр. 276–286. https://doi.org/10.3103/S0735272719050042Marple S. L., Digital Spectral Analysis with Applications, 2nd ed. Mineola, New York, Dover Publications, 2019, 432 p. URL: https://www.goodreads.com/book/show/19484239(датаобращения:14.08.2020).Marple S. L., Digital Spectral Analysis with Applications, 2nd ed. Mineola, New York, Dover Publications, 2019, 432 p., available at: https://www.goodreads.com/book/show/19484239 (accessed: 14.08.2020).

The authors declare that there are no conflicts of interest present.