Открытый доступ
Только для подписчиков
Метод измерений показателя динамики эмоционального состояния пользователя по речевому сигналу в режиме реального времени
https://doi.org/10.32446/0368-1025it.2021-4-49-57
Аннотация
Рассмотрены проблемы внедрения систем с голосовым интерфейсом для дистанционного обслуживания населения. Эффективность таких систем может быть повышена за счёт автоматического анализа изменений эмоционального состояния пользователя в ходе диалога. Для измерений показателя динамики эмоционального состояния в режиме реального времени предложено использовать эффект звуковой (фонетической) вариативности речи пользователя на интервалах наблюдений небольшой (доли минуты) длительности. На основе теоретико-информационного подхода разработан метод акустических измерений динамики эмоционального состояния в условиях малых выборок с использованием масштабноинвариантой меры вариаций речевого сигнала в частотной области. Рассмотрен пример практической реализации данного метода в режиме мягкого реального времени. Показано, что в данном случае задержка получения результатов измерений не превышает 10–20 с. Результаты экспериментальных исследований подтвердили высокое быстродействие предложенного метода и его чувствительность к изменениям динамики эмоционального состояния под действием внешних возмущений. Разработанный метод можно использовать при внедрении автоматизированного контроля качества голосовых образцов пользователей единых биометрических систем. Также метод будет полезен для повышения безопасности путём бесконтактного выявления потенциально опасных лиц с краткосрочным нарушением психоэмоционального состояния.
Об авторах
Л. В. Савченко
Национальный исследовательский университет «Высшая школа экономики»
Россия
Россия
Людмила Васильевна Савченко
Нижний Новгород
А. В. Савченко
Национальный исследовательский университет «Высшая школа экономики»
Россия
Россия
Андрей Владимирович Савченко
Нижний Новгород
Список литературы
1. Davis S. K. et al., Personality and Individual Diff erences, 2020, vol. 160, no. 109938. https://doi.org/10.1016/j.paid.2020.109938
2. Савченко В. В., Савченко А. В. Способ обновления голосовых образцов в Единой биометрической системе в режиме реального времени // Измерительная техника. 2020. № 5. C. 58–65. https://doi.org/10.32446/0368-1025it.2020-5-58-65
3. Савченко В. В., Савченко А. В. Метод измерений показателя акустического качества аудиозаписей, подготовленных для регистрации и обработки в Единой биометрической системе // Измерительная техника. 2019. № 12. С. 40–47. https://doi.org/10.32446/0368-1025it.2019-12-40-46
4. Галяшина Е. И. Актуальные проблемы идентификации лиц по фонограммам телефонных переговоров // Сборник материалов XXIII международной научно-практической конференции «Деятельность правоохранительных органов в современных условиях». В 2-х томах. Восточно-Сибирский институт Министерства внутренних дел Российской Федерации. Иркутск, 2018. С. 141–146. URL: https://istina.msu.ru/publications/article/167326015(датаобращения:14.08.2020).
5. Falagiarda F., Collignon O., Cortex, 2019, vol. 119, рр. 184– 194. https://doi.org/10.1016/j.cortex.2019.04.017
6. Akbulut F. P., Perros H. G., Shahzad M., Computer Methods and Programs in Biomedicine, 2020, vol. 195, no. 105571. https://doi.org/10.1016/j.cmpb.2020.105571
7. Shaqra F. A., Duwairi R., Al-Ayyoub M., Procedia Computer Science, 2019, vol. 151, рр. 37–44. https://doi.org/10.1016/j.procs.2019.04.009
8. Arana J. M. et al., Computers in Human Behavior, 2020, vol. 104, no. 106156. https://doi.org/10.1016/j.chb.2019.106156
9. Bourguignon M. et al., NeuroImage, 2020, vol. 216, no. 116788. https://doi.org/10.1016/j.neuroimage.2020.116788
10. Liu Z. et al., Brain and Language, 2020, vol. 203, no. 104755. https://doi.org/10.1016/j.bandl.2020.104755
11. Schuller B., Voice and Speech Analysis in Search of States and Traits, in: Salah A. A., Gevers T. (eds.) Computer Analisis of Human Behavior, Springer, Heidelberg, 2011, 227 p. https://doi.org/10.1007/978-0-85729-994-9_9
12. Cardona D. et al., Neurocomputing, 2017, vol. 265, рр. 78– 90. https://doi.org/10.1016/j.neucom.2016.09.140
13. Yu D., Deng L., Automatic Speech Recognition: A Deep Learning Approach, Springer, 2014, 321 p. https://doi.org/10.1007/978-1-4471-5779-3
14. Schuster M., Lecture Notes in Computer Science, 2010, vol. 6230, рр. 8–10. https://doi.org/10.1007/978-3-642-15246-7_3
15. Rammohan R. et al., Journal of Allergy and Clinical Immunology, 2017, vol. 139, iss. 2, no. ab250. https://doi.org/10.1016/j.jaci.2016.12.804
16. Володин Н. А., Ермоленко Т. В., Семенюк В. В. Исследование эффективности применения нейронных сетей для распознавания эмоций человека по голосу // В сборнике: Донецкие чтения 2019: образование, наука, инновации, культура и вызовы современности. Материалы IV Международной научной конференции. 2019. С. 221–223. URL:https://elibrary.ru/download/elibrary_41422521_75290048.pdf(датаобращения:14.08.2020).
17. Grachev A. M., Ignatov D. I., Savchenko A. V., Applied Soft Computing, 2019, vol. 79, рр. 354–362. https://doi.org/10.1016/j.asoc.2019.03.057
18. Устинов Р. А. Особенности современных систем защиты речевой информации. Безопасность информационных технологий. [Электрон. журнал]. 2017. Т. 24. № 4. https://doi.org/10.26583/bit.2017.4.08
19. Cui S., Li E., Kang X., Autoregressive model based smoothing forensics of very sho rt speech clips, 2020 IEEE International Conference on Multimedia and Expo (ICME), London, United Kingdom, 2020, рр. 1–6. https://doi.org/10.1109/ICME46284.2020.9102765
20. Savchenko V. V., Radioelectronics and Communications Systems, 2020, vol. 63, no 1, рр. 42–54. https://doi.org/10.3103/S0735272720010045
21. Савченко В. В., Савченко А. В. Критерий гарантированного уровня значимости в задаче автоматической сегментации речевого сигнала // Радиотехника и электроника. 2020. Т. 65. № 11. С. 1060–1066. https://doi.org/10.31857/S0033849420110157
22. Hautamäki R. G. et al., Speech Communication, 2017, vol. 95, рр. 1–15. https://doi.org/10.1016/j.specom.2017.10.002
23. Лебедева Н. Н., Каримова Е. Д. Акустические характеристики речевого сигнала как показатель функционального состояния человека // Успехи физиологических наук. 2014. Т. 45. № 1. С. 57–95. URL: http://naukarus.com/akusticheskieharakteristiki-rechevogo-signala-kak-okazatel-funktsionalnogosostoyaniya-heloveka(датаобращения:14.08.2020).
24. Savchenko V. V., Journal of Communications Technology and Electronics, 2018, vol. 63, no. 1, рр. 53–57. https://doi.org/10.1134/S1064226918010126
25. Savchenko A. V., Savchenko V. V., Journal of Communications Technology and Electronics, 2016, vol. 61, no. 4, рр. 430–435. https://doi.org/10.1134/S1064226916040112
26. Савченко В. В. Метод измерения показателя акустического качества речи на основе теоретико-информационного подхода // Измерительная техника. 2018. № 1. С. 60–64. https://doi.org/10.32446/0368-1025it.2018-1-60-64
27. Савченко В. В., Савченко Л. В. Метод измерений показателя разборчивости речевого сигнала в информационной метрике Кульбака-Лейблера // Измерительная техника. 2019. № 9. С. 59–64. https://doi.org/10.32446/0368-1025it.2019-9-59-64
28. Savchenko L. V., Savchenko A. V., Journal of Communications Technology and Electronics, 2019, vol. 64, no. 3, рр.238–244. https://doi.org/10.1134/S1064226919030173
29. Савченко А. В., Савченко В. В. Метод измерения частоты основного тона речевого сигнала для систем акустического анализа речи // Измерительная техника. 2019. № 3. С. 59–63. https://doi.org/10.32446/0368-1025it.2019-3-59-63
30. Savchenko A. V., Sequential Three-Way Decisions in Effi cient Classifi cation of Piecewise Stationary Speech Signals, in: Polkowski L. et al. (eds) Rough Sets. IJCRS 2017. Lecture Notes in Computer Science, 2017, vol. 10314, Springer, Cham. https://doi.org/10.1007/978-3-319-60840-2_19
31. Kullback S., Information Theory and Statistics, N. Y., Dover Publications, 1997, 432 p. URL: https://www.amazon.com//dp/0486696847(датаобращения:14.08.2020).
32. Gray R. M. et al., IEEE Transactions on Signal Proce ssing, 1980, vol. 28, no. 4, рр. 367–377. https://doi.org/10.1109/TASSP.1980.1163421
33. Savchenko A. V., Savchenko V. V., Savchenko L. V., Optimization of Gain in Symmetrized Itakura-Saito Discrimination for Pronunciation Learning, in: Kononov A., Khachay M., Kalyagin V., Pardalos P. (eds), Mathematical Optimization Theory and Operations Research. MOTOR 2020, Lecture Notes in Computer Science, 2020, vol. 12095, Springer, Cham. https://doi.org/10.1007/978-3-030-49988-4_30
34. Vestman V. et al., Speech Communication, 2018, vol. 99, рр. 62–79. https://doi.org/10.1016/j.specom.2018.02.009
35. Candan Ç., Signal Processing, 2020, vol. 166, no. 107256. https://doi.org/10.1016/j.sigpro.2019.107256
36. Tuncel K. S., Baydogan M. G., Pattern Recognition, 2018, vol. 73, рр. 202–215. https://doi.org/10.1016/j.patcog.2017.08.016
37. Savchenko V. V., Savchenko А. V., Radioelectronics and Communications Systems, 2019, vol. 62, рр. 276–286. https://doi.org/10.3103/S0735272719050042
38. Marple S. L., Digital Spectral Analysis with Applications, 2nd ed. Mineola, New York, Dover Publications, 2019, 432 p. URL: https://www.goodreads.com/book/show/19484239(датаобращения:14.08.2020).
Рецензия
Для цитирования:
Савченко Л.В., Савченко А.В. Метод измерений показателя динамики эмоционального состояния пользователя по речевому сигналу в режиме реального времени. Измерительная техника. 2021;(4):49-57. https://doi.org/10.32446/0368-1025it.2021-4-49-57
For citation:
Savchenko L.V., Savchenko A.V. The method of real-time acoustic measurement of dynamical changes in the speaker’s emotional state. Izmeritel`naya Tekhnika. 2021;(4):49-57. (In Russ.) https://doi.org/10.32446/0368-1025it.2021-4-49-57
Просмотров: 7
Послать статью по эл. почте 