Диалоговая система управления роботом на базе теории конечных автоматов

Рассматривается система речевого диалогового управления манипуляционными роботами. Проведен анализ основных методов автоматического распознавания речи, понимания речи, управления диалогом, синтеза голосовых ответов в диалоговых системах. Рассмотрены три типа управления диалогом: "инициатива системы", "инициатива пользователя" и "комбинированная инициатива". Предложена система объектно-ориентированного диалогового управления роботом на основе теории конечных автоматов состояния с использованием глубокой нейронной сети. Основное отличие предложенной системы заключается в предварительном выполнении диалога, в процессе которого робот может выполнять движения, направленные на получение дополнительной информации. После этого робот выполняет поставленную задачу в автоматическом режиме. Такой способ построения диалогового управления роботом позволяет автоматически корректировать результат распознавания речи и соответствующих действий робота и выполнять диалоговое управление в темпе, близком к темпу работы хирурга с человеком-оператором.

Управление роботом возможно в двух режимах. Специальный режим дает возможность непосредственно управлять движениями манипулятора голосовыми командами пользователей. Общий режим расширяет возможности оператора, позволяя ему получить дополнительную информацию в реальном времени.

Необходимость коррекции результата распознавания речи и выполнения действий робота может быть вызвана особенностями речи пользователя, помехами в информационной системе или некорректными голосовыми командами.

Процесс коррекции состоит из трех этапов. На первом этапе выполняется непрерывное преобразование речи в текст в реальном масштабе времени с использованием глубокой нейронной сети, учитывающей особенности и скорость речи различных пользователей. На втором этапе осуществляется управление диалогом на основе теории конечных автоматов. Наконец, на третьем этапе осуществляется управление действиями робота с учетом его текущего состояния.

В целях реализации диалога между пользователем и роботом, близкого к естественному по темпу и по содержанию, создается база сценариев возможных диалогов.

В проведенных экспериментах разработанная диалоговая система использовалась для управления манипулятором KUKA. Диалоговая система реализована в среде Python. Управление роботом осуществлялось с помощью программного обеспечения RoboDK. Результаты экспериментов подтвердили работоспособность и эффективность диалоговой системы управления р оботом. Получена достаточно высокая точность распознавания (92 %); при этом скорость автоматического распознавания речи позволяла вести диалог в темпе, близком к темпу естественной речи. 

1. Jurafsky D., Martin J. H. Speech and Language Processing: An introduction to natural language processing, computational linguistics, and speech recognition. Pearson, 2014. P. 273—543.

2. Sergienko R. Text Classification for Spoken Dialogue Systems. Institute of Telecommunications and Institute of Artificial Intelligence, 2016. P. 17—58.

3. Mansour A. H., Salh G. Z. A., Mohammed K. A. Voice Recognition using Dynamic Time Warping and Mel-Frequency Cepstral Coefficients Algorithms // International Journal of Computer Applications. 2015. P. 34—41.

4. Yu Z. S., Kobayashi H. An Efficient Forward-Backward Algorithm for an Explicit-Duration Hidden Markov Model // IEEE Signal Processing Letters. 2003. P. 11—14.

5. Tu S. Derivation of Baum-Welch Algorithm for Hidden Markov Models. URL:https://people.eecs.berkeley.edu/~stephentu/writeups/hmm-baum-welch-derivation.pdf

6. Tao C. A generalization of discrete hidden Markov model and of Viterbi algorithm // Department of Computer Science. 1992. P. 1381—1387.

7. Rabiner L. R. A tutorial on hidden Markov models and selected applications in speech recognition // Proceeding of the IEEE. 1989. Р. 257—286.

8. Rabiner L., Juang B. H. Fundamentals of Speech Recognition. Prentice-Hall, Upper Saddle River, 1993. P. 321—386.

9. Arisoy E., Sainath T., Kingsbury B., Ramabhadean B. Deep neural network language model // In proceedings of the Joint Human Language Technology Conference and the North American Chapter of the Association of Computational Linguistics Workshop. 2012. P. 20—28.

10. Dong Y., Li. D. Automatic Speech Recognition (A Deep Learning Approach). London: Springer-Verlag, 2015. P. 13—48

11. Pauls A., Klein D. Faster and smaller N-gram language models // Annual Meeting of the Association for Computation Linguistics: Human Language Technologies. 2011. P. 258—267.

12. Ющенко А. С. Диалоговое управление роботами на основе нечеткой логики // Тр. Междунар. науч.-техн. конф. "Экстремальная робототехника", 25—26 сентября 2012. Санкт-Петербург: Политехника-сервис, 2012. С. 29—36.

13. Meza-Ruiz I. V., Riedel S., Lemon O. Spoken language understanding in dialogue systems, using a 2-layer Markov logic network // Improving semantic accuracy. Semantics and Pragmatics of Dialogue (LONDIAL’08). 2008. P. 191—192.

14. Williams J. D. Web-style ranking and slu combination for dialog state tracking // Annual Meeting of the Special Interest Group on Discourse and Dialogue. 2014. P. 282—291.

15. Henderson M., Thomson B., Young S. J. Deep Neural Network Approach for the Dialog State Tracking Challenge // Proceedings of SIGDIAL. 2013. P. 467—471.

16. Thomson B., Young S. Bayesian update of dialogue state: A POMDP framework for spoken dialogue systems // Computer Speech & Language. 2010. P. 562—588.

17. Pieraccini R., Huerta M. J. Where do we go from here? research and commercial spoken dialog systems // SIGdial Workshop on Discourse and Dialogue. 2005. P. 1—24.

18. Thomson B., Young S. Bayesian update of dialogue state: A POMDP (the partially observable Markov decision process) framework for spoken dialogue systems // Computer Speech & Language. 2010. P. 562—588.

19. Yuschenko A. S., Morozov D. N., Zhonin A. A. Speech control for mobile Robotic systems // Proc. of 4th International Conference "Mechatronic Systems and Materials" MSM-2008, Byalostok, Poland, July 2008. P. 14—17.

20. Жонин А. А. Алгоритм обучения менеджера диалога речевой диалоговой системы управления роботом // Интегрированные модели и мягкие вычисления в искусственном интеллекте. Сб. научн. тр. междунар. конф. М.: Физ.-мат. лит., 2011. С. 395—406.

21. Ющенко А. С. Интеллектуальное планирование в деятельности роботов // Мехатроника, автоматизация, управление. 2005. № 3. С. 5—18.

22. Huang J., Rathod V., Sun C., Zhu M. l., Korattikara A. Speed/accuracy trade-offs for modern convolutional object detectors // Computer Vision and Pattern Recognition, 2017.