novtexmechМехатроника, автоматизация, управлениеMekhatronika, Avtomatizatsiya, Upravlenie1684-64272619-1253Commercial Publisher «New Technologies»10.17587/mau.20.686-695novtexmech-716Research ArticleРОБОТЫ, МЕХАТРОНИКА И РОБОТОТЕХНИЧЕСКИЕ СИСТЕМЫROBOT, MECHATRONICS AND ROBOTIC SYSTEMSДиалоговая система управления роботом на базе теории конечных автоматовDialogue System of Controlling Robot Based on the Theory of Finite-State AutomataШуайИньShuaiYin

аспирант

Post-Graduate Student of Robotic Systems and Mechatronics Department

shuai.yin@yandex.ruЮщенкоА. С.YuschenkoA. S.

д-р техн. наук, проф.

yusch@bmstu.ruМосковский государственный технический университет им. Н. Э. БауманаРоссияBauman Moscow State Technical UniversityRussian Federation2019071120192011686695Copyright © Commercial Publisher «New Technologies», 20192019Commercial Publisher «New Technologies»Commercial Publisher «New Technologies»https://mech.novtex.ru/jour/about/submissions#copyrightNoticehttps://mech.novtex.ru/jour/article/view/716

Рассматривается система речевого диалогового управления манипуляционными роботами. Проведен анализ основных методов автоматического распознавания речи, понимания речи, управления диалогом, синтеза голосовых ответов в диалоговых системах. Рассмотрены три типа управления диалогом: "инициатива системы", "инициатива пользователя" и "комбинированная инициатива". Предложена система объектно-ориентированного диалогового управления роботом на основе теории конечных автоматов состояния с использованием глубокой нейронной сети. Основное отличие предложенной системы заключается в предварительном выполнении диалога, в процессе которого робот может выполнять движения, направленные на получение дополнительной информации. После этого робот выполняет поставленную задачу в автоматическом режиме. Такой способ построения диалогового управления роботом позволяет автоматически корректировать результат распознавания речи и соответствующих действий робота и выполнять диалоговое управление в темпе, близком к темпу работы хирурга с человеком-оператором.

Управление роботом возможно в двух режимах. Специальный режим дает возможность непосредственно управлять движениями манипулятора голосовыми командами пользователей. Общий режим расширяет возможности оператора, позволяя ему получить дополнительную информацию в реальном времени.

Необходимость коррекции результата распознавания речи и выполнения действий робота может быть вызвана особенностями речи пользователя, помехами в информационной системе или некорректными голосовыми командами.

Процесс коррекции состоит из трех этапов. На первом этапе выполняется непрерывное преобразование речи в текст в реальном масштабе времени с использованием глубокой нейронной сети, учитывающей особенности и скорость речи различных пользователей. На втором этапе осуществляется управление диалогом на основе теории конечных автоматов. Наконец, на третьем этапе осуществляется управление действиями робота с учетом его текущего состояния.

В целях реализации диалога между пользователем и роботом, близкого к естественному по темпу и по содержанию, создается база сценариев возможных диалогов.

В проведенных экспериментах разработанная диалоговая система использовалась для управления манипулятором KUKA. Диалоговая система реализована в среде Python. Управление роботом осуществлялось с помощью программного обеспечения RoboDK. Результаты экспериментов подтвердили работоспособность и эффективность диалоговой системы управления р оботом. Получена достаточно высокая точность распознавания (92 %); при этом скорость автоматического распознавания речи позволяла вести диалог в темпе, близком к темпу естественной речи. 

The article discusses the system of dialogue control manipulation robots. The analysis of the basic methods of automatic speech recognition, speech understanding, dialogue management, voice response synthesis in dialogue systems has been carried out. Three types of dialogue management are considered as "system initiative", "user initiative" and "combined initiative". A system of object-oriented dialog control of a robot based on the theory of finite state machines with using a deep neural network is proposed. The main difference of the proposed system lies in the separate implementation of the dialogue process and robot’s actions, which is close to the pace of natural dialogue control. This method of constructing a dialogue control robot allows system to automatically correct the result of speech recognition, robot’s actions based on tasks. The necessity of correcting the result of speech recognition and robot’s actions may be caused by the users’ accent, working environment noise or incorrect voice commands. The process of correcting speech recognition results and robot’s actions consists of three stages, respectively, in a special mode and a general mode. The special mode allows users to directly control the manipulator by voice commands. The general mode extends the capabilities of users, allowing them to get additional information in real time. At the first stage, continuous speech recognition is built by using a deep neural network, taking into account the accents and speech speeds of various users. Continuous speech recognition is a real-time voice to text conversion. At the second stage, the correction of the speech recognition result by managing the dialogue based on the theory of finite automata. At the third stage, the actions of the robot are corrected depending on the operating state of the robot and the dialogue management process. In order to realize a natural dialogue between users and robots, the problem is solved in creating a small database of possible dialogues and using various training data. In the experiments, the dialogue system is used to control the KUKA manipulator (KRC4 control) to put the desired block in the specified location, implemented in the Python environment using the RoboDK software. The processes and results of experiments confirming the operability of the interactive robot control system are given. A fairly high accuracy (92 %) and an automatic speech recognition rate close to the rate of natural speech were obtained.

глубокая нейронная сетьскрытая марковская модельобучениеуправление диалогомконечный автомат состояниясистема управления роботомdeep neural networkhidden Markov modeltrainingdialogue controlfinite state machinerobot control systemReferencesJurafsky D., Martin J. H. Speech and Language Processing: An introduction to natural language processing, computational linguistics, and speech recognition. Pearson, 2014. P. 273—543.Jurafsky D., Martin J. H. Speech and Language Processing: An introduction to natural language processing, computational linguistics, and speech recognition, Pearson, 2014, pp. 273—543.Sergienko R. Text Classification for Spoken Dialogue Systems. Institute of Telecommunications and Institute of Artificial Intelligence, 2016. P. 17—58.Sergienko R. Text Classification for Spoken Dialogue Systems, Institute of Telecommunications and Institute of Artificial Intelligence, 2016, pp. 17—58.Mansour A. H., Salh G. Z. A., Mohammed K. A. Voice Recognition using Dynamic Time Warping and Mel-Frequency Cepstral Coefficients Algorithms // International Journal of Computer Applications. 2015. P. 34—41.Mansour A. H., Salh G. Z. A., Mohammed K. A. Voice Recognition using Dynamic Time Warping and Mel-Frequency Cepstral Coefficients Algorithms, International Journal of Computer Applications, 2015, pp. 34—41.Yu Z. S., Kobayashi H. An Efficient Forward-Backward Algorithm for an Explicit-Duration Hidden Markov Model // IEEE Signal Processing Letters. 2003. P. 11—14.Yu Z. S., Kobayashi H. An Efficient Forward-Backward Algorithm for an Explicit-Duration Hidden Markov Model, IEEE Signal Processing Letters, 2003, pp. 11—14.Tu S. Derivation of Baum-Welch Algorithm for Hidden Markov Models. URL:https://people.eecs.berkeley.edu/~stephentu/writeups/hmm-baum-welch-derivation.pdfTu S. Derivation of Baum-Welch Algorithm for Hidden Markov Models, available at: https://people.eecs.berkeley. edu/~stephentu/writeups/hmm-baum-welch-derivation.pdfTao C. A generalization of discrete hidden Markov model and of Viterbi algorithm // Department of Computer Science. 1992. P. 1381—1387.Tao C. A generalization of discrete hidden Markov model and of Viterbi algorithm, Department of Computer Science, 1992, pp. 1381—1387.Rabiner L. R. A tutorial on hidden Markov models and selected applications in speech recognition // Proceeding of the IEEE. 1989. Р. 257—286.Rabiner L. R. A tutorial on hidden Markov models and selected applications in speech recognition, Proceeding of the IEEE, 1989, pp. 257—286.Rabiner L., Juang B. H. Fundamentals of Speech Recognition. Prentice-Hall, Upper Saddle River, 1993. P. 321—386.Rabiner L., Juang B. H. Fundamentals of Speech Recognition, Prentice-Hall, Upper Saddle River, 1993, pp. 321—386.Arisoy E., Sainath T., Kingsbury B., Ramabhadean B. Deep neural network language model // In proceedings of the Joint Human Language Technology Conference and the North American Chapter of the Association of Computational Linguistics Workshop. 2012. P. 20—28.Arisoy E., Sainath T., Kingsbury B., Ramabhadean B. Deep neural network language modela, In proceedings of the Joint Human Language Technology Conference and the North American Chapter of the Association of Computational Linguistics Workshop, 2012, pp. 20—28.Dong Y., Li. D. Automatic Speech Recognition (A Deep Learning Approach). London: Springer-Verlag, 2015. P. 13—48Dong Y., Li D. Automatic Speech Recognition (A Deep Learning Approach), Springer-Verlag, London, 2015, pp. 13—48.Pauls A., Klein D. Faster and smaller N-gram language models // Annual Meeting of the Association for Computation Linguistics: Human Language Technologies. 2011. P. 258—267.Pauls A., Klein D. Faster and smaller N-gram language modelas, Annual Meeting of the Association for Computation Linguistics: Human Language Technologies, 2011, pp. 258—267.Ющенко А. С. Диалоговое управление роботами на основе нечеткой логики // Тр. Междунар. науч.-техн. конф. "Экстремальная робототехника", 25—26 сентября 2012. Санкт-Петербург: Политехника-сервис, 2012. С. 29—36.Yuschenko A. S. Interactive robot control based on fuzzy logic, Proceedings of the international scientific-technical conference "Extreme Robotics", September 25—26 2012, St. Petersburg, Polytechnic service, 2012, pp. 29—36 (in Russian).Meza-Ruiz I. V., Riedel S., Lemon O. Spoken language understanding in dialogue systems, using a 2-layer Markov logic network // Improving semantic accuracy. Semantics and Pragmatics of Dialogue (LONDIAL’08). 2008. P. 191—192.Meza-Ruiz I. V., Riedel S., Lemon O. Spoken language understanding in dialogue systems, using a 2-layer Markov logic network, Improving semantic accuracy. Semantics and Pragmatics of Dialogue (LONDIAL’08), 2008, pp. 191—192.Williams J. D. Web-style ranking and slu combination for dialog state tracking // Annual Meeting of the Special Interest Group on Discourse and Dialogue. 2014. P. 282—291.Williams J. D. Web-style ranking and slu combination for dialog state tracking, Annual Meeting of the Special Interest Group on Discourse and Dialogue, 2014, pp. 282—291.Henderson M., Thomson B., Young S. J. Deep Neural Network Approach for the Dialog State Tracking Challenge // Proceedings of SIGDIAL. 2013. P. 467—471.Henderson M., Thomson B., Young S. J. Deep Neural Network Approach for the Dialog State Tracking Challenge, Proceedings of SIGDIAL, 2013, pp. 467—471.Thomson B., Young S. Bayesian update of dialogue state: A POMDP framework for spoken dialogue systems // Computer Speech & Language. 2010. P. 562—588.Thomson B., Young S. Bayesian update of dialogue state: A POMDP framework for spoken dialogue systems, Computer Speech & Language, 2010, pp. 562—588.Pieraccini R., Huerta M. J. Where do we go from here? research and commercial spoken dialog systems // SIGdial Workshop on Discourse and Dialogue. 2005. P. 1—24.Pieraccini R., Huerta M. J. Where do we go from here? research and commercial spoken dialog systems, SIGdial Workshop on Discourse and Dialogue, 2005, рp. 1—24.Thomson B., Young S. Bayesian update of dialogue state: A POMDP (the partially observable Markov decision process) framework for spoken dialogue systems // Computer Speech & Language. 2010. P. 562—588.Thomson B., Young S. Bayesian update of dialogue state: A POMDP (the partially observable Markov decision process) framework for spoken dialogue systems, Computer Speech & Language, 2010, рp. 562—588.Yuschenko A. S., Morozov D. N., Zhonin A. A. Speech control for mobile Robotic systems // Proc. of 4th International Conference "Mechatronic Systems and Materials" MSM-2008, Byalostok, Poland, July 2008. P. 14—17.Yuschenko A. S., Morozov D. N., Zhonin A. A. Speech control for mobile Robotic systems, Proc.of 4th International Conference "Mechatronic Systems and Materials" MSM-2008, Byalostok, Poland, July, 2008, pp. 14—17.Жонин А. А. Алгоритм обучения менеджера диалога речевой диалоговой системы управления роботом // Интегрированные модели и мягкие вычисления в искусственном интеллекте. Сб. научн. тр. междунар. конф. М.: Физ.-мат. лит., 2011. С. 395—406.Zhonin A. A. Algorithm for learning the dialogue manager of the dialogue robot control system, Integrated models and soft computing in artificial intelligence. Sat scientific papers of the international conference, Moscow, Phys. mat. Lit. 2011, pp. 395—406 (in Russian).Ющенко А. С. Интеллектуальное планирование в деятельности роботов // Мехатроника, автоматизация, управление. 2005. № 3. С. 5—18.Yuschenko A. S. Intellectual planning in the activities of robots, Mekhatronika, Avtomatizatsiya, Upravlenie, 2005, no. 3, pp. 5—18 (in Russian)Huang J., Rathod V., Sun C., Zhu M. l., Korattikara A. Speed/accuracy trade-offs for modern convolutional object detectors // Computer Vision and Pattern Recognition, 2017.Huang J., Rathod V., Sun C., Zhu M. l., Korattikara A. Speed/accuracy trade-offs for modern convolutional object detectors, Computer Vision and Pattern Recognition, 2017.

The authors declare that there are no conflicts of interest present.