novtexmechМехатроника, автоматизация, управлениеMekhatronika, Avtomatizatsiya, Upravlenie1684-64272619-1253Commercial Publisher «New Technologies»10.17587/mau.22.567-576novtexmech-1080Research ArticleРОБОТЫ, МЕХАТРОНИКА И РОБОТОТЕХНИЧЕСКИЕ СИСТЕМЫROBOT, MECHATRONICS AND ROBOTIC SYSTEMSДиалоговое управление коллаборативными роботами с помощью искусственных нейронных сетейDialogue Control of Collaborative Robots Based on Artifi cial Neural NetworksЮщенкоА. С.YuschenkoA. S.

д-р техн. наук, проф.

Москва

Dr. Science Tech., Professor

Moscow, 105005, Russian Federation

arkadyus@mail.ruШуайИньShuaiYin

аспирант

Москва

Moscow, 105005, Russian Federation

shuai.yin@yandex.ruМосковский государственный технический университет им. Н. Э. Баумана (национальный исследовательский университет)РоссияBauman Moscow State Technical University (BMSTU)Russian Federation2021091120212211567576Copyright © Commercial Publisher «New Technologies», 20212021Commercial Publisher «New Technologies»Commercial Publisher «New Technologies»https://mech.novtex.ru/jour/about/submissions#copyrightNoticehttps://mech.novtex.ru/jour/article/view/1080

Рассмотрен коллаборативный робот как мобильное робототехническое устройство, способное по речевой команде человека выполнять те или иные действия, причем не обязательно в том же рабочем пространстве, в котором находится сам оператор. При этом предполагается двусторонний диалог человека и робота в целях уточнения задачи, ситуации, состояния робота и, возможно, самого оператора.

Комплексная задача управления, а скорее, задача взаимодействия человека с таким искусственным партнером потребовала применения новых средств управления, распознавания ситуации, ведения речевого диалога. В качестве средств, позволяющих не только решить весь комплекс задач, но и провести предварительное обучение робота, в этой работе выбрана комбинация нейронных сетей различного типа – конволюционных для распознавания образов, глубоких сетей для распознавания речи, нейросетей LSTM для автономного управления движением робота по наблюдаемой ситуации.

Работы в области управления мобильными и манипуляционными роботами, в том числе с участием человека, в течении ряда лет проводились на кафедре "Робототехнические системы и мехатроника" МГТУ им. Н. Э. Баумана, отмечающей свое семидесятилетие. Читатель может познакомиться с этими работами по библиографическому списку. По существу, результатом всех этих работ является законченная модель сервисного манипуляционного робота, которая может найти самое широкое применение.

Collaborative robotics progress is based on the possibility to apply robots to the wide range activity of peoples. Now the user can control the robot without any special knowledge in robotics and safe. The price of such possibilities is complication of control system of robot which now has to aquire an opportunity of autonomous behavior under human’s control, using the necessary sensors and elements of artificial intelligence. In our research we suppose the collaborative robot as mobile robotic device possible to fulfil some work under the human’s speech demands not only in the same space with the human. We also suppose the necessity of bilateral dialogue human-robot to make it clear the task, the current situation, the state as robot as human. The complex task of control, or may be the collaboration of human with his artificial partner need new means of control, situation recognition, speech dialogue management. As a mean to solve the whole complex of problems we propose the combination of different artificial neural networks. Such as convolution networks for image recognition, deep networks for speech recognition, LSTM networks for autonomous movement of robot control in current situation. Investigations in the field of mobile and manipulation robots including the human-robot control have been proceeded for some years in the department "Robotic systems and mechatronics" BMSTU celebrating now it 70th years Jubilee. The reader may find some of the works in the bibliography. In result of all these investigations we obtain the service robot model which may find a wide application.

мобильный коллаборативный роботнейронная сетьдиалоговое управлениеконволюционная сеть LSTMпланирование траекторииуправление движениемраспознавание образовSLAMmobile collaborative robotneural networkconvolutional LSTM networkdialogue controltrajectory planningmovement controlimages recognitionSLAMReferencesМихайлов Б. Б., Назарова А. В., Ющенко А. С. Автономные мобильные роботы — навигация и управление // Известия ЮФУ. Технические науки, 2016. № 2(175). С. 48—67.Mikhailov B. B., Nazarova A. V., Yuschenko A. S. Autonomous mobile robots — navigation and control, Izvestiya SFedU, Engineering Sciences, 2016, vol. 2(175), pp. 48—67.Ющенко А. С. Диалоговое управление роботами на основе нечеткой логики // Труды конференции "Экстремальная робототехника". С-Пб.: Политехника-сервис, 2015. С. 143—146.Yuschenko A. S. Dialogue Mode of Robot Control on the Base of Fuzzy Logic, Transaction of the Conference Extreme Robotics, S-Pb., 2015, pp. 143—146.Инь Шуай, Ющенко А. С. Коллаборативный робот — ассистент хирурга. С-Пб.: Политехника-сервис, 2019. C. 568—575.Shuai Yin, Yuschenko A. S. Collaborative robot — surgeon assistant, Transaction of the Conference Extreme Robotics, S-Pb., 2019, pp. 568—575.Шуай Инь, Ющенко А. С. Диалоговая система управления роботом на базе теории конечных автоматов // Мехатроника, автоматизация и управление. 2019. Т. 20, № 11. С. 686—695.Shuai Yin, Yuschenko A. S. Dialogue system of controlling robot based on the theory of finite automata, Mekhatronika, Avtomatizatsiya, Upravlenie, 2019, vol. 20, no. 11, pp. 686—695.Ющенко А. С. Интеллектуальное планирование в деятельности роботов // Мехатроника, автоматизация, управление. 2005. № 3. С.5—18.Yuschenko A. S. Intelligent Planning of Work of Robots, Mekhatronika, Avtomatizatsiya, Upravlenie, 2005, no. 3, pp. 5—18.Жонин А. А. Алгоритм обучения менеджера диалога речевой диалоговой системы управления роботом // Интегрированные модели и мягкие вычисления в искусственном интеллекте. Сб. научных трудов международной конференции. М.: ФИЗМАТЛИТ, 2011. C.395—406.Zhonin A. A. Training Algorithm for dialogue manager of a speech dialogue system, Integrated Models and Soft Calculations in Artificial Intelligence. Proceedings of International Conference, 2011, pp. 395—406.Nist´er D., Naroditsky O., Bergen J. Visual odometry for ground vehicle applications.// Journal of Field Robotics. Vol. 23(1). 2006. P. 3—20.Nist´er D., Naroditsky O., Bergen J. Visual odometry for ground vehicle applications, Journal of Field Robotics, 2006, vol. 23(1), pp. 3—20.Девятериков Е. А. Алгоритм описания траектории мобильного робота по данным визуального одометра для автоматического возвращения к оператору // Наука и Образование. 2014. № 12. С.705—715.Devetjarikov E. A. Algorithm of the trajectory planning for a mobile robot return to operator using the visual odometer datum, Nauka i Obrasovanie, 2014, no. 12, pp. 705—715.Wang X., Lian Y., Li L. Localization of Autonomous Cars Using Multi-Sensor Data // Fusion Chinese Automation Congress. 2018. P. 4152—4155.Wang X., Lian Y., Li L. Localization of Autonomous Cars Using Multi-Sensor Data, Fusion Chinese Automation Congress, 2018, pp. 4152—4155.Девятериков Е. А., Михайлов Б. Б. Визуальный одометр // Вестник МГТУ им. Н. Э. Сер Приборостроение, Спецвыпуск "Робототехнические системы". 2012. № 6. C. 68—82.Devetjarikov E. A, Mikhailov B. B. Visual odometer, Vestnik BMSTU Priborostroenie, 2012, Special issue no. 6 "Robotic Systems", pp. 68—82.Ющенко А. С., Зенкевич С. Л. Основы теории управления манипуляционными роботами. М.: Изд. МГТУ им. Н. Э. Баумана, 2004. 480 с.Yuschenko A. S., Zenkevich S. L. Basic of the manipulation robots control, Moscow, Publishing house of BMSTU, 2004, 480 p.Mellinger D., Kumar V. Minimum snap trajectory generation and control for quadrotors // IEEE International Conference on Robotics and Automation. 2011. P. 2520—2525.Mellinger D., Kumar V. Minimum snap trajectory generation and control for quadrotors, IEEE International Conference on Robotics and Automation, 2011, pp. 2520—2525.Carius J., Ranftl R., Koltun V., Hutter M. Trajectory Optimization with Implicit Hard Contacts // IEEE Robotics and Automation Letters. 2018. Vol 3. P. 3326—3323.Carius J., Ranftl R., Koltun V., Hutter M. Trajectory Optimization with Implicit Hard Contacts, IEEE Robotics and Automation Letters, 2018, vol. 3, pp. 3326—3323.Zenkevich S. L., Nazarova A. V., Zhu H. Logical Control a Group of Mobile Robots // Smart Electromechanical Systems Studies in Systems. 2019. Vol. 174. P. 32—43.Zenkevich S. L., Nazarova A. V., Zhu H. Logical Control a Group of Mobile Robots, Smart Electromechanical Systems Studies in Systems, 2019, vol. 174, pp. 32—43.Zhao Z. Q., Zheng P., Xu S., Wu X. Object Detection with Deep Learning: A Review // IEEE Transactions on Neural Networks and Learning Systems 2019. Vol. 30. P. 3212—3232.Zhao Z. Q., Zheng P., Xu S., Wu X. Object Detection with Deep Learning: A Review, IEEE Transactions on Neural Networks and Learning Systems, 2019, vol. 30, pp. 3212—3232.Yin S., Yuschenko A. Object Recognition of the Robotic System with Using a Parallel Convolutional Neural Network // Industry 40 Issues & New Intelligent Control Paradigms. 2019. Vol 272. P. 3—11.Yin S., Yuschenko A. Object Recognition of the Robotic System with Using a Parallel Convolutional Neural Network, Industry 40 Issues & New Intelligent Control Paradigms, 2019, vol. 272, pp. 3—11.Yin S., Yuschenko A. The application of the convolutional neural network to organize the work of a collaborative robot — surgeon assistant // Interactive Collaborative Robotics. 2019. P. 287—297.Yin S., Yuschenko A. The application of the convolutional neural network to organize the work of a collaborative robot — surgeon assistant, Interactive Collaborative Robotics, 2019, pp. 287—297.Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation. 1997. N. 9 (8). P. 1735—1780.Hochreiter S., Schmidhuber J. Long short-term memory, Neural Computation, 1997, vol. 9, no. 8, pp. 1735—1780.Борисов Е. С. О рекуррентных нейронных сетях. URL: http://mechanoid.kiev.ua/neural-net-rnn.htmlBorisov E. S. About recurrent neural networks, available at: http://mechanoid.kiev.ua/neural-net-rnn.html.Ющенко А. С. Эргономические проблемы коллаборативной робототехники // Робототехника и техническая кибернетика. 2019. № 7 (2). C. 85—93.Yuschenko A. S. Ergonomic problems of collaborative robotics, Robototechnika i Technichskaya Kybernetika, 2019, no. 7 (2), pp. 85—93.

The authors declare that there are no conflicts of interest present.