Диалоговое управление коллаборативными роботами с помощью искусственных нейронных сетей

Рассмотрен коллаборативный робот как мобильное робототехническое устройство, способное по речевой команде человека выполнять те или иные действия, причем не обязательно в том же рабочем пространстве, в котором находится сам оператор. При этом предполагается двусторонний диалог человека и робота в целях уточнения задачи, ситуации, состояния робота и, возможно, самого оператора.

Комплексная задача управления, а скорее, задача взаимодействия человека с таким искусственным партнером потребовала применения новых средств управления, распознавания ситуации, ведения речевого диалога. В качестве средств, позволяющих не только решить весь комплекс задач, но и провести предварительное обучение робота, в этой работе выбрана комбинация нейронных сетей различного типа – конволюционных для распознавания образов, глубоких сетей для распознавания речи, нейросетей LSTM для автономного управления движением робота по наблюдаемой ситуации.

Работы в области управления мобильными и манипуляционными роботами, в том числе с участием человека, в течении ряда лет проводились на кафедре "Робототехнические системы и мехатроника" МГТУ им. Н. Э. Баумана, отмечающей свое семидесятилетие. Читатель может познакомиться с этими работами по библиографическому списку. По существу, результатом всех этих работ является законченная модель сервисного манипуляционного робота, которая может найти самое широкое применение.

1. Михайлов Б. Б., Назарова А. В., Ющенко А. С. Автономные мобильные роботы — навигация и управление // Известия ЮФУ. Технические науки, 2016. № 2(175). С. 48—67.

2. Ющенко А. С. Диалоговое управление роботами на основе нечеткой логики // Труды конференции "Экстремальная робототехника". С-Пб.: Политехника-сервис, 2015. С. 143—146.

3. Инь Шуай, Ющенко А. С. Коллаборативный робот — ассистент хирурга. С-Пб.: Политехника-сервис, 2019. C. 568—575.

4. Шуай Инь, Ющенко А. С. Диалоговая система управления роботом на базе теории конечных автоматов // Мехатроника, автоматизация и управление. 2019. Т. 20, № 11. С. 686—695.

5. Ющенко А. С. Интеллектуальное планирование в деятельности роботов // Мехатроника, автоматизация, управление. 2005. № 3. С.5—18.

6. Жонин А. А. Алгоритм обучения менеджера диалога речевой диалоговой системы управления роботом // Интегрированные модели и мягкие вычисления в искусственном интеллекте. Сб. научных трудов международной конференции. М.: ФИЗМАТЛИТ, 2011. C.395—406.

7. Nist´er D., Naroditsky O., Bergen J. Visual odometry for ground vehicle applications.// Journal of Field Robotics. Vol. 23(1). 2006. P. 3—20.

8. Девятериков Е. А. Алгоритм описания траектории мобильного робота по данным визуального одометра для автоматического возвращения к оператору // Наука и Образование. 2014. № 12. С.705—715.

9. Wang X., Lian Y., Li L. Localization of Autonomous Cars Using Multi-Sensor Data // Fusion Chinese Automation Congress. 2018. P. 4152—4155.

10. Девятериков Е. А., Михайлов Б. Б. Визуальный одометр // Вестник МГТУ им. Н. Э. Сер Приборостроение, Спецвыпуск "Робототехнические системы". 2012. № 6. C. 68—82.

11. Ющенко А. С., Зенкевич С. Л. Основы теории управления манипуляционными роботами. М.: Изд. МГТУ им. Н. Э. Баумана, 2004. 480 с.

12. Mellinger D., Kumar V. Minimum snap trajectory generation and control for quadrotors // IEEE International Conference on Robotics and Automation. 2011. P. 2520—2525.

13. Carius J., Ranftl R., Koltun V., Hutter M. Trajectory Optimization with Implicit Hard Contacts // IEEE Robotics and Automation Letters. 2018. Vol 3. P. 3326—3323.

14. Zenkevich S. L., Nazarova A. V., Zhu H. Logical Control a Group of Mobile Robots // Smart Electromechanical Systems Studies in Systems. 2019. Vol. 174. P. 32—43.

15. Zhao Z. Q., Zheng P., Xu S., Wu X. Object Detection with Deep Learning: A Review // IEEE Transactions on Neural Networks and Learning Systems 2019. Vol. 30. P. 3212—3232.

16. Yin S., Yuschenko A. Object Recognition of the Robotic System with Using a Parallel Convolutional Neural Network // Industry 40 Issues & New Intelligent Control Paradigms. 2019. Vol 272. P. 3—11.

17. Yin S., Yuschenko A. The application of the convolutional neural network to organize the work of a collaborative robot — surgeon assistant // Interactive Collaborative Robotics. 2019. P. 287—297.

18. Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation. 1997. N. 9 (8). P. 1735—1780.

19. Борисов Е. С. О рекуррентных нейронных сетях. URL: http://mechanoid.kiev.ua/neural-net-rnn.html

20. Ющенко А. С. Эргономические проблемы коллаборативной робототехники // Робототехника и техническая кибернетика. 2019. № 7 (2). C. 85—93.