novtexmechМехатроника, автоматизация, управлениеMekhatronika, Avtomatizatsiya, Upravlenie1684-64272619-1253Commercial Publisher «New Technologies»10.17587/mau.22.594-600novtexmech-1083Research ArticleРОБОТЫ, МЕХАТРОНИКА И РОБОТОТЕХНИЧЕСКИЕ СИСТЕМЫROBOT, MECHATRONICS AND ROBOTIC SYSTEMSЭкстремальная навигация по 3D-изображениям в мобильной робототехникеExtreme 3D Image Navigation in Mobile RoboticsНосковВ. П.NoskovV. P.

канд. тех. наук, заведующий сектором НИИ СМ, доц. кафедры СМ7

Москва

PhD. Bauman

Moscow,105005, Russian Federation

noskov_mstu@mail.ruГубернаторовД. В.GubernatorovD. V.

магистр

Москва

Moscow,105005, Russian Federation

gubernatorovdanil@gmail.comМосковский государственный технический университет им. Н. Э. Баумана (национальный исследовательский университет)РоссияBauman Moscow State Technical UniversityRussian Federation2021091120212211594600Copyright © Commercial Publisher «New Technologies», 20212021Commercial Publisher «New Technologies»Commercial Publisher «New Technologies»https://mech.novtex.ru/jour/about/submissions#copyrightNoticehttps://mech.novtex.ru/jour/article/view/1083

Исследована форма функционала разности 3D-изображений для различных сред (помещения, индустриально-городская среда, пересеченная и лесистая местности). Сформулированы требования к характеристикам сенсора и геометрии внешней среды, выполнение которых обеспечивает корректную постановку и решение задачи экстремальной навигации. Описаны оптимальные способы сканирования окружающего пространства и обоснованы условия, выполнение которых обеспечивает решение навигационной задачи предложенным алгоритмом в реальном времени (в темпе движения) при обработке 3D-изображений, формируемых современными 3D-лазерными сенсорами. В частности, описана зависимость между частотой формирования 3D-изображений и угловыми и линейными скоростями движения, обеспечивающая попадание в многомерный интервал унимодальности функционала разности 3D-изображений, что гарантирует прямой поиск его глобального минимума в реальном времени. Опробованы различные методы прямого поиска глобального минимума функционала и выбраны наиболее быстродействующие для рассматриваемого случая. Выполнена оценка точности решения задачи навигации и предложен способ снижения накапливаемой ошибки, основанный на использовании для коррекции вычисленного значения текущих координат более "старого" 3D-изображения, имеющего пересечение зоны обзора с зоной обзора текущего изображения. Предложенный способ, являющийся модификацией метода опорных изображений, позволяет снизить суммарную ошибку, растущую пропорционально числу циклов решения задачи экстремальной навигации, до значений, обеспечивающих автономное функционирование транспортных роботов и БПЛА в заранее не подготовленных и неизвестных средах. Эффективность предложенных алгоритмических и разработанных программно-аппаратных средств экстремальной навигации подтверждена натурными экспериментами, проведенными в реальных условиях различных сред.

The actual problem of determining all six coordinates of the current position of a mobile robot (unmanned aerial vehicle) from 3D-range-finding images (point clouds) generated by an onboard 3D laser sensor when moving (flying) in an unknown environment is considered. An extreme navigation algorithm based on using multidimensional optimization methods is proposed. The rules for calculating the difference between 3D images of the external environment used for optimization of the functional are described. The form of the functional of the difference of 3D images for different environments (premises, industrial-urban environment, rugged and wooded areas) has been investigated. Requirements for the characteristics of the sensor and the geometry of the external environment are formulated, the fulfillment of which ensures the correct formulation and solution of the problem of extreme navigation. The optimal methods of scanning the surrounding space are described and the conditions are substantiated, the fulfillment of which ensures the solution of the navigation problem by the proposed algorithm in real time (at the rate of movement) when processing 3D images formed by modern 3D laser sensors. In particular, the dependence between the frequency of formation of 3D images and the angular and linear velocities of motion is described, which ensures that the functional of the difference of 3D images falls into the multidimensional interval of unimodality, which guarantees a direct search of global minimum in real time. Various methods of direct search for the global minimum of the functional are tested and the  fastest for the case under consideration are selected. The accuracy of solving the navigation problem is estimated and a method is proposed to reduce the accumulated error, based on using an older 3D image for correcting the calculated value of the current coordinates, which has an intersection of the view area with the current view area. The proposed method, which is a modification of the reference image method, allows reduce the total error, which grows in proportion to the number of cycles of solving the extreme navigation problem, to values that ensure the autonomous functioning of transport robots and UAVs in previously unprepared and unknown environments. The effectiveness of the proposed algorithmic and developed software and hardware for extreme navigation is confirmed by field experiments carried out in real conditions of various environments.

лазерный сенсор3D-дальнометрическое изображениеэкстремальная навигациязадача многомерной оптимизацииlaser sensor3D range-finding imagesextreme navigationmultidimensional optimization problemReferencesМихайлов Б. Б., Назарова А. В., Ющенко А. С. Автономные мобильные роботы — навигация и управление // Известия ЮФУ. Технические науки, 2016. № 2(175). С. 48—67.Mikhailov B. B., Nazarova A. V., Yuschenko A. S. Autonomous mobile robots — navigation and control, Izvestiya SFedU, Engineering Sciences, 2016, vol. 2(175), pp. 48—67.Ющенко А. С. Диалоговое управление роботами на основе нечеткой логики // Труды конференции "Экстремальная робототехника". С-Пб.: Политехника-сервис, 2015. С. 143—146.Yuschenko A. S. Dialogue Mode of Robot Control on the Base of Fuzzy Logic, Transaction of the Conference Extreme Robotics, S-Pb., 2015, pp. 143—146.Инь Шуай, Ющенко А. С. Коллаборативный робот — ассистент хирурга. С-Пб.: Политехника-сервис, 2019. C. 568—575.Shuai Yin, Yuschenko A. S. Collaborative robot — surgeon assistant, Transaction of the Conference Extreme Robotics, S-Pb., 2019, pp. 568—575.Шуай Инь, Ющенко А. С. Диалоговая система управления роботом на базе теории конечных автоматов // Мехатроника, автоматизация и управление. 2019. Т. 20, № 11. С. 686—695.Shuai Yin, Yuschenko A. S. Dialogue system of controlling robot based on the theory of finite automata, Mekhatronika, Avtomatizatsiya, Upravlenie, 2019, vol. 20, no. 11, pp. 686—695.Ющенко А. С. Интеллектуальное планирование в деятельности роботов // Мехатроника, автоматизация, управление. 2005. № 3. С.5—18.Yuschenko A. S. Intelligent Planning of Work of Robots, Mekhatronika, Avtomatizatsiya, Upravlenie, 2005, no. 3, pp. 5—18.Жонин А. А. Алгоритм обучения менеджера диалога речевой диалоговой системы управления роботом // Интегрированные модели и мягкие вычисления в искусственном интеллекте. Сб. научных трудов международной конференции. М.: ФИЗМАТЛИТ, 2011. C.395—406.Zhonin A. A. Training Algorithm for dialogue manager of a speech dialogue system, Integrated Models and Soft Calculations in Artificial Intelligence. Proceedings of International Conference, 2011, pp. 395—406.Nist´er D., Naroditsky O., Bergen J. Visual odometry for ground vehicle applications.// Journal of Field Robotics. Vol. 23(1). 2006. P. 3—20.Nist´er D., Naroditsky O., Bergen J. Visual odometry for ground vehicle applications, Journal of Field Robotics, 2006, vol. 23(1), pp. 3—20.Девятериков Е. А. Алгоритм описания траектории мобильного робота по данным визуального одометра для автоматического возвращения к оператору // Наука и Образование. 2014. № 12. С.705—715.Devetjarikov E. A. Algorithm of the trajectory planning for a mobile robot return to operator using the visual odometer datum, Nauka i Obrasovanie, 2014, no. 12, pp. 705—715.Wang X., Lian Y., Li L. Localization of Autonomous Cars Using Multi-Sensor Data // Fusion Chinese Automation Congress. 2018. P. 4152—4155.Wang X., Lian Y., Li L. Localization of Autonomous Cars Using Multi-Sensor Data, Fusion Chinese Automation Congress, 2018, pp. 4152—4155.Девятериков Е. А., Михайлов Б. Б. Визуальный одометр // Вестник МГТУ им. Н. Э. Сер Приборостроение, Спецвыпуск "Робототехнические системы". 2012. № 6. C. 68—82.Devetjarikov E. A, Mikhailov B. B. Visual odometer, Vestnik BMSTU Priborostroenie, 2012, Special issue no. 6 "Robotic Systems", pp. 68—82.Ющенко А. С., Зенкевич С. Л. Основы теории управления манипуляционными роботами. М.: Изд. МГТУ им. Н. Э. Баумана, 2004. 480 с.Yuschenko A. S., Zenkevich S. L. Basic of the manipulation robots control, Moscow, Publishing house of BMSTU, 2004, 480 p.Mellinger D., Kumar V. Minimum snap trajectory generation and control for quadrotors // IEEE International Conference on Robotics and Automation. 2011. P. 2520—2525.Mellinger D., Kumar V. Minimum snap trajectory generation and control for quadrotors, IEEE International Conference on Robotics and Automation, 2011, pp. 2520—2525.Carius J., Ranftl R., Koltun V., Hutter M. Trajectory Optimization with Implicit Hard Contacts // IEEE Robotics and Automation Letters. 2018. Vol 3. P. 3326—3323.Carius J., Ranftl R., Koltun V., Hutter M. Trajectory Optimization with Implicit Hard Contacts, IEEE Robotics and Automation Letters, 2018, vol. 3, pp. 3326—3323.Zenkevich S. L., Nazarova A. V., Zhu H. Logical Control a Group of Mobile Robots // Smart Electromechanical Systems Studies in Systems. 2019. Vol. 174. P. 32—43.Zenkevich S. L., Nazarova A. V., Zhu H. Logical Control a Group of Mobile Robots, Smart Electromechanical Systems Studies in Systems, 2019, vol. 174, pp. 32—43.Zhao Z. Q., Zheng P., Xu S., Wu X. Object Detection with Deep Learning: A Review // IEEE Transactions on Neural Networks and Learning Systems 2019. Vol. 30. P. 3212—3232.Zhao Z. Q., Zheng P., Xu S., Wu X. Object Detection with Deep Learning: A Review, IEEE Transactions on Neural Networks and Learning Systems, 2019, vol. 30, pp. 3212—3232.Yin S., Yuschenko A. Object Recognition of the Robotic System with Using a Parallel Convolutional Neural Network // Industry 40 Issues & New Intelligent Control Paradigms. 2019. Vol 272. P. 3—11.Yin S., Yuschenko A. Object Recognition of the Robotic System with Using a Parallel Convolutional Neural Network, Industry 40 Issues & New Intelligent Control Paradigms, 2019, vol. 272, pp. 3—11.Yin S., Yuschenko A. The application of the convolutional neural network to organize the work of a collaborative robot — surgeon assistant // Interactive Collaborative Robotics. 2019. P. 287—297.Yin S., Yuschenko A. The application of the convolutional neural network to organize the work of a collaborative robot — surgeon assistant, Interactive Collaborative Robotics, 2019, pp. 287—297.Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation. 1997. N. 9 (8). P. 1735—1780.Hochreiter S., Schmidhuber J. Long short-term memory, Neural Computation, 1997, vol. 9, no. 8, pp. 1735—1780.Борисов Е. С. О рекуррентных нейронных сетях. URL: http://mechanoid.kiev.ua/neural-net-rnn.htmlBorisov E. S. About recurrent neural networks, available at: http://mechanoid.kiev.ua/neural-net-rnn.html.Ющенко А. С. Эргономические проблемы коллаборативной робототехники // Робототехника и техническая кибернетика. 2019. № 7 (2). C. 85—93.Yuschenko A. S. Ergonomic problems of collaborative robotics, Robototechnika i Technichskaya Kybernetika, 2019, no. 7 (2), pp. 85—93.

The authors declare that there are no conflicts of interest present.