novtexmechМехатроника, автоматизация, управлениеMekhatronika, Avtomatizatsiya, Upravlenie1684-64272619-1253Commercial Publisher «New Technologies»10.17587/mau.23.104-112novtexmech-1127Research ArticleРОБОТЫ, МЕХАТРОНИКА И РОБОТОТЕХНИЧЕСКИЕ СИСТЕМЫROBOT, MECHATRONICS AND ROBOTIC SYSTEMSМетод восстановления карты глубины в задачах управления роботами и мехатронными системамиDepth Map Reconstruction Method in Control Problems for Robots and Mechatronic SystemsЗеленскийА. А.ZelenskyA. A.

канд. техн. наук, доц.

Moscow, 115432

zelenskyaa@gmail.comГапонН. В.GaponN. V.

мл. науч. сотр. 

г. Ростов-на-Дону

Moscow, 115432

Rostov-on-Don, 344000

nikolay-rt@mail.ruЖдановаМ. М.ZhdanovaM. M.

мл. науч. сотр. 

Moscow, 115432

mpismenskova@mail.ruВоронинВ. В.VoroninV. V.

канд. техн. наук, доц. 

Voronin Viacheslav V., Ph.D., Associate Professor

Moscow, 115432

voronin_sl@mail.ruИлюхинЮ. В.IlyukhinY. V.

д-р техн. наук, проф. 

Moscow, 115432

y.ilyukhin@stankin.ruМосковский государственный технологический университет "СТАНКИН"РоссияCenter for Cognitive Technology and Machine Vision, Moscow State University of Technology "STANKIN"Russian FederationМосковский государственный технологический университет "СТАНКИН"; Донской государственный технический университетРоссияCenter for Cognitive Technology and Machine Vision, Moscow State University of Technology "STANKIN"; Don State Technical UniversityRussian Federation202206022022232104112Copyright © Commercial Publisher «New Technologies», 20222022Commercial Publisher «New Technologies»Commercial Publisher «New Technologies»https://mech.novtex.ru/jour/about/submissions#copyrightNoticehttps://mech.novtex.ru/jour/article/view/1127

В современных робототехнических и мехатронных системах востребованы технологии, позволяющие строить оптимальную траекторию движения их исполнительных механизмов. Такие технологии формируются при сочетании методов навигации и построения карты окружающего пространства на основе данных систем технического зрения и успешно применяются в робототехнике и мехатронике. Но есть проблема, состоящая в уменьшении точности планирования траектории движения, вызванная наличием некорректных участков на карте (карте глубины) из-за неправильного определения расстояния до объектов. Такие дефекты появляются в результате плохого освещения, зеркальной или мелкозернистой поверхности объектов. Это приводит к невозможности получения достоверной информации о глубине. В результате появляется эффект увеличения границ объектов (препятствий), а перекрытие объектов приводит к невозможности отличить один объект от другого.Решить данную проблему можно с помощью методов реконструкции изображений. В статье представлен подход на основе модифицированного алгоритма поиска похожих блоков, использующего концепцию кватернионов и анизотропного градиента. Анализ результатов исследования показывает, что предложенный метод позволяет корректно восстанавливать границы объектов на изображении карты глубины при восстановлении трехмерных сцен, что способствует повышению точности планирования траектории движения исполнительных механизмов робототехнических и мехатронных систем.

In modern robotic and mechatronic systems, technologies are in demand that makes it possible to build an optimal trajectory of movement of their actuators. Such technologies are formed by combining navigation methods and building a 3-D map of the surrounding space based on vision systems and are successfully used in robotics and mechatronics. But there is a problem, consisting of a decrease in the accuracy of planning the trajectory of movement, caused by incorrect sections on the map (depth map) due to incorrect determination of the distance to objects. Such defects appear as a result of poor lighting, specular or fine-grained surfaces of objects. This leads to the impossibility of obtaining reliable information about the depth. As a result, the effect of increasing the boundaries of objects (obstacles) appears, and the overlapping of objects makes it impossible to distinguish one object from another. This problem can be solved using image reconstruction methods. The article presents an approach based on a modified algorithm for searching for similar blocks using the concept of quaternions and anisotropic gradient. The analysis of the research results shows that the proposed method allows you to correctly restore the boundaries of objects on the depth map image when reconstructing 3-D scenes, which contributes to an increase in the accuracy of planning the trajectory of motion of the actuators robotic and mechatronic systems.

планирование траекториинавигация робототехнических комплексовреконструкция видеопоследовательностипространство кватернионованизотропный градиентнейронная сетьtrajectory planningRTC navigationvideo sequence reconstructionquaternion spaceanisotropic gradientneural networkИсследование выполнено за счет гранта Российского научного фонда No 21-79-10392, https://rscf.ru/project/21-79-10392/.The study was supported by a grant from the Russian Science Foundation No. 21-79-10392, https://rscf.ru/project/21-79-10392/.ReferencesЗеленский А. А., Франц В. А., Семенищев Е. А. Алгоритм планирования траектории рабочего органа манипулятора для привязки базисных систем координат с использованием технического зрения // Вестник машиностроения. 2019. № 10. С. 3—7.Zelensky A. A., Franz V. A., Semenishchev E. A. Algorithm for planning the trajectory of the working body of the manipulator for binding the basic coordinate systems using technical vision, Vestnik Mashinostroeniya, 2019, no. 10, pp. 3—7 (in Russian)Зеленский А. А., Стебулянин М. М., Абдуллин Т. Х., Харьков М. А. Реализация ускоренных вычислений прямой задачи кинематики для промышленных роботов // Вестник машиностроения. 2019. № 11. С. 28—31.Zelensky A. A., Stebulyanin M. M., Abdullin T. Kh., Kharkov M. A. Implementation of accelerated computations of the direct problem of kinematics for industrial robots, Vestnik Mashinostroeniya, 2019, no. 11, pp. 28—31 (in Russian)Gharatappeh S., Ghorbanian M., Keshmiri M., Taghirad H. D. Modified fast-SLAM for 2D mapping and 3D localization // 3rd RSI International Conference on Robotics and Mechatronics (ICROM). 2015. P. 108—113.Gharatappeh S., Ghorbanian M., Keshmiri M., Taghirad H. D. Modified fast-SLAM for 2D mapping and 3D localization, 3rd RSI International Conference on Robotics and Mechatronics (ICROM), 2015, pp. 108—113.Dissanayake G., Newman P. Durrant-Whyte H. F., Clark S., Csorba M. A solution to the simultaneous localization and map building (SLAM) problem // IEEE transaction robotic automation. 2001. N. 17(3). P. 229—241.Dissanayake G., Newman P. Durrant-Whyte H. F., Clark S., Csorba M. A solution to the simultaneous localization and map building (SLAM) problem, IEEE transaction robotic automation, 2001, no. 17(3), pp. 229—241.Bertalmio M., Bertozzi A. L., Sapiro G. Navier—Stokes, uid dynamics, and image and video inpainting // Proc. IEEE Conf. Comput. Vis. Pattern Recognition. 2001. P. 355—362.Bertalmio M., Bertozzi A. L., Sapiro G. Navier—Stokes, uid dynamics, and image and video inpainting, Proc. IEEE Conf. Comput. Vis. Pattern Recognition, 2001, pp. 355—362.Telea A. An image inpainting technique based on the fast marching method // Journal of graphics tools. 2004. Vol. 9, N.1. P. 23—34.Telea A. An image inpainting technique based on the fast marching method, Journal of graphics tools, 2004, vol. 9, no. 1, pp. 23—34.Voronin V. V., Marchuk V. I., Egiazarian K. O., Sherstobitov A. I. Image inpainting using cubic spline-based edge reconstruction // Proceedings of SPIE Image Processing: Algorithms and Systems X. 2012. Vol. 8295. P. 82950I.Voronin V. V., Marchuk V. I., Egiazarian K. O., Sherstobitov A. I. Image inpainting using cubic spline-based edge reconstruction, Proceedings of SPIE Image Processing: Algorithms and Systems X, 2012, vol. 8295, pp. 82950I.Chaudhury S., Roy H. Can fully convolutional networks perform well for general image restoration problems? // IEEE: Fifteenth IAPR International Conference on Machine Vision Applications (MVA). 2017. P. 254—257.Chaudhury S., Roy H. Can fully convolutional networks perform well for general image restoration problems? IEEE: Fifteenth IAPR International Conference on Machine Vision Applications (MVA), 2017, pp. 254—257.Liu M. Image inpainting and super-resolution using nonlocal recursive deep convolutional network with skip connections // Ninth International Conference on Digital Image Processing (ICDIP 2017). 2017. N. 10420. P. 104203A.Liu M. Image inpainting and super-resolution using nonlocal recursive deep convolutional network with skip connections, Ninth International Conference on Digital Image Processing (ICDIP 2017), 2017, no. 10420, pp. 104203A.Jiang L., Xiao S., He C. Kinect depth map inpainting using a multi-scale deep convolutional neural network //Proceedings of the 2018 International Conference on Image and Graphics Processing. 2018. P. 91—95.Jiang L., Xiao S., He C. Kinect depth map inpainting using a multi-scale deep convolutional neural network, Proceedings of the 2018 International Conference on Image and Graphics Processing, 2018, pp. 91—95.Voronin V. V., Marchuk V. I., Fisunov A. V., Tokareva S. V., Egiazarian K. O. Depth map occlusion filling and scene reconstruction using modified exemplar-based inpainting // Proc. SPIE 9399, Image Processing: Algorithms and Systems XIII. 2015. P. 93990S.Voronin V. V., Marchuk V. I., Fisunov A. V., Tokareva S. V., Egiazarian K. O. Depth map occlusion filling and scene reconstruction using modified exemplar-based inpainting, Proc. SPIE 9399, Image Processing: Algorithms and Systems XIII, 2015, pp. 93990S.Marchuk V. I., Voronin V. V., Frantz V. A. Development of 2D adaptive method of estimation reproduction for image reconstruction in incomplete a priori information // Telecommunications and Radio Engineering. 2013. Vol. 72, N. 13. P. 1255—1262.Marchuk V. I., Voronin V. V., Frantz V. A. Development of 2D adaptive method of estimation reproduction for image reconstruction in incomplete a priori information, Telecommunications and Radio Engineering, 2013, vol. 72(13), pp. 1255—1262.Criminisi A., Perez P., Toyama K. Region lling and object removal by exemplar-based image inpainting // IEEE Transactions on Image Processing. 2004. N. 13. P. 1200—1212.Criminisi A., Perez P., Toyama K. Region lling and object removal by exemplar-based image inpainting, IEEE Transactions on Image Processing, 2004, no. 13, pp. 1200—1212.Katkovnik V., Egiazarian K., Astola J. Local Approximation Techniques in Signal and Image Processing // SPIE Press, Bellingham. USA. Vol. PM157 2006.Katkovnik V., Egiazarian K., Astola J. Local Approximation Techniques in Signal and Image Processing, SPIE Press, Bellingham. USA, 2006, vol. PM157Voronin V., Zelensky A., Agaian S. The quaternionbased anisotropic gradient for the color images // Electronic Imaging, Image Processing: Algorithms and Systems XVII. 2019. P. 277-1—277-6.Voronin V., Zelensky A., Agaian S. The quaternion-based anisotropic gradient for the color images, Electronic Imaging, Image Processing: Algorithms and Systems XVII, 2019, pp. 277-1—277-6.Voronin V. V., Marchuk V. I., Egiazarian K. O. Images reconstruction using modied exemplar based method // SPIE Electronic Imaging. 2011. Vol. 7870. P. 78700N.Voronin V. V., Marchuk V. I., Egiazarian K. O. Images reconstruction using modied exemplar based method, SPIE Electronic Imaging, 2011, vol. 7870, pp. 78700N.Grigoryan A. M., Agaian S. S. Retooling of color imaging in the quaternion algebra // Applied Mathematics and Sciences: An International Journal (MathSJ). 2014. Vol. 1, N. 3. P. 23—39.Grigoryan A. M., Agaian S. S. Retooling of color imaging in the quaternion algebra, Applied Mathematics and Sciences: An International Journal (MathSJ), 2014, vol. 1, no. 3, pp. 23—39.Voronin V., Gapon N., Khamidullin I., Tokareva O., Cen Y., Zelensky A. Infrared image inpainting using hypercomplex analysis // Proc. SPIE 11537, SPIE Security + Defence, ElectroOptical and Infrared Systems: Technology and Applications XVII. 2020. P. 115370U.Voronin V., Gapon N., Khamidullin I., Tokareva O., Cen Y., Zelensky A. Infrared image inpainting using hypercomplex analysis, Proc. SPIE 11537, SPIE Security + Defence, ElectroOptical and Infrared Systems: Technology and Applications XVII, 2020, pp. 115370U.Foi A., Katkovnik V., Egiazarian K. Pointwise shapeadaptive DCT for high-quality denoising and deblocking of grayscale and color images // IEEE transactions on image processing. 2007. Vol. 16, N. 5. P. 1395—1411.Foi A., Katkovnik V., Egiazarian K. Pointwise shapeadaptive DCT for high-quality denoising and deblocking of grayscale and color images, IEEE transactions on image processing, 2007, vol. 16, no. 5, pp. 1395—1411.Kim Y., Ham B., Oh C., Sohn K. Structure selective depth super-resolution for RGB-D cameras // IEEE Trans. on Image Processing. 2016. Vol. 25, N. 11. P. 5527—38Kim Y., Ham B., Oh C., Sohn K. Structure selective depth super-resolution for RGB-D cameras, IEEE Trans. on Image Processing, 2016, vol. 25, no. 11, pp. 5527—38.Sturm J., Engelhard N., Endres F., Burgard W., Cremers D. A Benchmark for the Evaluation of RGB-D SLAM Systems // Proc. of the International Conference on Intelligent Robot Systems (IROS). 2012. P. 573—580.Sturm J., Engelhard N., Endres F., Burgard W., Cremers D. A Benchmark for the Evaluation of RGB-D SLAM Systems, Proc. of the International Conference on Intelligent Robot Systems (IROS), 2012, pp. 573—580.

The authors declare that there are no conflicts of interest present.