Метод восстановления карты глубины в задачах управления роботами и мехатронными системами

В современных робототехнических и мехатронных системах востребованы технологии, позволяющие строить оптимальную траекторию движения их исполнительных механизмов. Такие технологии формируются при сочетании методов навигации и построения карты окружающего пространства на основе данных систем технического зрения и успешно применяются в робототехнике и мехатронике. Но есть проблема, состоящая в уменьшении точности планирования траектории движения, вызванная наличием некорректных участков на карте (карте глубины) из-за неправильного определения расстояния до объектов. Такие дефекты появляются в результате плохого освещения, зеркальной или мелкозернистой поверхности объектов. Это приводит к невозможности получения достоверной информации о глубине. В результате появляется эффект увеличения границ объектов (препятствий), а перекрытие объектов приводит к невозможности отличить один объект от другого.
Решить данную проблему можно с помощью методов реконструкции изображений. В статье представлен подход на основе модифицированного алгоритма поиска похожих блоков, использующего концепцию кватернионов и анизотропного градиента. Анализ результатов исследования показывает, что предложенный метод позволяет корректно восстанавливать границы объектов на изображении карты глубины при восстановлении трехмерных сцен, что способствует повышению точности планирования траектории движения исполнительных механизмов робототехнических и мехатронных систем.

1. Зеленский А. А., Франц В. А., Семенищев Е. А. Алгоритм планирования траектории рабочего органа манипулятора для привязки базисных систем координат с использованием технического зрения // Вестник машиностроения. 2019. № 10. С. 3—7.

2. Зеленский А. А., Стебулянин М. М., Абдуллин Т. Х., Харьков М. А. Реализация ускоренных вычислений прямой задачи кинематики для промышленных роботов // Вестник машиностроения. 2019. № 11. С. 28—31.

3. Gharatappeh S., Ghorbanian M., Keshmiri M., Taghirad H. D. Modified fast-SLAM for 2D mapping and 3D localization // 3rd RSI International Conference on Robotics and Mechatronics (ICROM). 2015. P. 108—113.

4. Dissanayake G., Newman P. Durrant-Whyte H. F., Clark S., Csorba M. A solution to the simultaneous localization and map building (SLAM) problem // IEEE transaction robotic automation. 2001. N. 17(3). P. 229—241.

5. Bertalmio M., Bertozzi A. L., Sapiro G. Navier—Stokes, uid dynamics, and image and video inpainting // Proc. IEEE Conf. Comput. Vis. Pattern Recognition. 2001. P. 355—362.

6. Telea A. An image inpainting technique based on the fast marching method // Journal of graphics tools. 2004. Vol. 9, N.1. P. 23—34.

7. Voronin V. V., Marchuk V. I., Egiazarian K. O., Sherstobitov A. I. Image inpainting using cubic spline-based edge reconstruction // Proceedings of SPIE Image Processing: Algorithms and Systems X. 2012. Vol. 8295. P. 82950I.

8. Chaudhury S., Roy H. Can fully convolutional networks perform well for general image restoration problems? // IEEE: Fifteenth IAPR International Conference on Machine Vision Applications (MVA). 2017. P. 254—257.

9. Liu M. Image inpainting and super-resolution using nonlocal recursive deep convolutional network with skip connections // Ninth International Conference on Digital Image Processing (ICDIP 2017). 2017. N. 10420. P. 104203A.

10. Jiang L., Xiao S., He C. Kinect depth map inpainting using a multi-scale deep convolutional neural network //Proceedings of the 2018 International Conference on Image and Graphics Processing. 2018. P. 91—95.

11. Voronin V. V., Marchuk V. I., Fisunov A. V., Tokareva S. V., Egiazarian K. O. Depth map occlusion filling and scene reconstruction using modified exemplar-based inpainting // Proc. SPIE 9399, Image Processing: Algorithms and Systems XIII. 2015. P. 93990S.

12. Marchuk V. I., Voronin V. V., Frantz V. A. Development of 2D adaptive method of estimation reproduction for image reconstruction in incomplete a priori information // Telecommunications and Radio Engineering. 2013. Vol. 72, N. 13. P. 1255—1262.

13. Criminisi A., Perez P., Toyama K. Region lling and object removal by exemplar-based image inpainting // IEEE Transactions on Image Processing. 2004. N. 13. P. 1200—1212.

14. Katkovnik V., Egiazarian K., Astola J. Local Approximation Techniques in Signal and Image Processing // SPIE Press, Bellingham. USA. Vol. PM157 2006.

15. Voronin V., Zelensky A., Agaian S. The quaternionbased anisotropic gradient for the color images // Electronic Imaging, Image Processing: Algorithms and Systems XVII. 2019. P. 277-1—277-6.

16. Voronin V. V., Marchuk V. I., Egiazarian K. O. Images reconstruction using modied exemplar based method // SPIE Electronic Imaging. 2011. Vol. 7870. P. 78700N.

17. Grigoryan A. M., Agaian S. S. Retooling of color imaging in the quaternion algebra // Applied Mathematics and Sciences: An International Journal (MathSJ). 2014. Vol. 1, N. 3. P. 23—39.

18. Voronin V., Gapon N., Khamidullin I., Tokareva O., Cen Y., Zelensky A. Infrared image inpainting using hypercomplex analysis // Proc. SPIE 11537, SPIE Security + Defence, ElectroOptical and Infrared Systems: Technology and Applications XVII. 2020. P. 115370U.

19. Foi A., Katkovnik V., Egiazarian K. Pointwise shapeadaptive DCT for high-quality denoising and deblocking of grayscale and color images // IEEE transactions on image processing. 2007. Vol. 16, N. 5. P. 1395—1411.

20. Kim Y., Ham B., Oh C., Sohn K. Structure selective depth super-resolution for RGB-D cameras // IEEE Trans. on Image Processing. 2016. Vol. 25, N. 11. P. 5527—38

21. Sturm J., Engelhard N., Endres F., Burgard W., Cremers D. A Benchmark for the Evaluation of RGB-D SLAM Systems // Proc. of the International Conference on Intelligent Robot Systems (IROS). 2012. P. 573—580.