novtexmechМехатроника, автоматизация, управлениеMekhatronika, Avtomatizatsiya, Upravlenie1684-64272619-1253Commercial Publisher «New Technologies»10.17587/mau.22.644-649novtexmech-1098Research ArticleРОБОТЫ, МЕХАТРОНИКА И РОБОТОТЕХНИЧЕСКИЕ СИСТЕМЫROBOT, MECHATRONICS AND ROBOTIC SYSTEMSНовый подход к преобразованию перспективы изображений в системах телеметрии роботовA New Approach to Images’ Pespective Transformation in Robotics TelemetryБельченкоФ. М.BelchenkoF. M.

Аспирант, программист

г. Москва

Belchenko Fillip M., Programming Engineer

Moscow, 119526

philepp@mail.ruЕрмоловИ. Л.ErmolovI. L.

Доктор технических наук, профессор РАН

г. Москва

Moscow, 119526

ermolov@ipmnet.ruИнститут проблем механики им. А. Ю. Ишлинского РАНРоссияIshlinsky Institute for Problems in Mechanics RASRussian Federation2021011220212212644649Copyright © Commercial Publisher «New Technologies», 20212021Commercial Publisher «New Technologies»Commercial Publisher «New Technologies»https://mech.novtex.ru/jour/about/submissions#copyrightNoticehttps://mech.novtex.ru/jour/article/view/1098

Телеуправляемые (дистанционно управляемые) роботы составляют значительную часть современного парка роботов и используются для разведки местности и контроля состояния важных объектов, в качестве военных роботов, роботов-саперов и т. д. Применение телеуправления с участием оператора связано с несовершенством современных автономных робототехнических комплексов, поскольку в определенных ситуациях необходимо быстро и точно принимать решения.

В данной работе исследуются проблемы отображения видеоинформации на мониторах операторов робототехнических комплексов. Рассматриваются особенности представления объемного изображения на плоскости, основанные на теории представления перцептивного пространства. Исследуются технологии в области систем телеметрии и технического зрения, использованные при составлении карт местности по проекту Stanley в рамках конкурса DARPA. Целью работы является изучение возможностей повышения скорости реакции и снижения процента ошибок операторов при управлении робототехническими комплексами, вызванных недостоверностью или низким качеством передаваемого изображения. Научная новизна исследования заключается в новых знаниях о применимости целевых искажений в изображениях, передаваемых человеку-оператору, что позволяет повысить эффективность восприятия информации человеком-оператором и, как следствие, улучшить управление технической системой.

Основное внимание уделяется разработке программного обеспечения, реализующего технологию преобразования перспективы изображений. Рассматриваются возможности применения матриц перспективного преобразования при работе с телеуправляемым робототехническим комплексом. Разработана статическая модель программного обеспечения. Для улучшения достоверности передачи информации и исправления дисторсии на передаваемом видеоизображении разработана программа работы видеокамеры с внесением искажений перспективы. По итогам работы испытан прототип системы телеметрии для отработки различных сценариев внесения целевых искажений перспективы. Исследования технологии проводятся совместно с Институтом медико-биологических проблем РАН.

Remotely controlled robots are the majority of contemporary robots’ population. As a rule such robots are used for inspection, patrolling, mines disposal. This is caused by a fact that today’s level of robots’ autonomy is rather low and autonomous robots can not secure reliable performance. However performance of remotely operated robots depends largely on efficiency of information perception by human-operator. This paper studies images representation to operators on robots’ control pendants. More specifically it studies 3D images representation on flat displays. The goal of this study is to increased reaction rate and decrease errors done by robot’s operator due to image’s uncertainty or poor quality. Our main attention is paid to the development of software that implements the technology of transforming the perspective of images. Matrixes for perspective transformation are studied. Hence application of these matrixes within remotely operated robots is discussed. A novelty of this research is in new knowledge about perspective transformation which is done for a better information perception by human-operator and, as an outcome, to increase efficiency of remotely operated robots. The related technologies in the field of telemetry and technical vision systems have been investigated. Also considered are works in medical fields, in particular, the psychology of perception of images and space. A static software model has been developed. The video camera has been implemented with the introduction of perspective distortions to improve the reliability of the transmission of the necessary areas in the image. Research on the technology is carried out jointly with the Institute of Biomedical Problems of the Russian Academy of Sciences. A special prototype for perspective transformation basing on various scenarios is being developed.

телеметрияробототехнический комплекспреобразование перспективысистема технического зренияrobotic systemsperception transformationmachine visionЧасть работы над данным материалом выполнена по теме государственного задания (№ госрегистрации АААА-А20-120011690138-6).This work was partially supported by the Ministry of Science and Higher Education of Russian Federation within the framework of the Russian State Assignment under contract No. AAAA-А20-120011690138-6.ReferencesStoianovici D. et al. Multi-Imager Compatible, MR Safe, Remote Center of Motion Needle-Guide Robot // IEEE Transactions on Biomedical Engineering. 2018. Vol. 65, N.1. P. 165—177. Doi: 10.1109/TBME.2017.2697766.Stoianovici D. et al. Multi-Imager Compatible, MR Safe, Remote Center of Motion Needle-Guide Robot, IEEE Transactions on Biomedical Engineering, 2018, vol. 65, no.1, pp. 165—177, Doi: 10.1109/TBME.2017.2697766.Ermolov I. A novel data fusion architecture for unmanned vehicles // 21TH International Symposium On Measurement And Control In Robotics ISMCR’2018. 26—28 September 2018. Vol. 3.Ermolov I. Hierarchical data fusion architecture for autonomous systems,ACTA IMEKO, 2019, vol. 8, no. 4, pp. 28—32.Ковалев А. М. О визуально воспринимаемом пространстве предметов // Автометрия. 2003. Т. 39, № 6. С. 3—12.Kovalev A. M. About visually percepted space of objects, Avtometrija, 2003, vol. 39, no. 6, pp. 3—12 (in Russian).Раушенбах Б. В. Геометрия картины и зрительное восприятие. СПб.: Азбука-классика, 2002. 320 с.Rauschenbach B. V. Picture’s geometry and visual perception, S.-Petersburg, Azbuka-klassika, 2002 (in Russian).Thrun S., Montemerlo M., Dahlkamp H., Stavens D., Aron A., Diebel J., Fong P., Gale J., Halpenny M., Hoffmann G., Lau K., Oakley C., Palatucci M., Pratt V., Stang P., Strohband S., Dupont C., Jendrossek L. E., Koelen C., Markey C., Rummel C., Niekerk J., Jensen E., Alessandrini P., Bradski G., Davies B., Ettinger S., Kaehler A., Nefian A., Mahoney P. Stanley: The Robot That Won the DARPA Grand Challenge // The 2005 DARPA Grand Challenge. 2007. Springer Tracts in Advanced Robotics. Vol. 36. P. 1. doi:10.1007/978-3-540-73429-1_1.Thrun S., Montemerlo M., Dahlkamp H., Stavens D., Aron A., Diebel J., Fong P., Gale J., Halpenny M., Hoffmann G., Lau K., Oakley C., Palatucci M., Pratt V., Stang P., Strohband S., Dupont C., Jendrossek L. E., Koelen C., Markey C., Rummel C., Niekerk J., Jensen E., Alessandrini P., Bradski G., Davies B., Ettinger S., Kaehler A., Nefian A., Mahoney P. Stanley: The Robot That Won the DARPA Grand Challenge, The 2005 DARPA Grand Challenge. Springer Tracts in Advanced Robotics, 2007, vol. 36, p. 1, DOI: 10.1007/978-3-540-73429-1_1.Garsia G., Suares O., Aranda G., Tersero S., Grasoa O., Enano N. Learning Image Processing with OpenCV. USA, Publisher Packt, 2015. 232 p.Garsia G., Suares O., Aranda G., Tersero S., Grasoa O., Enano N. Learning Image Processing with OpenCV, Publisher Packt, USA, 2015, 232 p.Бельченко Ф. М., Ермолов И. Л. Разработка концепции системы телеметрии РТК с возможностью внесения целевых искажений отображаемого пространства // Робототехника и техническая кибернетика. 2021. Т. 9, № 1. С. 26—31.Belchenko F. M., Ermolov I. L. Concept development of telemetry system for robotic systems with the ability to introduce targeted distortions of displayed space, Robotics and Technical Cybernetics, 2021, vol. 9, no. 1 (in Russian).Беляев М. Ю., Десинов Л. В., Крикалев С. К., Кумакшев С. А., Секерж-Зенькович С. Я. Идентификация системы океанских волн по фотоснимкам из космоса // Известия Российской академии наук. Теория и системы управления. 2009. № 1. С. 117—127.Belyaev M. Yu., Desinov L. V., Krikalev S. K., Kumakshev S. A., Sekerzh-Zen’kovich S. Ya. Identification of a system of oceanic waves based on space imagery, Journal of Computer and Systems Sciences International, 2009, vol. 48, no. 1.Беляев М. Ю., Виноградов П. В., Десинов Л. В., Кумакшев С. А., Секерж-Зенькович С. Я. Идентификация по фотоснимкам из космоса источника океанских кольцевых волн вблизи острова Дарвин // Известия Российской академии наук. Теория и системы управления. 2011. № 1. С. 70—83.Belyaev M. Y., Vinogradov P. V., Desinov L. V., Kumakshev S. A., Sekerzh-Zen’Kovich S. Y. Identification of a source of oceanic ring waves near Darwin’s Island based on space photos, Journal of Computer and Systems Sciences International, 2011, vol. 50, no. 1, pp. 70—83 (in Russian).Алиев Р. Н., Ермолов И. Л. Преобразование изображения с камеры мобильного робота к системе перцептивной перспективы // Тр. конф. "Робототехника и мехатроника — 2015" в составе МКПУ-2015. 2015. С. 60—62.Aliev R. N., Ermolov I. L. Transformation of camera image via perceptive perspective, Proc. of "Robotics and Mechatronics — 2015" Conference, Gelendzhik, 2015. pp. 60—62 (in Russian).URL: https://russianblogs.com/article/5658585388/ (дата обращения: 18.07.2021)Available at: https://russianblogs.com/article/5658585388/ (data: 18.07.2021).URL: https://ip76.ru/perspective-transformation/ (дата обращения: 18.08.2020).Available at: https://ip76.ru/perspective-transformation/ (data: 18.08.2020).Рожкова Г. И., Алексеенко С. В. Зрительный дискомфорт при восприятии стереоскопических изображений как следствие непривычного распределения нагрузки на различные механизмы зрительной системы // Мир техники кино. 2011. Т. 5, № 3 (21). С. 12—21.Rozhkova G. I., Alekseenko S. V. Visual discomfort in the perception of stereoscopic images as a result of the unusual distribution of the load on various mechanisms of the visual system, The world of cinema technology, 2011, vol. 5, no. 3 (21), pp. 12—21 (in Russian).Oliva A., Torralba A. Scene-Centered Description from Spatial Envelope Properties // Proc. 2nd Workshop on Biologically Motivated Computer Vision (BMCV’02), Tubingen, Germany. 2002.Oliva A., Torralba A. Scene-Centered Description from Spatial Envelope Properties, Proc. 2nd Workshop on Biologically Motivated Computer Vision (BMCV’02),Tubingen, Germany, 2002.Oliva A., Torralba A. Modeling the shape of the scene: a holistic representation of the spatial envelope // International Journal of Computer Vision. 2001. Vol. 42, N. 3. P. 145—175.Oliva A., Torralba A. Modeling the shape of the scene: a holistic representation of the spatial envelope, International Journal of Computer Vision,, 2001, vol. 42(3), pp. 145—175.ГОСТ Р ИСО/МЭК 15910—2002. Информационная технология. Процесс создания документации пользователя программного средства. ВНИИстандарт.GOST R ISO/IEC 15910—2002. Information technology. Software user documentation process (in Russian).

The authors declare that there are no conflicts of interest present.