Система кругового обзора реального времени для мобильных робототехнических комплексов
https://doi.org/10.17587/mau.20.162-170
##article.abstract##
Обсуждается проблема повышения адекватности восприятия окружающей среды оператором мобильного робота при удаленном управлении. Предложен вариант системы кругового обзора реального времени для мобильных робототехнических комплексов на базе системы телекамер с перекрывающимися полями зрения с использованием fisheye-объективов (объективы типа "рыбий глаз"). Разработан макет модуля кругового обзора. Определены особенности архитектуры и программного обеспечения системы кругового обзора. Исследованы алгоритмы определения внутренних параметров телекамер и устранения дисторсий с использованием новых моделей описания искажений широкоугольных и сверхширокоугольных объективов. Реализованы алгоритмы нахождения внешних параметров телекамер, а также матриц гомографии с использованием инвариантных дескрипторов, использованы статические матрицы гомографии при склейке изображений в панораму. Исследованы и реализованы алгоритмы смешивания граничных областей склеиваемых кадров на базе методов типа " blending". Исследованы методы проективной геометрии и дополненной реальности для получения перспективного вида "от третьего лица". Предложен вариант поверхности для проецирования панорамы кругового обзора. Для реализации программного обеспечения выбран кроссплатформенный игровой движок "Unity". Определены направления дальнейших исследований.
##article.subject##
##article.authors.about##
В. В. ВарлашинРоссия
Аспирант, инженер 2-й категории.
М. А. Ершова
Россия
Научный сотрудник.
В. А. Буняков
Россия
Начальник лаборатории.
О. А. Шмаков
Россия
Начальник отдела.
Список литературы
1. Kadous M. W., Sheh R. K.-M., Sammut C. Effective user interface design for rescue robotics // ACM Conference on Human-Robot Interaction. ACM Press, 2006. P. 250—257.
2. Song Y., Shi Q., Huang Q., Fukuda T. Development of an omnidirectional vision system for environment perception // ‘ROBIO’, IEEE. 2014. P. 695—700.
3. Shi Q., Li C., Wang C., Luo H., Huang Q., Fukuda T. Design and implementation of an omnidirectional vision system for robot perception // Mechatronics. 2017. Vol. 41. P. 58—66.
4. Sato T., Moro A., Sugahara A., Tasaki T., Yamashita A., Asama H. Spatiotemporal bird’seye view images using multiple fisheye cameras // Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, Kobe, 2013. P. 753—758.
5. Lim S., Jun S., Jung I.-K. Wraparound View Equipped on Mobile Robot // World Academy of Science, Engineering and Technology International Journal of Electronics and Communication Engineering. 2012. Vol. 6, N. 3. P. 354—356.
6. Jung I.-K., Kim H., Jung W. S., Jeon S. A Remote Robot Control System based on AVM using Personal Smart Device // Recent Advances in Circuits. Communications and Signal Processing, 2013. P. 177—180.
7. Официальный сайт компании PointGrey. URL: www.ptgrey.com (дата обращения: 31.10.2017).
8. Официальный сайт компании GoPro. URL: gopro.com (дата обращения: 31.10.2017).
9. Yeh Y.-T., Peng C.-K., Chen K.-W., Chen Y.-S., Hung Y.-P. Driver Assistance System Providing an Intuitive Perspective View of Vehicle Surrounding // ACCV 2014 Workshops, Part II. Lecture Notes in Computer Science. Springer, 2014. Vol. 9009. P. 403—417.
10. Официальный сайт компании Nissan. URL: www.nissan-global.com/EN/TECHNOLOGY/OVERVIEW/avm.html (дата обращения: 31.10.2017).
11. Официальный сайт компании Fujitsu. URL: www.fujitsu.com/us/products/devices/semiconductor/gdc/products/omni.html (дата обращения: 31.10.2017).
12. Gurrieri L. E., Dubois E. Acquisition of omnidirectional stereoscopic images and videos of dynamic scenes: a review // Journal of Electronic Imaging. 2013. Vol. 22, N. 3. P. 1—21.
13. Schreer O., Kauff P., Eisert P., Weissig C., Rosenthal J.-C. Geometrical Design Concept for Panoramic 3D Video Acquisition // Signal Processing Conference (EUSIPCO). 2012. P. 2757—2761.
14. Aliakbarpour H., Tahri O., Araújo H. Visual servoing of mobile robots using non-central catadioptric cameras // Robotics and Autonomous Systems. 2014. Vol. 62, N. 11. P. 1613—1622.
15. Lin H.-Y., Wang M.-L. HOPIS: Hybrid Omnidirectional and Perspective Imaging System for Mobile Robots // Sensors. 2014. Vol. 14, N. 9. P. 16508—16531.
16. Лазаренко В. П., Джамийков Т. С., Коротаев В. В., Ярышев С. Н. Метод создания сферических панорам из изображений, полученных всенаправленными оптико-электронными системами // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16, № 1. С. 46—53.
17. Lazarenko V., Korotaev V., Yaryshev S. The algorithm for transformation of images from omnidirectional cameras // Proc. Latin America Optics and Photonics Conference (LAOP), Mexico. 2014.
18. Utsugi K., Moriya T. A Camera Revolver for Improved Image Stitching // Machine Vision Applications (MVA). 2002. P. 261—264.
19. Brown M., Lowe D. G. Automatic Panoramic Image Stitching using Invariant Features // Int. J. Comput. Vision. 2007. Vol. 74, N. 1. P. 59—73.
20. Sakharkar V. S., Gupta S. R. Image stitching Techniquesan overview // International Journal of Computer Science and Applications. 2013. vol. 6, no. 2. P. 324—330.
21. Samsung NX Series. Руководство по продуктам. URL: http://www.samsung.com/ru/pdf/NX_Lens_Guide_120606.pdf. (дата обращения: 28.11.2017).
22. Mei C., Rives P. Single View Point Omnidirectional Camera Calibration from Planar Grids // IEEE International Conference on Robotics and Automation (ICRA). 2007. P. 3945—3950.
23. Scaramuzza D., Martinelli A., Siegwart R. A Toolbox for Easily Calibrating Omnidirectional Cameras // IEEE International Conference on Intelligent Robots and Systems (IROS). 2006. P. 5695—5701.
24. Zuliani M. RANSAC for Dummies // Vision Research Lab. 2014. P.1-101. URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.475.1243&rep=rep1&type=pdf (accessed 18.12.2018).
25. Szeliski R. Image Alignment and Stitching: A Tutorial // FNT in Computer Graphics and Vision. 2006. Vol. 2, N. 1. P. 1—104.
26. Kashyap V., Agrawal P., Akhbari F. Real-time, Quasi Immersive, High Definition Automotive 3D Surround View System // Int’l Conf. IP, Comp. Vision, and Pattern Recognition. 2017. P. 10—16.
##reviewer.review.form##
##article.forCitation##
Варлашин В.В., Ершова М.А., Буняков В.А., Шмаков О.А. Система кругового обзора реального времени для мобильных робототехнических комплексов. Мехатроника, автоматизация, управление. 2019;20(3):162-170. https://doi.org/10.17587/mau.20.162-170
For citation:
Varlashin V.V., Ershova M.A., Bunyakov V.A., Shmakov O.U. Real-Time Surround-View System for Mobile Robotic System. Mekhatronika, Avtomatizatsiya, Upravlenie. 2019;20(3):162-170. (In Russ.) https://doi.org/10.17587/mau.20.162-170