Система кругового обзора реального времени для мобильных робототехнических комплексов

Обсуждается проблема повышения адекватности восприятия окружающей среды оператором мобильного робота при удаленном управлении. Предложен вариант системы кругового обзора реального времени для мобильных робототехнических комплексов на базе системы телекамер с перекрывающимися полями зрения с использованием fisheye-объективов (объективы типа "рыбий глаз"). Разработан макет модуля кругового обзора. Определены особенности архитектуры и программного обеспечения системы кругового обзора. Исследованы алгоритмы определения внутренних параметров телекамер и устранения дисторсий с использованием новых моделей описания искажений широкоугольных и сверхширокоугольных объективов. Реализованы алгоритмы нахождения внешних параметров телекамер, а также  матриц гомографии  с  использованием инвариантных  дескрипторов, использованы  статические  матрицы гомографии при склейке изображений в панораму. Исследованы и реализованы алгоритмы смешивания граничных областей склеиваемых кадров на базе методов типа " blending". Исследованы методы проективной геометрии и дополненной реальности для получения перспективного вида "от третьего лица". Предложен вариант поверхности для проецирования панорамы кругового обзора. Для реализации программного обеспечения выбран кроссплатформенный игровой движок "Unity". Определены направления дальнейших исследований.

1. Kadous M. W., Sheh R. K.-M., Sammut C. Effective user interface design for rescue robotics // ACM Conference on Human-Robot Interaction. ACM Press, 2006. P. 250—257.

2. Song Y., Shi Q., Huang Q., Fukuda T. Development of an omnidirectional vision system for environment perception // ‘ROBIO’, IEEE. 2014. P. 695—700.

3. Shi Q., Li C., Wang C., Luo H., Huang Q., Fukuda T. Design and implementation of an omnidirectional vision system for robot perception // Mechatronics. 2017. Vol. 41. P. 58—66.

4. Sato T., Moro A., Sugahara A., Tasaki T., Yamashita A., Asama H. Spatiotemporal bird’seye view images using multiple fisheye cameras // Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, Kobe, 2013. P. 753—758.

5. Lim S., Jun S., Jung I.-K. Wraparound View Equipped on Mobile Robot // World Academy of Science, Engineering and Technology International Journal of Electronics and Communication Engineering. 2012. Vol. 6, N. 3. P. 354—356.

6. Jung I.-K., Kim H., Jung W. S., Jeon S. A Remote Robot Control System based on AVM using Personal Smart Device // Recent Advances in Circuits. Communications and Signal Processing, 2013. P. 177—180.

7. Официальный сайт компании PointGrey. URL: www.ptgrey.com (дата обращения: 31.10.2017).

8. Официальный сайт компании GoPro. URL: gopro.com (дата обращения: 31.10.2017).

9. Yeh Y.-T., Peng C.-K., Chen K.-W., Chen Y.-S., Hung Y.-P. Driver Assistance System Providing an Intuitive Perspective View of Vehicle Surrounding // ACCV 2014 Workshops, Part II. Lecture Notes in Computer Science. Springer, 2014. Vol. 9009. P. 403—417.

10. Официальный сайт компании Nissan. URL: www.nissan-global.com/EN/TECHNOLOGY/OVERVIEW/avm.html (дата обращения: 31.10.2017).

11. Официальный сайт компании Fujitsu. URL: www.fujitsu.com/us/products/devices/semiconductor/gdc/products/omni.html (дата обращения: 31.10.2017).

12. Gurrieri L. E., Dubois E. Acquisition of omnidirectional stereoscopic images and videos of dynamic scenes: a review // Journal of Electronic Imaging. 2013. Vol. 22, N. 3. P. 1—21.

13. Schreer O., Kauff P., Eisert P., Weissig C., Rosenthal J.-C. Geometrical Design Concept for Panoramic 3D Video Acquisition // Signal Processing Conference (EUSIPCO). 2012. P. 2757—2761.

14. Aliakbarpour H., Tahri O., Araújo H. Visual servoing of mobile robots using non-central catadioptric cameras // Robotics and Autonomous Systems. 2014. Vol. 62, N. 11. P. 1613—1622.

15. Lin H.-Y., Wang M.-L. HOPIS: Hybrid Omnidirectional and Perspective Imaging System for Mobile Robots // Sensors. 2014. Vol. 14, N. 9. P. 16508—16531.

16. Лазаренко В. П., Джамийков Т. С., Коротаев В. В., Ярышев С. Н. Метод создания сферических панорам из изображений, полученных всенаправленными оптико-электронными системами // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16, № 1. С. 46—53.

17. Lazarenko V., Korotaev V., Yaryshev S. The algorithm for transformation of images from omnidirectional cameras // Proc. Latin America Optics and Photonics Conference (LAOP), Mexico. 2014.

18. Utsugi K., Moriya T. A Camera Revolver for Improved Image Stitching // Machine Vision Applications (MVA). 2002. P. 261—264.

19. Brown M., Lowe D. G. Automatic Panoramic Image Stitching using Invariant Features // Int. J. Comput. Vision. 2007. Vol. 74, N. 1. P. 59—73.

20. Sakharkar V. S., Gupta S. R. Image stitching Techniquesan overview // International Journal of Computer Science and Applications. 2013. vol. 6, no. 2. P. 324—330.

21. Samsung NX Series. Руководство по продуктам. URL: http://www.samsung.com/ru/pdf/NX_Lens_Guide_120606.pdf. (дата обращения: 28.11.2017).

22. Mei C., Rives P. Single View Point Omnidirectional Camera Calibration from Planar Grids // IEEE International Conference on Robotics and Automation (ICRA). 2007. P. 3945—3950.

23. Scaramuzza D., Martinelli A., Siegwart R. A Toolbox for Easily Calibrating Omnidirectional Cameras // IEEE International Conference on Intelligent Robots and Systems (IROS). 2006. P. 5695—5701.

24. Zuliani M. RANSAC for Dummies // Vision Research Lab. 2014. P.1-101. URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.475.1243&rep=rep1&type=pdf (accessed 18.12.2018).

25. Szeliski R. Image Alignment and Stitching: A Tutorial // FNT in Computer Graphics and Vision. 2006. Vol. 2, N. 1. P. 1—104.

26. Kashyap V., Agrawal P., Akhbari F. Real-time, Quasi Immersive, High Definition Automotive 3D Surround View System // Int’l Conf. IP, Comp. Vision, and Pattern Recognition. 2017. P. 10—16.