Preview

Мехатроника, автоматизация, управление

Расширенный поиск
Доступ открыт Открытый доступ  Доступ закрыт Только для подписчиков

Распределенная система локализации объектов в рабочей зоне модульного реконфигурируемого мобильного робота

https://doi.org/10.17587/mau.22.634-643

Полный текст:

Аннотация

Предлагается новый подход к локализации объектов в рабочей зоне модульного реконфигурируемого робота (МРР), предполагающий установку роботом стационарных опорных измерительных пунктов (ОИП), состоящих из отделяемых от него модулей. В основе данного подхода лежит ранее предложенная авторами архитектура системы управления МРР и новый метод сопоставления информации о скорости и положении объектов, получаемой с различных сенсоров. Суть подхода состоит в следующем: прибыв в зону выполнения задачи, МРР выделяет из своего состава ОИП, содержащий источник питания, вычислительное устройство, беспроводной приемопередатчик и сенсор. ОИП осуществляют слежение за рабочей зоной с использованием разнородных датчиков (камер, дальномеров и т. д.), сегментацию объектов по получаемым измерениям и передачу этой информации на борт робота. Далее с использованием нового метода сопоставления информации о скорости и положении объектов происходит сопоставление измерений, полученных с различных сенсоров, что позволяет локализовать объекты даже в тех случаях, когда они не видны для части ОИП. Одним из ключевых преимуществ нового подхода является возможность его реализации в распределенной архитектуре МРР. Проведенные модельные экспериментальные исследования показали, что по критерию качества отслеживания Multiple Object Tracking Accuracy (MOTA) метод имеет оценку 86 %, что превосходит большинство известных аналогов, а динамическая ошибка локализации объектов в рабочей зоне 8Ѕ7 м с использованием двух камер и одного дальномера не превышает 10 см.

Об авторах

М. А. Волкова
МИРЭА — Российский технологический университет
Россия

Старший преподаватель



А. М. Романов
МИРЭА — Российский технологический университет
Россия

Кандидат технических наук, доцент



М. П. Романов
МИРЭА — Российский технологический университет
Россия

Доктор технических наук, профессор



Список литературы

1. Billard A., Kragic D. Trends and challenges in robot manipulation // Science. 2019. Vol. 364, N. 6446. P. eaat8414.

2. Yasuda Y. D. V., Martins L. E. G., Cappabianco F. A. M. Autonomous visual navigation for mobile robots: A systematic literature review // ACM Computing Surveys (CSUR). 2020. Vol. 53, N. 1. P. 1—34.

3. Tolani V. et al. Visual navigation among humans with optimal control as a supervisor // IEEE Robotics and Automation Letters. 2021. Vol. 6, N. 2. P. 2288—2295.

4. Payá L., Gil A., Reinoso O. A state-of-the-art review on mapping and localization of mobile robots using omnidirectional vision sensors // Journal of Sensors. 2017. Vol. 2017. P. 1—20.

5. Chen H. et al. Vision and laser fused SLAM in indoor environments with multi-robot system // Assembly Automation. 2019. Vol. 39, N. 2. P. 297—307.

6. Tang B., Jiang L. Binocular stereovision omnidirectional motion handling robot // International Journal of Advanced Robotic Systems. 2020. Vol. 17, N. 3. P. 1729881420926852.

7. Kuo C. Y. et al. Development of an immersive SLAMbased VR system for teleoperation of a mobile manipulator in an unknown environment // Computers in Industry. 2021. Vol. 132. P. 103502.

8. Romanov A. M. et al. A Navigation System for Intelligent Mobile Robots // 2019 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). IEEE, 2019. P. 652—656.

9. Yang Y. et al. 3D multiview basketball players detection and localization based on probabilistic occupancy // 2018 Digital Image Computing: Techniques and Applications (DICTA). IEEE, 2018. P. 1—8.

10. Егорцев М. В., Диане С. А. К., Кац Н. Д. Алгоритмическое обеспечение системы внешнего наблюдения и маршрутизации автономных мобильных роботов // Российский технологический журнал. 2021. Т. 9, № 3. С. 15—23.

11. Ben Y., Cengiz K. Research on Visual Orientation Guidance of Industrial Robot Based on CAD Model under Binocular Vision // Computer-Aided Design and Applications. 2022. Vol. 19. N. S2. P. 52—63.

12. Srigrarom S. et al. Multi-camera Multi-drone Detection, Tracking and Localization with Trajectory-based Re-identification // 2021 Second International Symposium on Instrumentation, Control, Artificial Intelligence, and Robotics (ICA-SYMP). IEEE, 2021. P. 1—6.

13. Park S. et al. Survey on Anti-Drone Systems: Components, Designs, and Challenges // IEEE Access. 2021. Vol. 9. P. 42635—42659.

14. Khalyasmaa A. I. et. al. Diagnostic system for OHL state assessment // 2015 International Siberian Conference on Control and Communications (SIBCON). IEEE, 2015. P. 1—5.

15. Khalyasmaa A. I. et. al. Robotic intelligence laboratory for overhead transmission lines assessment // 2016 57th International Scientific Conference on Power and Electrical Engineering of Riga Technical University (RTUCON). IEEE, 2016. P. 1—6.

16. Schuster M. J. et al. Distributed stereo vision-based 6D localization and mapping for multi-robot teams // Journal of Field Robotics. 2019. Vol. 36, N. 2. P. 305—332.

17. Андреев В. П., Подураев Ю. В. Функционально-модульный принцип построения гетерогенных мобильных роботов // Экстремальная робототехника. 2016. Т. 1, № 1. С. 39—49.

18. Romanov A. M., Romanov M. P., Shestakov E. I. A novel architecture for control systems of modular reconfigurable robots // 2017 IEEE II International Conference on Control in Technical Systems (CTS). IEEE, 2017. P. 131—134.

19. Yao R. et al. Video object segmentation and tracking: A survey // ACM Transactions on Intelligent Systems and Technology (TIST). 2020. Vol. 11, N. 4. P. 1—47.

20. Li Y., Ibanez-Guzman J. Lidar for autonomous driving: The principles, challenges, and trends for automotive lidar and perception systems // IEEE Signal Processing Magazine. 2020. Vol. 37, N. 4. P. 50—61.

21. Minaee S. et al. Image segmentation using deep learning: A survey //IEEE Transactions on Pattern Analysis and Machine Intelligence. 2021.

22. Ariff S. A. M. et al. Exploratory Study of 3d Point Cloud Triangulation for Smart City Modelling and Visualization // The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences. 2020. Vol. 44. P. 71—79.

23. Álvarez H. et al. A Multi Camera and Multi Laser Calibration Method for 3D Reconstruction of Revolution Parts // Sensors. 2021. Vol. 21, N. 3. P. 765.

24. Llamazares Á., Molinos E. J., Oca a M. Detection and tracking of moving obstacles (DATMO): a review // Robotica. 2020. Vol. 38, N. 5. P. 761—774.

25. Zhang Z. et al. Multiple target tracking based on multiple hypotheses tracking and modified ensemble Kalman filter in multi-sensor fusion // Sensors. 2019. Vol. 19, N. 14. P. 3118.

26. Sekii T. Robust, real-time 3d tracking of multiple objects with similar appearances // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016. P. 4275—4283.

27. Sun Q. et al. Multiple object tracking for yellow feather broilers based on foreground detection and deep learning // INMATEH-Agricultural Engineering. 2019. Vol. 58, N. 2.

28. Мокшин В. В., Кирпичников А. П., Шарнин Л. М. Отслеживание объектов в видеопотоке по значимым признакам на основе фильтрации частиц // Вестник Казанского технологического университета. 2013. Vol. 16, N. 18. P. 306—310.

29. Zhou J., Kwan C. Tracking of multiple pixel targets using multiple cameras // International Symposium on Neural Networks. Springer, Cham, 2018. P. 484—493.

30. Eshel R., Moses Y. Homography based multiple camera detection and tracking of people in a dense crowd // 2008 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2008. P. 1—8.

31. Teizer J., Caldas C. H., Haas C. T. Real-time threedimensional occupancy grid modeling for the detection and tracking of construction resources // Journal of Construction Engineering and Management. 2007. Vol. 133, N. 11. P. 880—888.

32. Coué C. et al. Bayesian occupancy filtering for multitarget tracking: an automotive application // The International Journal of Robotics Research. 2006. Vol. 25, N. 1. P. 19—30.

33. Gindele T. et al. Bayesian occupancy grid filter for dynamic environments using prior map knowledge // 2009 IEEE Intelligent Vehicles Symposium. IEEE, 2009. P. 669—676.

34. Nuss D., Yuan T., Krehl G., Stuebler M., Reuter S., Dietmayer K. Fusion of laser and radar sensor datawith a sequential Monte Carlo Bayesian occupancy filter // Proceedings of the 2015 IEEE Intelligent VehiclesSymposium (IV), Seoul, Korea, 28 June—1 July 2015. P. 1074—1081.

35. Taj M., Cavallaro A. Distributed and decentralized multicamera tracking // IEEE Signal Processing Magazine. 2011. Vol. 28, N. 3. P. 46—58.

36. Taj M., Cavallaro A. Simultaneous Detection and Tracking with Multiple Cameras // Machine Learning for Computer Vision. Springer, Berlin, Heidelberg, 2013. С. 197—214.

37. Liang Q. et al. Multi-Player Tracking for Multi-View Sports Videos with Improved K-Shortest Path Algorithm // Applied Sciences. 2020. Vol. 10, N. 3. P. 864.

38. Romanov A., Yashunskiy V., Chiu W.-Y. SABER: Modular Reconfigurable Robot for Industrial Applications // IEEE 17th International Conference on Automation Science and Engineering (CASE) 2021. 2021 (в печати).

39. Romanov A. M., Mikheenko I. S. A novel approach for creating modular reconfigurable robots with distributed power system // 2018 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). IEEE, 2018. P. 974—978.

40. Romanov A., Slepynina E. Real-time Ethernet POWERLINK Communication for ROS. Part I. General Concept // 2020 Ural Smart Energy Conference (USEC). IEEE, 2020. P. 159—162.

41. Romanov A., Slepynina E. Real-time Ethernet POWERLINK Communication for ROS. Part II. Hardware and Software // 2020 Ural Smart Energy Conference (USEC). IEEE, 2020. P. 163—166.

42. Romanov A. M., Gringoli F., Sikora A. A precise synchronization method for future wireless TSN networks // IEEE Transactions on Industrial Informatics. 2021. Vol. 17, N. 5. P. 3682—3692.

43. Romanov A. M. et al. Modular Reconfigurable Robot Distributed Computing System for Tracking Multiple Objects // IEEE Systems Journal. 2021. Vol. 15, N. 1. P. 802—813.

44. Rossi R. J. Mathematical statistics: an introduction to likelihood based inference. John Wiley & Sons, 2018.

45. Hu Z. et al. Extrinsic calibration of 2-D laser rangefinder and camera from single shot based on minimal solution // IEEE Transactions on Instrumentation and Measurement. 2016. Vol. 65, N. 4. P. 915—929.

46. Yang C., Duraiswami R., Davis L. Fast multiple object tracking via a hierarchical particle filter // Tenth IEEE International Conference on Computer Vision (ICCV’05). IEEE, 2005. Vol. 1. P. 212—219.

47. Kong L. et al. Online Multiple Athlete Tracking with Pose-Based Long-Term Temporal Dependencies // Sensors. 2021. Vol. 21, N. 1. P. 197.


Рецензия

Для цитирования:


Волкова М.А., Романов А.М., Романов М.П. Распределенная система локализации объектов в рабочей зоне модульного реконфигурируемого мобильного робота. Мехатроника, автоматизация, управление. 2021;22(12):634-643. https://doi.org/10.17587/mau.22.634-643

For citation:


Volkova M.A., Romanov A.M., Romanov M.P. Distributed System for Objects Localization in the Working Area of a Modular Reconfigurable Mobile Robot. Mekhatronika, Avtomatizatsiya, Upravlenie. 2021;22(12):634-643. (In Russ.) https://doi.org/10.17587/mau.22.634-643

Просмотров: 114


ISSN 1684-6427 (Print)
ISSN 2619-1253 (Online)