Сравнительная оценка подходов к определению точек захвата объектов робототехническим средством

Настоящее исследование посвящено сравнительной оценке современных методов определения точек захвата объектов сцены с использованием средств технического зрения. В работе исследуемые методы определения точек захвата объектов применяются совместно с методом построения карт глубины, основанном на нейросетевой модели ResNet-50, что позволяет отказаться от использования специализированных датчиков глубины в процессе проведения экспериментов. В исследовании представлены зависимости оценок вероятности успешного захвата от типов целевых объектов. Усредненные по типам объектов оценки вероятности успешности захвата для исследуемых методов GPD, 6-DOF GraspNet, VPG составили соответственно 0.690, 0.741, 0.613. Также были исследованы зависимости оценок вероятности успешного захвата от размеров целевых объектов, расстояний между объективом фиксирующей видеокамеры и целевыми объектами сцен, уровней освещенности сцены, а также от углов наблюдения сцены по вертикальной оси. Для рассмотренных методов GPD, 6-DOF GraspNet, VPG выявлены нелинейные возрастающие зависимости усредненных по типам объектов вероятностей успешного захвата от уровня освещенности сцены. Также было установлено, что зависимости усредненной вероятности успешного захвата объекта для всех остальных параметров носят нелинейный характер и являются немонотонными. В работе определены диапазоны значений исследованных параметров сцены, на которых достигаются наибольшие значения вероятностей успешного захвата объектов для данных методов. По результатам проведенной экспериментальной оценки решение 6-DOF GraspNet продемонстрировало наилучшее качество работы на подавляющем большинстве комбинаций рассмотренных параметров сцены. Использование данного метода является предпочтительным для решения задачи определения точек захвата объектов при использовании подходов, обеспечивающих восстановление карты глубины без применения специализированных устройств.

точки захвата объекта, карта глубины, робототехнические средства, нейронные сети, GPD, 6-DOF GraspNet, VPG, ResNet-50

1. Cutkosky M. R., Howe R. D. Human grasp choice and robotic grasp analysis // Dextrous robot hands. Springer, New York, NY. 1990. P. 5—31.

2. Morales A., Asfour T., Azad P., Knoop S., Dillmann R. Integrated grasp planning and visual object localization for a humanoid robot with five-fingered hands // 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE. 2006. P. 5663—5668.

3. Лесков А. Г., Илларионов В. В., Калеватых И. А., Морошкин С. Д., Бажинова К. В., Феоктистова Е. В Аппаратно-программный комплекс для решения задач автоматического захвата объекта манипуляторами // Инженерный журнал: наука и инновации. 2015. T. 1, № 37.

4. Fernald F. G. Analysis of atmospheric lidar observations: some comments // Applied optics. 1984. Vol. 23, N. 5. P. 652—653.

5. Zhang Z. Microsoft kinect sensor and its effect // IEEE multimedia. 2012. Vol. 19, N. 2. P. 4—10.

6. Ronzhin A., Saveliev A., Basov O., Solyonyj S. Conceptual model of cyberphysical environment based on collaborative work of distributed means and mobile robots // International Conference on Interactive Collaborative Robotics. Springer, Cham. 2016. P. 32—39.

7. Яковлев Р. Н., Ватаманюк И. В. Алгоритмическая модель распределенной системы корпоративного информирования в рамках киберфизической системы организации // МОИТ. 2019. T. 7, № 4. С. 32—33.

8. Левоневский Д. Архитектура облачной системы распределения контента в киберфизических системах // МОИТ. 2019. Т. 7, № 4. С. 16—17.

9. ten Pas A., Gualtieri M., Saenko K., Platt R. Grasp pose detection in point clouds // The International Journal of Robotics Research. 2017. Vol. 36, N. 13—14. P. 1455—1473.

10. Mousavian A., Eppner C., Fox D. 6-dof graspnet: Variational grasp generation for object manipulation // Proceedings of the IEEE International Conference on Computer Vision. 2019.

11. Zeng A., Song S., Welker S., Lee J., Rodriguez A. Learning synergies between pushing and grasping with self-supervised deep reinforcement learning // 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE. 2018. P. 4238—4245.

12. Li B. 3d fully convolutional network for vehicle detection in point cloud // 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2017. P. 1513—1518.

13. Liang H., Ma X., Li S., Görner M., Tang S., Fang B., Sun F., Zhang J. Pointnetgpd: Detecting grasp configurations from point sets // 2019 International Conference on Robotics and Automation (ICRA). IEEE. 2019. P. 3629—3635.

14. Qi C. R., Su H., Mo K., Guibas L. J. Pointnet: Deep learning on point sets for 3d classification and segmentation // Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. P. 652—660.

15. Calli B., Singh A., Walsman A., Srinivasa S., Abbeel P., Dollar A. M. The ycb object and model set: Towards common benchmarks for manipulation research // 2015 international conference on advanced robotics (ICAR). IEEE. 2015. P. 510—517.

16. Shao Q., Hu J., Wang W., Fang Y., Liu W., Qi J., Ma J. Suction Grasp Region Prediction using Self-supervised Learning for Object Picking in Dense Clutter // 2019 IEEE 5th International Conference on Mechatronics System and Robots (ICMSR). IEEE. 2019. P. 7—12.

17. Szegedy C., Ioffe S., Vanhoucke V., Alemi A. A. Inception-v4, inception-resnet and the impact of residual connections on learning // Thirty-first AAAI conference on artificial intelligence. 2017.

18. Liu M., Salzmann M., He X. Discrete-continuous depth estimation from a single image // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014. P. 716—723.

19. Liu F., Shen C., Lin G. Deep convolutional neural fields for depth estimation from a single image // Proceedings of the IEEE conference on computer vision and pattern recognition. 2015. P. 5162—5170.

20. Eigen D., Puhrsch C., Fergus R. Depth map prediction from a single image using a multi-scale deep network // Advances in neural information processing systems. 2014. P. 2366—2374.

21. Zhu J., Ma R. Real-time depth estimation from 2D images. 2016.

22. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition // arXiv preprint arXiv:1409.1556. 2014.

23. Eigen D., Fergus R. Predicting depth, surface normals and semantic labels with a common multi-scale convolutional architecture // Proceedings of the IEEE international conference on computer vision. 2015. P. 2650—2658.

24. Geiger A., Lenz P., Stiller C., Urtasun R. Vision meets robotics: The kitti dataset // The International Journal of Robotics Research. 2013. Vol. 32, N. 11. P. 1231—1237.

25. Laina I., Rupprecht C., Belagiannis V., Tombari F., Navab N. Deeper depth prediction with fully convolutional residual networks // 2016 Fourth international conference on 3D vision (3DV). IEEE. 2016. P. 239—248.

26. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. P. 770—778.

27. Iandola F. N., Han S., Moskewicz M. W., Ashraf K., Dally W. J., Keutzer K. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size // arXiv preprint arXiv:1602.07360. 2016.

28. Koenig N., Howard A. Design and use paradigms for gazebo, an open-source multi-robot simulator // 2004 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (IEEE Cat. No. 04CH37566). IEEE. 2004. Vol. 3. P. 2149—2154.

29. ГОСТ Р. 55710-2013 Освещение рабочих мест внутри зданий // Нормы и методы измерений. 2013.

30. Funabashi H., Horie M., Kubota T., Takeda Y. Development of spatial parallel manipulators with six degrees of freedom // JSME international journal. Ser. 3, Vibration, control engineering, engineering for industry. 1991. Vol. 34, N. 3. P. 382—387.