Метод планирования траектории движения на базе глубокой нейронной сети с векторным входом

Рассматривается проблема планирования движения в двумерной среде на базе нейронных сетей глубокого обучения. Как известно, глубокие нейронные сети требуют больших объемов данных и предъявляют высокие вычислительные требования к средствам обучения. Отсутствие достаточного объема данных приводит к снижению точности нейронной сети, а высокие вычислительные требования на стадии обучения ограничивают применение данной технологии в инженерной практике. В данной работе исследуются формы представления карты среды для подачи на вход нейронной сети. Векторная форма позволяет сократить объем информации, подаваемой на вход нейронной сети, однако она приводит к необходимости использовать более сложные нейронные сети. В данной статье предложена комбинированная форма представления, включающая векторную глобальную и локальную растровую карты. Векторная часть карты включает в себя положение робота, положение целевой точки и описание препятствий, аппроксимированных прямоугольной формой. Локальная растровая карта описывает ближайшую к роботу область в текущий момент времени. С помощью численного исследования показана эффективность такой формы представления данных для сверточной нейронной сети по сравнению с растровым представлением карты. Для повышения точности работы нейронной сети и устранения зацикливаний также используется уменьшение числа возможных направлений движения. Исследованы две структуры нейронных сетей, в одной из которых используется восемь возможных направлений движения, а в другой — три возможных направления движения. Показано, что при использовании трех возможных направлений устраняются зацикливания траекторий, планируемых нейронной сетью, что приводит к повышению точности. Применение векторно-растрового описания среды позволяет повысить вероятность успешного достижения целевой точки на 5...10 % по сравнению с растровым описанием среды. Также исследовано влияние числа сверточных слоев и гиперпараметров на точность обучения.

1. LeCun Y., Bengio Y., Hinton G. Deep learning, Nature, 2015, vol. 521, pp. 436—444, doi:10.1038/nature14539.

2. Thomas A., Hedley J. FumeBot: A Deep Convolutional Neural Network Controlled Robot, Robotics, 2019, vol. 8, no. 3.

3. Mashoshin A. I. Artificial Intelligence Technologies in the Autonomous Underwater Vehicle Control Systems. Mekhatronika, Avtomatizatsiya, Upravlenie. 2022, vol. 23, no. 11, pp. 596—606 (in Russian), https://doi.org/10.17587/mau.23.596-606.

4. Pomerleau D. A. ALVINN: An Autonomous Land Vehicle in a Neural Network, NeurIPS Proceedings, 1988, pp. 305—313.

5. Hawke J., Shen R., Gurau C. et. al. Urban driving with conditional imitation learning, 2020 IEEE International Conference on Robotics and Automation (ICRA), 2020, pp. 251—257.

6. Dotsenko A. V. Collision Avoidance System Synthesis for a Group of Robots in Unsupervised Learning Paradigm. Mekhatronika, Avtomatizatsiya, Upravlenie. 2020, vol. 21, no. 7, pp. 420—427 (in Russian), https://doi.org/10.17587/mau.21.420-427.

7. Kickia P., Gawrona T., Ćwiana K., Ozay M., Skrzypczyńskia P. Learning from experience for rapid generation of local car maneuvers. Engineering Applications of Artificial Intelligence. 2021, vol. 105.

8. Vitelli M., Chang Y., Ye Y. et. al. Safetynet: Safe planning for real-world self-driving vehicles using machine-learned policies. 2022 International Conference on Robotics and Automation (ICRA), IEEE, 2022, pp. 897—904.

9. Qureshi A. H., Simeonov A., Bency M. J., Yip M. C. Motion planning networks. 2019 International Conference on Robotics and Automation (ICRA), 2019, pp. 2118—2124.

10. Chiang H.-T. L., Hsu J., Fiser M., Tapia L., Faust A. RL-RRT: Kinodynamic motion planning via learning reachability estimators from RL policies, IEEE Robotics and Automation Letters, 2019, vol. 4, no. 4, pp. 4298—4305.

11. Chakravorty S., Kumar S. Generalized Sampling-Based Motion Planners. IEEE Transactions on Systems, Man, and Cybernetics — Part B: Cybernetics, 2011, vol. 41, no. 3.

12. Qureshi A., Ayaz Y. Potential functions based sampling heuristic for optimal path planning. Autonomous Robot, 2016, vol. 40, pp. 1079—1093.

13. Pshikhopov V., Medvedev M., Kostjukov V., Houssein F., Kadhim A. Trajectory Planning Algorithms in Two-Dimensional Environment with Obstacles, Informatics and Automation, 2022, vol. 21, no. 3, pp. 459—492, https://doi.org/10.15622/ia.21.3.1

14. Kostyukov V., Medvedev M., Pshikhopov V. Global path planning algorithm in a two-dimensional environment with polygonal obstacles on the class of piecewise polygonal trajectories, Unmanned Systems, 2024.

15. Filimonov A. B., Filimonov N. B., Nguyen Т. К., Pham Q. P. Planning of UAV Flight Routes in the Problems of Group Patrolling of the Extended Territories. Mekhatronika, Avtomatizatsiya, Upravlenie. 2023, vol. 24, no. 7, pp. 374—381 (In Russian), https:// doi.org/10.17587/mau.24.374-381.

16. Whitley D., Starkweather T., Bogart C. Genetic Algorithms and Neural Networks: Optimization Connections and Connectivity, Parallel Computing, 1990, vol. 14.

17. Wang J., Perez L. The effectiveness of data augmentation in image classification using deep learning, ArXiv, 2017.

18. Gaiduk A. R., Martjanov O. V., Medvedev M. Yu., Pshikhopov V. Kh., Hamdan N., Farhood A. Neural Network Based Control System for Robots Group Operating in 2-d Uncertain Environment, Mekhatronika, Avtomatizatsiya, Upravlenie. 2020, vol. 21, no. 8, pp. 470—479, https://doi.org/10.17587/mau.21.470-479.

19. Berner C., Brockman G., Chan B. et. al. Dota 2 with Large Scale Deep Reinforcement Learning, ArXiv, 2019.

20. Medvedev M., Pshikhopov V., Gurenko B., Hamdan N. Path planning method for mobile robot with maneuver restrictions, Proc. of the International Conference on Electrical, Computer, Communications and Mechatronics Engineering (ICECCME), 7—8 October 2021, Mauritius, 10.1109/ICECCME52200.2021.9591090.

21. Net-Scale Technologies, Inc. Autonomous off-road vehicle control using end-to-end learning, July 2004, Final technical report, URL: http://net-scale.com/doc/net-scale-dave-report.pdf.

22. Bojarski M., Testa D. D., Dworakowski D. et. al. End to end learning for self-driving cars, ArXiv, 2016.

23. Chen C., Seff A., Kornhauser A. L., Xiao J. DeepDriving: Learning Affordance for Direct Perception in Autonomous Driving, 2015 IEEE International Conference on Computer Vision (ICCV), 2015, pp. 2722—2730.

24. Geiger A., Lenz P., Stiller C., Urtasun R. Vision meets robotics: The KITTY dataset, The International Journal of Robotics Research, 2013, pp. 1231—1237.

25. Codevilla F., Mueller M., López A., Koltun V., Dosovitskiy A. End-to-end driving via conditional imitation learning, In 2018 IEEE International Conference on Robotics and Automation (ICRA), 2018, pp. 4693—4700.

26. LeCun Y., Muller U., Ben J., Cosatto E., Flepp B. Off-road obstacle avoidance through end-to-end learning, In NIPS, 2005.

27. Lei X., Zhang Z., Dong P. Dynamic Path Planning of Unknown Environment Based on Deep Reinforcement Learning, Journal of Robotics, vol. 2018, Article ID 5781591, 10 p., https:// doi.org/10.1155/2018/5781591.

28. Van Hasselt H., Guez A. Silver D. Deep Reinforcement Learning with Double Q-Learning[C], Proceedings of the AAAI Conference on Artificial Intelligence, 2016, vol. 30, no. 1.

29. Sung I., Choi B., Nielsen P. On the training of a neural network for online path planning with offline path planning algorithms, International Journal of Information Management, 2020, pp. 102142—102150, doi: 10.1016/j.ijinfomgt.2020.102142.

30. Wang B., Liu Z., Li Q., Prorok A. Mobile Robot Path Planning in Dynamic Environments Through Globally Guided Reinforcement Learning, IEEE Robotics and Automation Letters, 2020, vol. 5, no. 4, pp. 6932—6939, doi: 10.1109/LRA.2020.3026638.

31. Lv L. H., Zhang S. J., Ding D. R., Wang Y. X. Path Planning via an Improved DQN-Based Learning Policy? IEEE Access, 2019, vol. 7, pp. 67319—67330.

32. Srikonda S., Norris W. R., Nottage D., Soylemezoglu A. Deep Reinforcement Learning for Autonomous Dynamic Skid Steer Vehicle Trajectory Tracking, Robotics, 2022, vol. 11, no. 95, https://doi.org/10.3390/robotics11050095.

33. Lillicrap T. P., Hunt J. J., Pritzel A. et. al. Continuous control with deep reinforcement learning, 2015, arXiv:1509.02971

34. Fujimoto S., Hoof H. V., Meger D. Addressing Function Approximation Error in Actor-Critic Methods, ArXiv, 2018, abs/1802.09477.

35. Gu S., Chen G., Zhang L. et. al. Constrained Reinforcement Learning for Vehicle Motion Planning with Topological Reachability Analysis, Robotics, 2022, vol. 11, no. 81, https://doi.org/10.3390/robotics11040081

36. Stentz A. Optimal and efficient path planning for partially known environments, In Intelligent Unmanned Ground Vehicles, Springer, Boston, MA, USA, 1997, pp. 203—220.

37. Medvedev M., Kadhim A., Brosalin D. Development of the Neural-Based Navigation System for a Ground-Based Mobile Robot, 2021 7th International Conference on Mechatronics and Robotics Engineering, 2021, pp. 35—40.

38. Medvedev M., Pshikhopov V. Path Planning of Mobile Robot Group Based on Neural Networks, Lecture Notes in Artificial Intelligence, 2020, pp. 51—62.

39. Bain L. J., Engelhardt M. Introduction to Probability and Mathematical Statistics, Belmont, Duxbury Press, 1992.