Задача навигации в роевой робототехнике: сравнительное исследование методов обучения с подкреплением и оптимизации роя частиц

Методы автоматического проектирования направлены на создание коллективного поведения роевых роботизированных систем. Эти методы позволяют нескольким роботам автономно координировать и выполнять сложные задачи в своей среде. В данной работе были исследованы две известные методологии: оптимизация роя частиц (PSO) и обучение с подкреплением (RL). Новое сравнительное исследование было проведено для анализа производительности группы мобильных роботов посредством обширных экспериментов. Целью было реализовать коллективное навигационное поведение в неизвестной среде. Эти среды различаются по сложности: от сред без препятствий до загроможденных сред. Основные показатели сравнения включают эффективность использования времени отдельных роботов и всего роя, гибкость в поиске пути и способность обобщать решения для новых сред. Результаты, полученные с помощью симулятора Webots с контроллером Python, показали, что RL превосходно работает в средах, в больщой степени соответствующих условиям его обучения. RL добился более быстрого завершения работы и продемонстрировал превосходную координацию между отдельными роботами. Однако его производительность падает при работе с необученными сценариями, что требует дорогостоящего переобучения или структурных усложнений для повышения адаптивности. PSO, напротив, продемонстрировал похвальную стабильность в работе. Несмотря на более медленный темп он продемонстрировал надежность в различных сложных условиях без необходимости реконфигурации.

1. Cheraghi A. R., Shahzad S., Graffi K. Past, present, and future of swarm robotics. In: Intelligent Systems and Applications: Proceedings of the 2021 Intelligent Systems Conference (IntelliSys) 3, 2022, pp. 190—233.

2. Majid M., Arshad M., Mokhtar R. Swarm robotics behaviors and tasks: a technical review. Control Engineering in Robotics and Industrial Automation: Malaysian Society for Automatic Control Engineers (MACE) Technical Series, 2018, pp. 99—167.

3. Shahzad M. M., Saeed Z., Akhtar A., Munawar H., Yousaf M. H., Baloach N. K., Hussain F. A review of swarm robotics in a nutshell. Drones, 2023, vol. 7, no. 4, pp. 269.

4. Iskandar A., Kovács B. A survey on automatic design methods for swarm robotics systems. Carpathian Journal of Electronic and Computer Engineering, 2021, vol. 4, no. 2, pp. 1—5.

5. Brambilla M., Ferrante E., Birattari M., Dorigo M. Swarm robotics: a review from the swarm engineering perspective. Swarm Intelligence, 2013, vol. 7, pp. 1—41.

6. Kennedy J., Eberhart R. Particle swarm optimization. In: Proceedings of ICNN’95-international Conference on Neural Networks, 1995, vol. 4, pp. 1942—1948.

7. Mehta D., Sharma A., Ravichandran R. A review on robotic swarm optimization techniques, 2023.

8. Ab Aziz N. A., Ibrahim Z. Asynchronous particle swarm optimization for swarm robotics. Procedia Engineering, 2012, vol. 41, pp. 951—957.

9. Rossides G., Metcalfe B., Hunter A. Particle swarm optimization—an adaptation for the control of robotic swarms, Robotics, 2021, vol. 10, no. 2, pp. 58.

10. Hamami M. G. M., Ismail Z. H. A systematic review on particle swarm optimization towards target search in the swarm robotics domain. Archives of Computational Methods in Engineering, 2022, pp. 1—20.

11. Sutton R. S., Barto A. G. Reinforcement Learning: An Introduction. MIT press, 2018.

12. Moerland T. M., Broekens J., Plaat A., Jonker C. M. et al. Model-based reinforcement learning: A survey. Foundations and Trends in Machine Learning, 2023, vol. 16. no. 1, pp.1—118.

13. Schulman J., Levine S., Abbeel P., Jordan M., Moritz P. Trust region policy optimization. In: International Conference on Machine Learning, 2015, pp. 1889—1897.

14. Casas N. Deep deterministic policy gradient for urban traffic light control. arXiv preprint arXiv, 2017, pp.1703.09035.

15. Schulman J., Wolski F., Dhariwal P., Radford A., Klimov O. Proximal policy optimization algorithms, arXiv preprint arXiv, 2017, pp.1707.06347.

16. Blais M.-A., Akhloufi M. A. Reinforcement learning for swarm robotics: An overview of applications, algorithms and simulators, Cognitive Robotics, 2023.

17. Jin B., Liang Y., Han Z., Ohkura K. Generating collective foraging behavior for robotic swarm using deep reinforcement learning. Artificial Life and Robotics,2020, vol. 25, pp. 588—595.

18. Wei Y., Nie X., Hiraga M., Ohkura K., Car Z. Developing end-to-end control policies for robotic swarms using deep q-learning. Journal of Advanced Computational Intelligence and Intelligent Informatics, 2019, vol. 23, no. 5, pp. 920—927.

19. Jin B., Liang Y., Han Z., Hiraga M., Ohkura K. A hierarchical training method of generating collective foraging behavior for a robotic swarm. Artificial Life and Robotics, 2022, pp. 1—5.

20. Garaffa L. C., Basso M., Konzen A. A., Freitas E. P. Reinforcement learning for mobile robotics exploration: A survey. IEEE Transactions on Neural Networks and Learning Systems, 2021.

21. Di Mario E., Talebpour Z., Martinoli A. A comparison of PSO and reinforcement learning for multi-robot obstacle avoidance. In: 2013 IEEE Congress on Evolutionary Computation, 2013, pp. 149—156.

22. Fan J., Hu M., Chu X., Yang D. A comparison analysis of swarm intelligence algorithms for robot swarm learning. In: 2017 Winter Simulation Conference (WSC), 2017, pp. 3042—3053.

23. Michel O. Cyberbotics ltd. WebotsMT: professional mobile robot simulation. International Journal of Advanced Robotic Systems, 2004, vol. 1, no. 1, pp. 5.

24. Kirtas M., Tsampazis K., Passalis N., Tefas A. Deepbots: A webots-based deep reinforcement learning framework for robotics. In: Artificial Intelligence Applications and Innovations: 16th IFIP WG 12.5 International Conference, AIAI 2020, Neos Marmaras, Greece, June 5—7, 2020, Proceedings, Part II 16, pp. 64—75.