novtexmechМехатроника, автоматизация, управлениеMekhatronika, Avtomatizatsiya, Upravlenie1684-64272619-1253Commercial Publisher «New Technologies»10.17587/mau.25.520-529novtexmech-1632Research ArticleРОБОТЫ, МЕХАТРОНИКА И РОБОТОТЕХНИЧЕСКИЕ СИСТЕМЫROBOT, MECHATRONICS AND ROBOTIC SYSTEMSПланирование движения роботов в социальной среде через обучение с подкреплениемPlanning the Movement of Robots in a Social Environment Via Reinforcement LearningСтанкевичЛ. А.StankevichL, A.

Канд. тех. наук, доц., 

Санкт-Петербург.

Stankevich L. A., Cand. of Tech. Sc., Associate Professor,

Saint-Petersburg.

stankevich_lev@inbox.ruЛарионовА. А.LarionovA. A.

Техник-программист, 

Санкт-Петербург.

Saint-Petersburg.

larionov.aa-mail@yandex.ruСанкт-Петербургский политехнический университет Петра ВеликогоРоссияThe Great Peter Saint-Petersburg Polytechnic UniversityRussian FederationООО "Специальный технологический центр»РоссияLTD "Special Technologic Center"Russian Federation2024111020242510520529Copyright © Commercial Publisher «New Technologies», 20242024Commercial Publisher «New Technologies»Commercial Publisher «New Technologies»https://mech.novtex.ru/jour/about/submissions#copyrightNoticehttps://mech.novtex.ru/jour/article/view/1632

Обсуждается проблема управления движением роботов в социальной среде в местах скопления людей. Разработан и исследован алгоритм планирования движения мобильных роботов среди неподвижных и движущихся препятствий на основе обучения с подкреплением. В качестве прототипа выбран алгоритм GA3C-CADRL, в котором робот и препятствия рассматриваются как взаимодействующие агенты. Алгоритм был модифицирован и реализован с использованием рекуррентной нейронной сети LSTM для аппроксимации одновременно функции ценности и политики. Нейронная сеть обучалась на общем наборе данных, полученном путем обучения с подкреплением типа "актер—критик". Дополнительно разработаны компоненты rl_ planner и social_msgs для интегрирования предварительно обученного алгоритма планирования в систему управления роботом на программной платформе Robot Operating System 2. Первый компонент реализует обработку входных данных, вычисление действия робота и формирование требуемой скорости движения, а второй содержит сообщения с информацией о соседних агентах. Для тестирования алгоритма проведены эксперименты с тремя различными сценариями: со статическими препятствиями, смешанный, с динамическими агентами. Число эпизодов для обучения алгоритма при пяти агентах достигало 1500000. Моделирование движения робота на двух гусеницах в среде Gazebo показало, что в условиях статических препятствий робот достигает цели за наименьшее время. В присутствии динамических препятствий время увеличивалось в два раза по причине уклонения от столкновений. При этом расстояние до ближайшего агента оставалось безопасным (более 2 м). 

The work is devoted to the problem of controlling the movement of robots in a social environment in crowded places. An algorithm for planning the movement of mobile robots among stationary and moving obstacles using reinforcement learning has been developed and studied. The GA3C-CADRL algorithm was chosen as a prototype, in which the robot and obstacles are considered as interacting agents. The algorithm was modified and implemented using an LSTM recurrent neural network to approximate the value and policy functions simultaneously. The neural network was trained on a common data set obtained through actor-critic reinforcement learning. Additionally, the rl_ planner and social_msgs components have been developed to integrate a pre-trained planning algorithm into a robot control system on the Robot Operating System 2 software platform. The first component implements processing of input data, calculating the robot’s actions and generating the required speed of movement, and the second contains messages with information about neighboring agents. To test the algorithm, experiments were carried out with three different scenarios: – with static obstacles, – mixed, – with dynamic agents. The number of episodes for training the algorithm with 5 agents reached 1,500,000. Simulation of the movement of a robot on two tracks in the environment Gazebo showed that in conditions of static obstacles the robot reaches the goal in the shortest time. In the presence of dynamic obstacles, the time increased by 2 times due to collision avoidance. At the same time, the distance to the nearest agent remained safe (more than 2 meters).

мобильный роботсоциальная средапланирование движенийобучение с подкреплениемрекуррентная нейронная сетьmobile robotsocial environmentmovement planningreinforcement learningrecurrent neural networkИсследование выполнено за счет гранта Российского научного фонда № 23-21-00287, https://rscf.ru/project/23-21-00287.This work was supported by the Grant of Russian Science Foundation #23-21-00287, https://rscf.ru/project/23-21-00287.ReferencesXiao X., Liu B., Warnell G., Stone P. Motion planning and control for mobile robot navigation using machine learning: a survey // Autonomous Robots. 2022. N. 46. P. 569—597. https://doi.org/10.48550/arXiv.2011.13112.Xiao X., Liu B., Warnell G., Stone P. Motion planning and control for mobile robot navigation using machine learning: a survey, Autonomous Robots, 2022, no. 46, pp. 569—597, available at: https://doi.org/10.48550/arXiv.2011.13112.Koenig S., Likhachev M. D* Lite // Eighteenth National Conference on Artificial Intelligence. 2002. P. 476-483. URL: www.aaai.org.Koenig S., Likhachev M. D* Lite, Eighteenth National Conference on Artificial Intelligence, 2002, pp. 476—483, available at: www.aaai.org.Филимонов А. Б., Филимонов Н. Б. Вопросы управления движением мобильных роботов методом потенциального наведения // Мехатроника, автоматизация, управление. 2019. Т. 20, № 11. С. 677—685.Filimonov A. B., Filimonov N. B. Issues of Motion Control of Mobile Robots Based on the Potential Guidance Method, Mekhatro nika, Avtomatizatsiya, Upravlenie, 2019, vol. 20, no. 11, pp. 677—685 (in Russian).Fox D., Burgard W., Thrun S. The dynamic window approach to collision avoidance // IEEE Robotics & Automation Magazine. 1997. N. 1 (4). P. 23—33.Fox D., Burgard W., Thrun S. The dynamic window approach to collision avoidance, IEEE Robotics & Automation Magazine,1997, no. 1 (4), pp. 23—33.Герасимов В. Н. Система управления движением мобильного робота в среде с динамическими препятствиями // Научно-технические ведомости СПбГПУ. Информатика, телекоммуникации и управление. СПб. 2013. № 5(181). С. 94—102.Gerasimov V. N. The motion control system of the mobile robot in environment with dynamic obstacles, Computing, Telecommunications and Control, 2013, no. 5 (181), pp. 94—102 (In Russian).Macenski S., Martín F., White R., C lavero J. G. The Marathon 2: A Navigation System // 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2020. P. 2718—2725. URL: https://doi.org/10.48550/arXiv.2003.00368.Macenski S., Martín F., White R., Clavero J. G. The Marathon 2: A Navigation System, 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2020, pp. 2718—2725, available at: https://doi.org/10.48550/arXiv.2003.00368.Яндекс.Ровер на улицах Сколково [Электронный ресурс]. ООО "Яндекс". URL: https://yandex.ru/blog/company/yandeks-rover-na-ulitsakh-skolkovo (08.06.2023).Yandex.Rover on street of the Skolkovo [Electronic resource]. LTD "Yandex", available at: https://yandex.ru/blog/company/yandeks-roverna-ulitsakh-skolkovo (08.06.2023) (in Russian).Alonso-Mora J., Andreas B., Martin R., Paul B., Roland S. Optimal Reciprocal Collision Avoidance for Multiple NonHolonomic Robots // Distributed Autonomous Robotic Systems: The 10th International Symposium. 2013. P. 203—216. URL: https://doi.org/10.1007/978-3-642-32723-0_15.Alonso-Mora J., Andreas B., Martin R., Paul B., Roland S. Optimal Reciprocal Collision Avoidance for Multiple NonHolonomic Robots, Distributed Autonomous Robotic Systems: The 10th International Symposium, 2013, pp. 203—216, available at: https://doi.org/10.1007/978-3-642-32723-0_15.Ferrer G., Garrell A., Sanfeliu A. Layered costmaps for context-sensitive navigation // 2013 European Conference on Mobile Robots. 2013. P. 331—336. DOI: 10.1109/IROS20146942636.Ferrer G., Garrel A., Sanfeliu A. Layered costmaps for context-sensitive navigation, 2013 European Conference on Mobile Robots, 2013, pp. 331—336, available at: doi:10.1109/IROS20146942636.Trautman P., Ma1 J., Richard M. Murray R. M., Krause A. Robot navigation in dense human crowds: the case for cooperation // 2013 IEEE International Conference on Robotics and Automation (ICRA). 2013. P. 2153—2160. URL: http://www.cds.caltech.edu/~murray/papers/tmmk13-icra.html.Trautman P., Ma1 J., Richard M. Murray R. M., Krause A. Robot navigation in dense human crowds: the case for cooperation, 2013 IEEE International Conference on Robotics and Automation, 2013, pp. 2153—2160, available at: http://www.cds.caltech.edu/~murray/papers/tmmk13-icra.html.Rudenko A., Kucner T. P., Swaminathan C. S., Chadalavada R. T., Arras K. O., Lilienthal F. J. THÖR: Human-Robot Navigation Data Collection and Accurate Motion Trajectories Dataset // IEEE Robotics and Automation Letters. 2020. N. 2 (5). P. 676—682. URL: https://doi.org/10.48550/arXiv.1909.04403.Rudenko A., Kucner T. P., Swaminathan C. S., Chadalavada R. T., Arras K. O., Lilienthal F. J. THÖR: Human-Robot Navigation Data Collection and Accurate Motion Trajectories Dataset, IEEE Robotics and Automation Letters, 2020, no. 2 (5), pp. 676—682, available at: https://doi.org/10.48550/arXiv.1909.04403.Tai L., Zhang J., Liu M., Burgard W. Socially Compliant Navigation Through Raw Depth Inputs with Generative Adversarial Imitation Learning // 2018 IEEE International Conference on Robotics and Automation (ICRA). 2018. P. 1111—1117. URL: https://doi.org/10.48550/arXiv.1710.02543.Tai L., Zhang J., Liu M., Burgard W. Socially Compliant Navigation Through Raw Depth Inputs with Generative Adversarial Imitation Learning, 2018, pp. 1111—1117, available at: https://doi.org/10.48550/arXiv.1710.02543.Pérez-Higueras N., Caballero F., Merino L. Teaching Robot Navigation Behaviors to Optimal RRT Planners // International Journal of Social Robotics. 2018. N. 10. P. 235—249.Pérez-Higueras N., Cabalero F., Merino L. Teaching Robot Navigation Behaviors to Optimal RRT Planners, International Journal of Social Robotics, 2018, no. 10, pp. 235—249.Plaat A. Deep Reinforcement Learning/ First Edition. Singapore: Springer Singapore, 2022. P. 406.Plaat A. Deep Reinforcement Learning, First Edition, Singapore, Springer Singapore, 2022, p. 406.Long P., Fan T., Liao X., Liu W., Zhang H., Pan J. Towards Optimally Decentralized Multi-Robot Collision Avoidance via Deep Reinforcement Learning // 2018 IEEE International Conference on Robotics and Automation (ICRA). 2018. P. 6252—6259. URL: https://doi.org/10.48550/arXiv.1709.10082.Long P., Fan T., Liao X., Liu W., Zhang H., Pan J. Towards Optimally Decentralized Multi-Robot Collision Avoidance via Deep Reinforcement Learning, 2018 IEEE International Conference on Robotics and Automation (ICRA), 2018, pp. 6252—6259, available at: https://doi.org/10.48550/arXiv.1709.10082.Everett M., Chen Y. F., How J. P. Collision Avoidance in Pedestrian-Rich Environments with Deep Reinforcement Learning // IEEE Access. 2021. P. 10357—10377. URL: https://doi.org/10.1109/ACCESS.2021.3050338.Everett M., Fan Chen Y., How J. P. Collision Avoidance in Pedestrian-Rich Environments with Deep Reinforcement Learning, IEEE Access, 2021, pp. 10357—10377, available at: https://doi.org/10.1109/ACCESS.2021.3050338.Chen Y. F., Liu M., Everett M., How J. P. Decentralized non-communicating multiagent collision avoidance with deep reinforcement learning // 2017 IEEE International Conference on Robotics and Automation (ICRA). 2017. P. 285—292. URL: https://doi.org/10.48550/arXiv.1609.07845.Chen Y., Liu M., Everett M., How J. P. Decentralized non-communicating multiagent collision avoidance with deep reinforcement learning, 2017 IEEE International Conference on Robotics and Automation (ICRA), 2017, pp. 285—292, available at: https://doi.org/10.48550/arXiv.1609.07845.Zhou Z., Zhu P., Zeng Z., Xiao J., Lu H. Robot navigation in a crowd by integrating deep reinforcement learning and online planning // Applied Intelligence. 2022. P. 15600—15616. URL: https://doi.org/10.48550/arXiv.2102.13265.Zhou Z., Zhu P., Zeng Z., Xiao J., Lu H. Robot navigation in a crowd by integrating deep reinforcement learning and online planning, Applied Intelligence, 2022, pp. 15600—15616, available at: https://doi.org/10.48550/arXiv.2102.13265.Macenski S., Foote T., Gerkey B., Lalancette C., Woodall W. Robot Operating System 2: Design, architecture, and uses in the wild // Science Robotics. 2022. N. 7 (66). URL: https://doi.org/10.1126/scirobotics.abm6074.Macenski S., Foote T., Gerkey B., Lalancette C., Woodall W. Robot Operating System 2: Design, architecture, and uses in the wild, Science Robotics, 2022, no. 7 (66), available at: https://doi.org/10.1126/scirobotics.abm6074.Ларионов А. А. Планирование движения мобильного робота в социальной среде с обучением с подкреплением. Магистерская диссертация, СПбПУ [Электронный ресурс]. URL: https://github.com/TonyCooT/msc_thesis (08.06.2023).Larionov A. A. Master thesis "Planning mobile robot movement in social environment with reinforcement learning" [Electronic resource], LTD "Yandex", available at: https://github.com/TonyCooT/msc_thesis (08.06.2023) (In Russian).

The authors declare that there are no conflicts of interest present.