novtexmechМехатроника, автоматизация, управлениеMekhatronika, Avtomatizatsiya, Upravlenie1684-64272619-1253Commercial Publisher «New Technologies»10.17587/mau.27.115-126novtexmech-1954Research ArticleСИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИSYSTEM ANALYSIS, CONTROL AND INFORMATION PROCESSINGАлгоритмы адаптивного управления каскадными динамическими объектами на базе метода обучения с подкреплениемAdaptive Control Algorithms for Pure-Feedback Plants Based on the Reinforcement Learning MethodМедведевМ. Ю.MedvedevM. Y.

М. Ю. Медведев, д-р техн. наук, доц.

г. Таганрог

M. Y. Medvedev, Dr. of Tech. Sc., Leading Researcher

Taganrog, 347923 

medvmihal@sfedu.ruПшихоповВ. Х.PshikhopovV. Kh.

В. Х. Пшихопов, д-р техн. наук, проф.

г. Таганрог

V. Kh. Pshikhopov

Taganrog, 347923

vhpshichop@sfedu.ruМедведевИ. М.MedvedevI. M.

И. М. Медведев, студент

г. Таганрог

I. M. Medvedev

Taganrog, 347923

imedvede@sfedu.ruЮжный федеральный университетРоссияSouthern Federal UniversityRussian Federation202613032026273115126Copyright © Commercial Publisher «New Technologies», 20262026Commercial Publisher «New Technologies»Commercial Publisher «New Technologies»https://mech.novtex.ru/jour/about/submissions#copyrightNoticehttps://mech.novtex.ru/jour/article/view/1954

Рассматриваются алгоритмы адаптивного управления динамическими объектами каскадной структуры, базирующиеся на методе градиента стратегии. Используется структура обучения с подкреплением, известная как Actor-Critic. Разрабатывается базовый алгоритм, применяемый для объекта первого порядка. Новизна предлагаемого алгоритма адаптивного управления заключается в предложенном аналитическом способе вычисления оценки ценности состояния (алгоритм Critic). Алгоритм Actor базируется на заданной структуре закона управления и методе временных различий. Предложена модификация алгоритма, обеспечивающая ограничение роста настраиваемого коэффициента. Приводится анализ устойчивости и сходимости процессов стабилизации управляемой переменной и оценок ценности состояния. Получены условия, при которых управляемая переменная в процессе обучения не выходит за заданные ограничения и асимптотически устойчива относительно нулевого состояния. Предложены два подхода к учету ограничений на управляющее воздействие. В первом подходе используется нейросетевая аппроксимация коэффициента алгоритма управления и предложено обнулять дельта-ошибку при выходе управления на ограничения. Данный подход реализован с помощью логистических функций и позволяет учитывать несимметричные ограничения. Однако он вычислительно затратен из-за необходимости использования нейронной сети. Во втором подходе управление ищется в виде аналитической функции с ограничениями. Получены условия устойчивости системы относительно нулевого положения, учитывающие ограничения на управляющее воздействие. Полученные алгоритмы обобщаются на многомерный объект, представленный в канонической форме. Предложенные алгоритмы отличаются высокой вычислительной эффективностью, они не требуют численных оценок ценности состояния и оптимизации управления с использованием нейронных сетей. Разработанные алгоритмы обеспечивают нахождение переменных состояния и управляющих воздействий в заданной области в процессе обучения, что позволяет применять их без предварительного обучения. Приводятся три численных примера синтеза и моделирования адаптивных систем управления. При этом один из примеров демонстрирует структурную настройку алгоритма управления.

The paper proposes algorithms for adaptive control of pure-feedback objects based on the strategy gradient method. A reinforcement learning framework known as Actor-Critic is used. The Critic algorithm proposes analytical method for calculating the assessment of the value of the state. The Actor algorithm is based on a given structure of the control law and the time difference method. The novelty of this algorithm lies in the modification of the learning algorithm, which limits the growth of the adjustable coefficient. An analysis of the stability and convergence of the processes of stabilization of the controlled variable and estimates of the value of the condition is given. Conditions have been obtained under which the controlled variable does not exceed the specified constraints during the learning process and is asymptotically stable relative to the zero state. Two approaches to the consideration of constraints on the control are proposed. The first approach uses a neural network approximation of the control algorithm and suggests zeroing the delta error when the control reaches constraints. In the second approach, control is designed in the form of an analytical function with constraints. The conditions for the stability of the system relative to the zero position are obtained, taking into account the constraints on the control action. The obtained algorithms are generalized to a multidimensional object presented in canonical form. The algorithms ensure that state variables and control actions are found in a given area during the learning process, which allows them to be applied without prior training.

адаптивное управлениеобучение с подкреплениемметод Actor-Criticметод временных различийограниченияadaptive controlreinforcement learningActor-Critic methodtime difference methodconstraintsИсследование выполнено за счет гранта Российского научного фонда № 25-61-00017 "Интеллектуальные методы траекторного управления робототехническими комплексами в условиях параметрических и внешних возмущений", https://rscf.ru/project/25-61-00017/ на базе ФГАОУ ВО "Южный федеральный университет".The research was carried out with support of a grant from the Russian Science Foundation No. 25-61-00017 "Intelligent methods of trajectory control of robotic systems under parametric and external disturbances" performed at Southern Federal University, https://rscf.ru/project/25-61-00017/.ReferencesSutton R., Barto A. Reinforcement Learning. An Introduction. London: The MIT Press, 2018.Sutton R., Barto A. Reinforcement Learning. An Introduction, London, The MIT Press, 2018.Xu B., Yang C., Shi Z. Reinforcement Learning Output Feedback NN Control Using Deterministic Learning Technique // IEEE Transactions on Neural Networks and Learning Systems. 2014. Vol. 25, N. 3. P. 635—641. DOI: 10.1109/TNNLS.2013.2292704Xu B., Yang C., Shi Z. Reinforcement Learning Output Feedback NN Control Using Deterministic Learning Technique, IEEE Transactions on Neural Networks and Learning Systems. 2014, vol. 25, no. 3, pp. 635—641, DOI: 10.1109/TNNLS.2013.2292704Mu C., Ni Z., Sun C., He H. Data-driven tracking control with adaptive dynamic programming for a class of continuous-time nonlinear systems // IEEE Transactions on Cybernetics. 2016. Vol. 47, N. 6. P. 1460—1470. DOI: 10.1109/TCYB.2016.2548941Mu C., Ni Z., Sun C., He H. Data-driven tracking control with adaptive dynamic programming for a class of continuoustime nonlinear systems, IEEE Transactions on Cybernetics, 2016, vol. 47, no. 6, pp. 1460—1470, DOI: 10.1109/TCYB.2016.2548941Wang A., Liao X., Dong T. Event-driven optimal control for uncertain nonlinear systems with external disturbance via adaptive dynamic programming // Neurocomputing. 2018. Vol. 281. P. 188—195. DOI: 10.1016/j.neucom.2017.12.010Wang A., Liao X., Dong T. Event-driven optimal control for uncertain nonlinear systems with external disturbance via adaptive dynamic programming, Neurocomputing, 2018, vol. 281, pp. 188—195, DOI: 10.1016/j.neucom.2017.12.010Kim J. W., Oh T. H., Son S. H., Jeong D. H., Lee J. M. Convergence analysis of the deep neural networks based globalized dual heuristic programming // Automatica. 2020. Vol. 122. DOI: 10.1016/j.automatica.2020.109222Kim J. W., Oh T. H., Son S. H., Jeong D. H., Lee J. M. Convergence analysis of the deep neural networks based globalized dual heuristic programming, Automatica, 2020, vol. 122, DOI: 10.1016/j.automatica.2020.109222Luo B., Yang Y., Liu D., Wu H.-N. Event-Triggered Optimal Control With Performance Guarantees Using Adaptive Dynamic Programming // IEEE Transactions on Neural Networks and Learning Systems. 2020. Vol. 31, N. 1. P. 76—88. DOI: 10.1109/TNNLS.2019.2899594Luo B., Yang Y., Liu D., Wu H.-N. Event-Triggered Optimal Control With Performance Guarantees Using Adaptive Dynamic Programming, IEEE Transactions on Neural Networks and Learning Systems, 2020, vol. 31, no. 1, pp. 76—88, DOI: 10.1109/TNNLS.2019.2899594Yang X., Xu M., Wei Q. Dynamic Event-Sampled Control of Interconnected Nonlinear Systems Using Reinforcement Learning // IEEE Transactions on Neural Networks and Learning Systems. 2024. Vol. 35, N. 1. P. 923—937. DOI: 10.1109/TNNLS.2022.3178017Yang X., Xu M., Wei Q. Dynamic Event-Sampled Control of Interconnected Nonlinear Systems Using Reinforcement Learning, IEEE Transactions on Neural Networks and Learning Systems, 2024, vol. 35, no. 1, pp. 923—937, DOI: 10.1109/TNNLS.2022.3178017Zhang H., Zhao X., Wang H., Zong G., Xu N. Hierarchical Sliding-Mode Surface-Based Adaptive Actor—Critic Optimal Control for Switched Nonlinear Systems With Unknown Perturbation // IEEE Transactions on Neural Networks and Learning Systems. 2024. Vol. 35, N. 2. P. 1559—1571. DOI: 10.1109/TNNLS.2022.3183991Zhang H., Zhao X., Wang H., Zong G., Xu N. Hierarchical Sliding-Mode Surface-Based Adaptive Actor—Critic Optimal Control for Switched Nonlinear Systems With Unknown Perturbation, IEEE Transactions on Neural Networks and Learning Systems, 2024, vol. 35, no. 2, pp. 1559—1571, DOI: 10.1109/TNNLS.2022.3183991Dong C., Chen L., Dai S.-L. Performance-Guaranteed Adaptive Optimized Control of Intelligent Surface Vehicle Using Reinforcement Learning // IEEE Transactions on Intelligent Vehicles. 2024. Vol. 9, N. 2. Pp. 3581—3592. DOI: 10.1109/TIV.2023.3338486Dong C., Chen L., Dai S.-L. Performance-Guaranteed Adaptive Optimized Control of Intelligent Surface Vehicle Using Reinforcement Learning, IEEE Transactions on Intelligent Vehicles, 2024, vol. 9, no. 2, pp. 3581—3592, DOI: 10.1109/TIV.2023.3338486Dao P. N., Phung M. H. Nonlinear robust integral based actor—critic reinforcement learning control for a perturbed threewheeled mobile robot with mecanum wheels // Computers and Electrical Engineering. 2025. Vol. 121. P. 109870. DOI:10.1016/j.compeleceng.2024.109870Dao P. N., Phung M. H. Nonlinear robust integral based actor—critic reinforcement learning control for a perturbed three-wheeled mobile robot with mecanum wheels, Computers and Electrical Engineering, 2025, vol. 121, DOI: 10.1016/j.compeleceng.2024.109870Wang D., Xin P., Ren J., Qiao J. Adaptive Critic Tracking Design for Data-Based Nonaffine Predictive Control // IEEE Transactions on Automation Science and Engineering. 2024. Vol. 21, N. 4. P. 5534—5545. DOI: 10.1109/TASE.2023.3313159Wang D., Xin P., Ren J., Qiao J. Adaptive Critic Tracking Design for Data-Based Nonaffine Predictive Control, IEEE Transactions on Automation Science and Engineering, 2024, vol. 21, no. 4, pp. 5534—5545, DOI: 10.1109/TASE.2023.3313159Berkenkamp F., Turchetta M., Schoellig A., Krause A. Safe model-based reinforcement learning with stability guarantees // Advances in Neural Information Processing Systems. 2017. Vol. 30. P. 908—918. DOI: 10.48550/arXiv.1705.08551Berkenkamp F., Turchetta M., Schoellig A., Krause A. Safe model-based reinforcement learning with stability guarantees, Advances in Neural Information Processing Systems, 2017, vol. 30, pp. 908—918, DOI: 10.48550/arXiv.1705.08551Han M., Zhang L., Wang J., Pan W. Actor-critic reinforcement learning for control with stability guarantee // IEEE Robotics and Automation Letters. 2020. Vol. 5, N. 4. P. 6217—6224. DOI: 10.1109/LRA.2020.3011351Han M., Zhang L., Wang J., Pan W. Actor-critic reinforcement learning for control with stability guarantee, IEEE Robotics and Automation Letters, 2020, vol. 5, no. 4, pp. 6217—6224, DOI: 10.1109/LRA.2020.3011351Zhou Z., Liu A., Wang D. Improved adaptive-criticbased dynamic event-triggered control for non-affine systems // Mechatronics Tech. 2024. Vol. 1, N. 1. DOI: 10.55092/mt20230002Zhou Z., Liu A., Wang D. Improved adaptive-critic-based dynamic event-triggered control for non-affine systems, Mechatronics Tech., 2024, vol. 1, no. 1, DOI: 10.55092/mt20230002Cheng R., Orosz G., Murray R. M., Burdick J. W. Endto end safe reinforcement learning through barrier functions for safety critical continuous control tasks // The Thirty-Third AAAI Conference on Artificial Intelligence. 2019. P. 3387—3395.Cheng R., Orosz G., Murray R. M., Burdick J. W. Endto end safe reinforcement learning through barrier functions for safety critical continuous control tasks, The Thirty-Third AAAI Conference on Artificial Intelligence, 2019, pp. 3387—3395.Choi J., Castaneda F., Tomlin C. J., Sreenath K. Reinforcement learning for safety-critical control under model uncertainty, using control Lyapunov functions and control barrier functions // Conference Robotics: Science and Systems. 2020.Choi J., Castaneda F., Tomlin C. J., Sreenath K. Reinforcement learning for safety-critical control under model uncertainty, using control Lyapunov functions and control barrier functions, Conference Robotics: Science and Systems, 2020.Карапеев А. Н., Косенко Е. Ю., Медведев М. Ю., Пшихопов В. Х. Исследование интеллектуального адаптивного алгоритма управления на базе метода обучения с подкреплением // Известия ЮФУ. Технические науки. 2025. № 2. С. 162—175. DOI: 10.18522/2311-3103-2025-2-162-175Karapeev A. N., Kosenko E. Y., Medvedev M. Yu., Pshikhopov V. Kh. Research of an intelligent adaptive control algorithm based on the reinforcementlearning method, IzvestiyaSFedU. Engineering Sciences, 2025, iss. 2, pp. 162—175, DOI: 10.18522/2311-3103-2025-2-162-175 (In Russ.)Медведев М. Ю., Пшихопов В. Х., Евдокимов И. Д. Алгоритм робастного управления одномерным динамическим объектом на основе табличного Q-метода обучения с подкреплением // Информатика и автоматизация. 2025. Т. 24 (3). С. 717—744. DOI: 10.15622/ia.24.3.1Medvedev M. Yu., Pshikhopov V. Kh., Evdokimov I. D. Robust Control Algorithm for Single Input Single Output Dynamic Object Based on Table-Based Q-Method of Reinforcement Learning, Informatics and Automation, 2025, vol. 24, no. 3, pp. 717—744, DOI: 10.15622/ia.24.3.1 (In Russ.)Боровик В. С., Шидловский С. В. Обучение с подкреплением в системах управления объектами с транспортным запаздыванием // Автометрия. 2021. Т. 57, № 3. С. 48—57. DOI: 10.15372/AUT20210306Borovik V. S., Shidlovskii S. V. Reinforcement Learning in Plant Control Systems with Transport Lag, Optoelectronics. Instrumentation and Data Processing, 2021, iss. 57, pp. 265—272, DOI: 10.15372/AUT20210306 (In Russ.)Галяев А. А., Медведев А. И., Насонов И. А. Нейросетевой алгоритм перехвата машиной Дубинса целей, движущихся по известным траекториям // Автоматика и телемеханика. 2023. № 3. С. 3—21. DOI: 10.31857/S0005231023030017Galyaev A. A., Medvedev A. I., Nasonov I. A. Neural network algorithm for intercepting targets moving along known trajectories by a Dubins’ car, Avtomat. i Telemekh., 2023, no. 3, pp. 3—21, DOI: 10.31857/S0005231023030017 (in Russian).Хапкин Д. Л., Феофилов С. В. Синтез устойчивых нейросетевых регуляторов для объектов с ограничителями в условиях неполной информации // Мехатроника, автоматизация, управление. 2024. Т. 25, № 7. С. 345—353. DOI: 10.17587/mau.25.345-353Khapkin D. L., Feofilov S. V. The Method of Synthesis of a Stable Closed-Loop Object Control System with Limiters, Mekhatronika, Avtomatizatsiya, Upravlenie, 2024, vol. 25, no. 7, pp. 345—353, DOI: 10.17587/mau.25.345-353 (in Russian).Шашев Д. В., Шатравин В. В. Реализация сигмоидной функции активации с помощью концепции перестраиваемых вычислительных сред // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2022. № 61. DOI: 10.17223/19988605/61/12Shashev D. V., Shatravin V. V. Implementation of the sigmoid activation function using the reconfigurable computing environments, Vestnik Tomskogo gosudarstvennogo universiteta. Upravlenie, vychislitelnaja tehnika i informatika, 2022, no. 61, pp. 117—127, DOI: 10.17223/19988605/61/12 (in Russian).Гайдук А. Р., Медведев М. Ю., Пшихопов В. Х., Гисцов В. Г. Синтез неаффинных нелинейных систем управления на основе квазилинейных моделей // Мехатроника, автоматизация, управление. 2025. Т.26, № 5. С. 223—232. DOI: 10.17587/mau.26.223-232Gaiduk A. R., Medvedev M. Yu., Pshikhopov V. Kh., Gistsov V. G. Design of Nonaffi ne Nonlinear Control Systems Based on Quasilinear Models, Mekhatronika, Avtomatizatsiya, Upravlenie, 2025, vol. 26 (5), pp. 223—232, DOI: 10.17587/mau.26.223-232 (in Russian).Gaiduk A. R., Medvedev M. Y., Pshikhopov V. K. Design Method of Quasilinear Nonaffine Nonlinear Control Systems of General Structure // IEEE Transactions on Automation Science and Engineering. 2025. Vol. 22. P. 20208—20220. DOI: 10.1109/TASE.2025.3599894Gaiduk A. R., Medvedev M. Y., Pshikhopov V. K. Design Method of Quasilinear Nonaffine Nonlinear Control Systems of General Structure, IEEE Transactions on Automation Science and Engineering, 2025, vol. 22, pp. 20208—20220, DOI: 10.1109/TASE.2025.3599894Пятницкий Е. С. Управляемость классов лагранжевых систем с ограниченными управлениями // Автоматика и телемеханика. 1996. № 12. С. 29—37.Pyatnickiy E. S. Controllability of Lagrange systems with limited controls, Avtomatika i telemehanika, 1996 no. 12, pp. 29—37 (in Russian).Пшихопов В. Х., Медведев М. Ю. Блочный синтез робастных систем при ограничениях на управления и координаты состояния // Мехатроника, автоматизация и управление. 2011. № 1. С. 2—8.Pshikhopov V. Kh., Medvedev M. Yu. Block Design of Robust Systems with Bounded Controls, Mekhatronika, Avtomatizatsiya, Upravlenie, 2011, no 1, pp. 2—8 (in Russian).Медведев М. Ю. Синтез субоптимальных управлений нелинейными многосвязными динамическими системами // Мехатроника, автоматизация и управление. 2009. № 12. С. 2—8.Medvedev M. Yu. Design of the Sub-Optimal Controls for Nonlinear Multiply Connected Dynamic Systems, Mekhatronika, Avtomatizatsiya, Upravlenie, 2009, no. 12, pp. 2—8 (in Russian).Бойчук Л. М. Метод структурного синтеза нелинейных систем автоматического управления. М.: Энергия, 1971.Boichuk L. M. Method of structural design of nonlinear automatic control systems, Мoscow, Energia, 1971.Колесников А. А. Синергетическая теория управления. М.: Энергоатомиздат, 1994.Kolesnikov A. A. Synergetic control theory, Мoscow, Energoatomizdat, 1994.Kokotović P. V., Sussman H. J. A positive real condition for global stabilization of nonlinear systems // Systems Control Letters. 1989. Vol. 13. P. 125—133. DOI: 10.1016/0167-6911(89)90029-7Kokotović P. V., Sussman H. J. A positive real condition for global stabilization of nonlinear systems, Systems Control Letters, 1989, vol. 13, pp. 125—133, DOI: 10.1016/0167-6911(89)90029-7Zhang Y., Niu B., Zhao X., Duan P., Wang H., Gao B. Global predefined-time adaptive neural network control for disturbed pure-feedback nonlinear systems with zero tracking error // IEEE Transactions on Neural Networks and Learning Systems. 2023. Vol. 34, N. 9. P. 6328—6338. DOI: 10.1109/TNNLS.2021.3135582Zhang Y., Niu B., Zhao X., Duan P., Wang H., Gao B. Global predefined-time adaptive neural network control for disturbed pure-feedback nonlinear systems with zero tracking error, IEEE Transactions on Neural Networks and Learning Systems, 2023, vol. 34, no. 9, pp. 6328—6338, DOI: 10.1109/TNNLS.2021.3135582

The authors declare that there are no conflicts of interest present.