Обучение с подкреплением методом U-итераций в непрерывном времени для задачи линейно-квадратичного отслеживания

Поступила: 31.10.2025

Принята к публикации: 31.12.2025

Ключевые слова: обучение с подкреплением, линейно-квадратичное отслеживание, метод u-ите- раций, уравнение Риккати, уравнение Ляпунова

DOI: 10.55959/MSU/0137–0782–15–2026–50–2–61–70

Доступно в on-line версии с: 24.07.2026

Для цитирования статьи

Мельников Н.Б., Смовж И.Н. Обучение с подкреплением методом U-итераций в непрерывном времени для задачи линейно-квадратичного отслеживания // Вестник Московского университета. Серия 15. Вычислительная математика и кибернетика. 2026. № 2. С. 61-70 https://doi.org/10.55959/MSU/0137–0782–15–2026–50–2–61–70.

Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial» («Атрибуция-Некоммерчески») 4.0 Всемирная

Мельников Н.Б. (Московский государственный университет им. М.В. Ломоносова (МГУ))
Смовж И.Н. (Московский государственный университет им. М.В. Ломоносова (МГУ))

Аннотация

Исследуется сходимость обучения с подкреплением методом u-итераций для задачи линейно-квадратичного отслеживания целевой траектории, описываемой линейной динамикой. Дано обоснование сходимости и исследована скорость сходимости. А именно: доказано, что метод u-итераций сходится и имеет квадратичную скорость сходимости при ослабленных требованиях на начальное управление.

Литература

A n d e r s o n B. D. O., M o o r e J. B. Optimal Control: Linear-Quadratic Methods. Mineola: Dover, 2007.
Vr a b i e D., P a s t r a v a n u O., A b u - K h a l a f M., L e w i s F. L. Adaptive optimal control for continuous-time linear systems based on policy iteration // Automatica. 2009. 45. P. 477–484.
L e w i s F. L., Vr a b i e D., Va m v o u d a k i s K. G. Reinforcement learning and feedback control // IEEE Contr. Syst. Mag. 2012. 32. P. 76–105.
M o d a r e s H., L e w i s F. L. Linear quadratic tracking control of partially-unknown continuous-time systems using reinforcement learning // IEEE Trans. Automat. Contr. 2014. 59. P. 3051–3056.
K i u m a r s i B., Va m v o u d a k i s K. G., M o d a r e s H., L e w i s F. L. Optimal and autonomous control using reinforcement learning: A survey // IEEE Trans. Neural Netw. Learn. Syst. 2018. 29. P. 2042–2062.
Р о н ж и н а М. И., М е л ь н и к о в Н. Б. Машинное обучение и оптимальное управление. М.: Издательский центр РГУ нефти и газа (НИУ) имени И. М. Губкина, 2024.
K l e i n m a n D. L. On an iterative technique for Riccati equation computations // IEEE Trans. Automat. Contr. 1968. 13. P. 114–115.
L a n c a s t e r P., R o d m a n L. Algebraic Riccati Equations. Oxford: Clarendon, 1995.
K e l l e y C. T. Iterative Methods for Linear and Nonlinear Equations. Philadelphia: SIAM, 1995.
К а н т о р о в и ч Л. В., А к и л о в Г. П. Функциональный анализ в нормированных пространствах. М.: Физматлит, 1959.