moitvivt Моделирование, оптимизация и информационные технологии Modeling, Optimization and Information Technology 2310-6018 Издательство 10.26102/2310-6018/2026.54.3.016 2216 Разработка системы адаптивного управления ресурсами контейнеризированных САПР на основе обучения с подкреплением Development of an adaptive resource management system for containerized CAD systems based on reinforcement learning 0000-0003-4171-6964 Чудинова Александра Анатольевна Chudinova Alexandra Anatolievna alexandra.a.chudinova@mail.ru aff-1 Национальный исследовательский университет ИТМО Санкт-Петербургский институт экономики и управления National Research University ITMO St. Petersburg Institute of Economics and Management 01 01 2026 1 1 10.26102/2310-6018/2026.54.3.016 Copyright © Авторы, 2026 2026 This work is licensed under a Creative Commons Attribution 4.0 International License

Данный проект посвящен разработке адаптивной системы управления ресурсами для контейнеризированных приложений автоматизированного проектирования (САПР) с использованием обучения с подкреплением. Современные рабочие нагрузки САПР характеризуются высокой изменчивостью вычислительных требований, что делает традиционные механизмы автоматического масштабирования на основе пороговых значений недостаточными для поддержания производительности и надежности в динамических условиях. Для решения этой проблемы предлагаемая система сравнивает классическое автоматическое масштабирование подов Kubernetes на основе пороговых значений (HPA) со стратегией автоматического масштабирования на основе Q-обучения, применяемой к кластерам контейнеров. Экспериментальная установка реализована как симуляция распределенного контейнеризированного кластера и включает в себя настраиваемые модели рабочей нагрузки, представляющие собой легкие, средние, тяжелые и пиковые шаблоны запросов. Производительность системы оценивается с использованием метрик, таких как время отклика, пропускная способность, доступность, экономическая эффективность, среднее время восстановления и ложноположительные события масштабирования. Агент обучения с подкреплением наблюдает за отслеживаемыми системными метриками и изучает политики масштабирования, которые оптимизируют долгосрочную производительность и стабильность за счет многократного взаимодействия с окружающей средой. Интерфейс приложения позволяет пользователям управлять параметрами моделирования, включая количество запусков политик, количество эпизодов за запуск и шагов в эпизоде, а также параметрами конфигурации кластера, такими как количество узлов и ядер на узел. Интенсивность рабочей нагрузки может быть скорректирована для анализа поведения системы в различных сценариях эксплуатации. Такая конфигурация позволяет проводить систематическую оценку адаптивных стратегий автомасштабирования и их влияния на эффективность использования ресурсов и отказоустойчивость в контейнеризированных системах САПР. Исследование представляет собой методологическую новизну благодаря интерактивному интерфейсу оценки, основанному на экспериментах, который объединяет логику моделирования и оркестровки.

This project is dedicated to the development of an adaptive resource management system for containerised computer-aided design (CAD) applications using reinforcement learning. Modern CAD workloads are characterised by highly variable computing requirements, which makes traditional threshold-based auto-scaling mechanisms insufficient for maintaining performance and reliability in dynamic conditions. To address this issue, the proposed system compares classic Kubernetes pod scaling based on thresholds (HPA) with a Q-learning-based auto-scaling strategy applied to container clusters. The experimental setup is implemented as a simulation of a distributed containerised cluster and includes customisable workload models representing light, medium, heavy, and peak request patterns. System performance is evaluated using metrics such as response time, throughput, availability, cost-effectiveness, mean time to recovery, and false positive scaling events. A reinforcement learning agent monitors tracked system metrics and learns scaling policies that optimise long-term performance and stability through repeated interactions with the environment. The application interface allows users to control simulation parameters, including the number of policy runs, the number of episodes per run, and the number of steps per episode, as well as cluster configuration parameters such as the number of nodes and cores per node. The workload intensity can be adjusted to analyse system behaviour in different operating scenarios. This configuration allows for systematic evaluation of adaptive auto-scaling strategies and their impact on resource efficiency and fault tolerance in containerised CAD systems. The study represents a methodological innovation thanks to its interactive, experiment-based evaluation interface, which combines modelling and orchestration logic.

 адаптивное управление ресурсами экспериментальная установка контейнеризированный кластер рабочие нагрузки Kubernetes классическое автоматическое масштабирование подов пороговые значения (HPA) стратегия автоматического масштабирования Q-обучение adaptive resource management experimental setup containerized cluster workloads Kubernetes classic pod autoscaling thresholds (HPA) autoscaling strategy Q-learning Исследование выполнено без спонсорской поддержки. The study was performed without external funding. References Богатырев В.А., Богатырев А.В., Богатырев С.В. Оценка надежности выполнения кластерами запросов реального времени. Известия высших учебных заведений. Приборостроение. 2014;57(4):46–48. Богатырев В.А., Фунг В.К. Многокритериальная оптимизация структуры кластера с контейнерной виртуализацией. Известия высших учебных заведений. Приборостроение. 2025;68(5):371–379. https://doi.org/10.17586/0021-3454-2025-68-5-371-379 Фунг В.К., Богатырев В.А., Кармановский Н.С., Лэ В.Х. Оценка вероятностно-временных характеристик компьютерной системы с контейнерной виртуализацией. Научно-технический вестник информационных технологий, механики и оптики. 2024;24(2):249–255. https://doi.org/10.17586/2226-1494-2024-24-2-249-255 Гусев А.О., Костылева В.В., Разин И.Б. Сравнение алгоритмов балансировки нагрузки. В сборнике: Инновационное развитие техники и технологий в промышленности (ИНТЕКС-2020): Сборник материалов Всероссийской научной конференции молодых исследователей с международным участием, посвященной Юбилейному году в ФГБОУ ВО «РГУ им. А.Н. Косыгина», 14–16 апреля 2020 года, Москва, Россия. Москва: РГУ им. А.Н. Косыгина; 2020. С. 143–146. Zhu J., Zheng Z., Zhou Y., Lyu M.R. Scaling service-oriented applications into geo-distributed clouds. In: 2013 IEEE Seventh International Symposium on Service-Oriented System Engineering, 25–28 March 2013, San Francisco, CA, USA. IEEE; 2013. P. 335–340. https://doi.org/10.1109/SOSE.2013.56 Sharma A., Schuhknecht F.M., Dittrich J. The Case for Automatic Database Administration using Deep Reinforcement Learning. arXiv. URL: https://doi.org/10.48550/arXiv.1801.05643 [Accessed 17th January 2026]. Munaf R.M., Ahmed J., Khakwani F., Rana T. Microservices architecture: Challenges and proposed conceptual design. In: 2019 International Conference on Communication Technologies (ComTech), 20–21 March 2019, Rawalpindi, Pakistan. IEEE; 2019. P. 82–87. https://doi.org/10.1109/COMTECH.2019.8737831 Руденко В.Д., Юдин Н.Е., Васин А.А. Обзор выпуклой оптимизации марковских процессов принятия решений. Компьютерные исследования и моделирование. 2023;15(2):329–353. https://doi.org/10.20537/2076-7633-2023-15-2-329-353 Фунг В.К., Богатырев В.А., До М.К. Имитационная модель вычислительного кластера с контейнерной виртуализацией. Вестник компьютерных и информационных технологий. 2025;22(8):3–12. https://doi.org/10.14489/vkit.2025.08.pp.003-012 Utkin L.V. Knowledge representation for characterizing economical and technical measures under uncertainty: general approach. In: 9th Interchair Meeting of Economists and Organisers in Wood Industry, Sopron, Hungary. 1998. P. 220. Chadi M.-A., Mousannif H. Understanding Reinforcement Learning Algorithms: The Progress from Basic Q-learning to Proximal Policy Optimization. arXiv. URL: https://doi.org/10.48550/arXiv.2304.00026 [Accessed 15th January 2026]. Nguyen Th.-T., Yeom Y.-J., Kim T., Park D.-H., Kim S. Horizontal Pod Autoscaling in Kubernetes for Elastic Container Orchestration. Sensors. 2020;20(16). https://doi.org/10.3390/s20164621 Shan Ch., Wu Ch., Xia Y., et al. Adaptive resource allocation for workflow containerization on Kubernetes. Journal of Systems Engineering and Electronics. 2023;34(3):723–743. https://doi.org/10.23919/JSEE.2023.000073

The authors declare that there are no conflicts of interest present.