Применение мультиагентных систем в задачах распределенной оптимизации

В данной статье проводится систематизация и детальный анализ современных методов распределенной оптимизации в мультиагентных системах (МАС). Мультиагентные подходы, определяемые как совокупность взаимодействующих автономных вычислительных сущностей, становятся критически востребованными в условиях, когда централизованная обработка данных невозможна из-за масштабов задач, жестких требований к скорости реакции или необходимости обеспечения приватности локальной информации. Цель работы заключается в комплексном исследовании ключевых подходов к децентрализованной оптимизации и выявлении фундаментальных факторов, определяющих их вычислительную эффективность, устойчивость к сбоям и практическую применимость. В рамках исследования подробно рассмотрены пять основных классов алгоритмов: консенсусный градиентный спуск (DGD), методы отслеживания градиента (Gradient Tracking), распределенный метод чередующихся направлений множителей (ADMM), а также современные стохастические и коммуникационно-эффективные подходы, включая Local SGD и FedAvg. В статье детально проанализированы системные ограничения, накладываемые топологией графа связности, алгоритмами компрессии данных и строгими требованиями дифференциальной приватности. Раскрыты ключевые теоретические и практические аспекты построения оптимальных процедур на основе сбалансированного сочетания архитектуры сети, характера локальных функций стоимости и доступной пропускной способности каналов связи. Сформулированы рекомендации по выбору конкретных алгоритмических решений в зависимости от специфики прикладной среды.

1. Yang T., Yi X., Wu J., et al. A survey of distributed optimization. Annual Reviews in Control. 2019;47:278–305. https://doi.org/10.1016/j.arcontrol.2019.05.006

2. Li J., Su H. Gradient Tracking: A Unified Approach to Smooth Distributed Optimization. arXiv. URL: https://arxiv.org/abs/2202.09804 [Accessed 25th December 2025].

3. Yuan K., Ying B., Zhao X., et al. Exact Diffusion for Distributed Optimization and Learning – Part I: Algorithm Development. arXiv. URL: https://arxiv.org/abs/1702.05122 [Accessed 25th December 2025].

4. Boyd S., Parikh N., Chu E., et al. Distributed optimization and statistical learning via the alternating direction method of multipliers. Foundations and Trends® in Machine Learning. 2011;3(1):1–122. https://doi.org/10.1561/2200000016

5. Halsted T., Shorinwa O., Yu J., et al. A survey of distributed optimization methods for multi-robot systems. arXiv. URL: https://arxiv.org/abs/2103.12840 [Accessed 25th December 2025].

6. McMahan B., Moore E., Ramage D., et al. Communication-efficient learning of deep networks from decentralized data. In: Proceedings of the 20th International Conference on Artificial Intelligence and Statistics (AISTATS 2017), 20–22 April 2017, Fort Lauderdale, FL, USA. PMLR; 2017. P. 1273–1282.

7. Wang Y., Lin H., Lam J., et al. Differentially private consensus and distributed optimization in multi-agent systems: A review. Neurocomputing. 2024;597:127986. https://doi.org/10.1016/j.neucom.2024.127986

8. Alistarh D., Grubic D., Li J., et al. QSGD: Communication-efficient SGD via gradient quantization and encoding. In: Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems, 04–09 December 2017, Long Beach, CA, USA. 2017. P. 1709–1720.

9. Koloskova A., Lin T., Stich S.U., et al. Decentralized deep learning with arbitrary communication compression. arXiv. URL: https://arxiv.org/abs/1907.09356 [Accessed 25th December 2025].

10. Yurdem B., Kuzlu M., Gullu M.K., et al. Federated learning: Overview, strategies, applications, tools and future directions. Heliyon. 2024;10(19):e38137. https://doi.org/10.1016/j.heliyon.2024.e38137

11. Wang Zh., Wang Ch., Wang J., et al. An accelerated exact distributed first-order algorithm for optimization over directed networks. Journal of the Franklin Institute. 2023;360(14):10706–10727. https://doi.org/10.1016/j.jfranklin.2023.08.015

12. Xin R., Pu Sh., Nedić A. A general framework for decentralized optimization with first-order methods. Proceedings of the IEEE. 2020;108(11):1869–1889. https://doi.org/10.1109/JPROC.2020.3024266

13. Lian X., Zhang C., Zhang H., et al. Can decentralized algorithms outperform centralized algorithms? A case study for decentralized parallel stochastic gradient descent. In: Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems, 04–09 December 2017, Long Beach, CA, USA. 2017. P. 5330–5340.

14. Nedic A., Ozdaglar A. Distributed subgradient methods for multi-agent optimization. IEEE Transactions on Automatic Control. 2009;54(1):48–61. https://doi.org/10.1109/TAC.2008.2009515