Статья посвящена проблеме сбора временных рядов зонтичной системы мониторинга ИТ-инфраструктуры с последующей обработкой полученных данных в режиме реального времени. Актуальность исследования обусловлена возрастающим интересом к системам подобного класса со стороны крупных предприятий и организаций с высокой степенью цифровизации производственных процессов. В свою очередь, организация процесса сбора такой информации обусловлена рядом особенностей: во-первых, программные модули должны проектироваться с учетом значительной нагрузки (сбор и обработка порядка 10 млн значений временных рядов в минуту); во-вторых, сбор данных зачастую осуществляется не с конечных устройств, а из других систем мониторинга. Также требуется учитывать современное состояние ИТ-инфраструктуры, характеризующееся своим динамизмом, вызванным развитием и повсеместным внедрением технологий аппаратной виртуализации, контейнеризации приложений и автоматизированного управления конфигурациями. На основе сравнения подходов к сбору и обработки временных рядов, реализованных в различных средствах мониторинга, в работе делается вывод о перспективности применения и развития в зонтичных системах мониторинга Prometheus-подхода. Авторы предлагают свой вариант адаптации и развития данного подхода. Отличительными чертами предложенного варианта являются мультистатусная модель порогов с временем жизни, а также опосредованная установка связей между объектами в ресурно-сервисной модели и собранной метрической информацией, что позволяет реализовать требуемую предприятиями функциональность сбора и обработки временных рядов для зонтичной системы мониторинга в условиях высокой нагрузки и динамизма современной ИТ-инфраструктуры. В завершении приводятся результаты предварительных испытаний разработанного программного модуля, а также делается заключение о возможности использования предложенного авторами подхода для реализации функции контроля степени покрытия мониторинга объектов. В настоящее время описанный вариант архитектуры используется в коммерческом программном продукте «MONQ» и проходит апробацию в ряде ключевых российских предприятий.
The article examines the problem of collecting time series data by AIOps system for monitoring the IT infrastructure with subsequent processing of the received data in real time. The relevance of the study is due to the growing interest in systems of this class on the part of large enterprises and organizations with a high degree of production process digitalization. In its turn, the organization of the process of collecting such information is conditioned by a number of features: firstly, software modules must be designed taking into account a significant load (collection and processing of about 10 million metrics per minute); secondly, end devices are not often used to collect data, other monitoring systems are employed instead. It is also required to consider the current state of the IT infrastructure characterized by its dynamism caused by the development and widespread implementation of hardware virtualization technologies, application containerization and automated configuration management. Based on a comparison of approaches to the collection and processing of time series data implemented in various monitoring tools, the paper concludes that the application and development of the Prometheus approach in AIOps monitoring systems is promising. The authors offer their own version of the adaptation and development of this approach. Distinctive features of the proposed option are a multi-status model of thresholds with a lifetime as well as the indirect establishment of links between objects in the resource-service model and the collected metric information, which helps to implement the functionality required by enterprises for collecting and processing metrics for an AIOps monitoring system under the conditions of high load and dynamism of modern IT infrastructure. In conclusion, the results of the developed software module preliminary testing are presented, and the possibility of using the approach proposed by the authors to implement the function of controlling the degree of monitoring object coverage is underscored. Currently, the described version of the architecture is used in the commercial software product "MONQ" and is being tested in several key Russian enterprises.
The authors declare that there are no conflicts of interest present.