moitvivt Моделирование, оптимизация и информационные технологии Modeling, Optimization and Information Technology 2310-6018 Издательство 10.26102/2310-6018/2025.49.2.023 1917 Платформа для тестирования программного обеспечения с использованием искусственного интеллекта в лучевой диагностике Platform for testing radiological artificial intelligence-powered software 0009-0006-7975-8974 Ковальчук Анна Юрьевна Kovalchuk Anna Yuryevna kovalchukay2@zdrav.mos.ru aff-1 0009-0000-7716-6015 Пономаренко Артем Павлович Ponomarenko Artem Pavlovich PonomarenkoAP@zdrav.mos.ru aff-2 0000-0001-7786-0349 Арзамасов Кирилл Михайлович Arzamasov Kirill Pavlovich ArzamasovKM@zdrav.mos.ru aff-3 Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department 01 01 2026 1 1 10.26102/2310-6018/2025.49.2.023 Copyright © Авторы, 2026 2026 This work is licensed under a Creative Commons Attribution 4.0 International License

Количество программного обеспечения с использованием искусственного интеллекта, применяемого в лучевой диагностике, в последние годы стремительно увеличивается, и эффективность таких ИИ-сервисов должна тщательно оцениваться для обеспечения проверки качества разработанных алгоритмов. Ручная оценка таких систем является трудоемким процессом. В связи с этим, актуальной задачей является разработка специализированной единой платформы, предназначенной для автоматизированного тестирования ИИ-алгоритмов, используемых с целью анализа медицинских изображений. Предлагаемая платформа состоит из трех основных модулей: модуль тестирования, обеспечивающий взаимодействие с тестируемым программным обеспечением и сбор результатов обработки данных; модуль просмотра, предоставляющий инструменты для визуальной оценки полученных графических серий и структурированных отчетов; модуль расчета метрик, позволяющий вычислять диагностические характеристики эффективности работы алгоритмов искусственного интеллекта. В ходе разработки применялись такие технологии как Python 3.9, Apache Kafka, PACS и Docker. Разработанная платформа успешно прошла апробацию на реальных данных. Полученные результаты свидетельствуют о перспективности использования разработанной платформы для повышения качества и надежности ИИ-сервисов в лучевой диагностике, а также для облегчения процесса их внедрения в клиническую практику.

The amount of AI-based software used in radiology has been rapidly increasing in recent years, and the effectiveness of such AI services should be carefully assessed to ensure the quality of the developed algorithms. Manual assessment of such systems is a labor-intensive process. In this regard, an urgent task is to develop a specialized unified platform designed for automated testing of AI algorithms used to analyze medical images. The proposed platform consists of three main modules: a testing module that ensures interaction with the software being tested and collects data processing results; a viewing module that provides tools for visually evaluating the obtained graphic series and structured reports; a metrics calculation module that allows calculating diagnostic characteristics of the effectiveness of artificial intelligence algorithms. During the development, such technologies as Python 3.9, Apache Kafka, PACS and Docker were used. The developed platform has been successfully tested on real data. The obtained results indicate the potential of using the developed platform to improve the quality and reliability of AI services in radiation diagnostics, as well as to facilitate the process of their implementation in clinical practice.

 платформа лучевая диагностика тестирование медицинские изображения искусственный интеллект platform diagnostic imaging testing medical images artificial intelligence Авторы выражают благодарность Васильеву Ю.А., Владзимирскому А.В., Омелянской О.В., Кирпичеву Ю.С. и Савкиной Е.Ф. за научно-организационную деятельность. Данная статья подготовлена авторским коллективом в рамках НИОКР «Разработка платформы повышения качества ИИ-Сервисов для медицинской диагностики» (№ ЕГИСУ: 123031400006-0) в соответствии с Приказом от 22.12.2023 г. № 1258 «Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счет средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2024 год и плановый период 2025 и 2026 годов» Департамента здравоохранения города Москвы. The authors express their gratitude to Vasilev Yu.A., Vladzymyrskyy A.V., Omelyanskaya O.V., Kirpichev Yu.S, and Savkina E.F. for their scientific and administrative work. This paper was prepared by a team of authors as a part of the research and development project "Development of a platform for improving quality of AI services for medical diagnostics" (EGISU No.: 123031400006-0) in accordance with Order No. 1258 dated December 22, 2023: "On approval of state assignments funded from the Moscow city budget to state budgetary (autonomous) institutions subordinated to the Moscow Healthcare Department for 2024 and the planning period of 2025 and 2026" of the Moscow Department of Healthcare. References Alowais S.A., Alghamdi S.S., Alsuhebany N., et al. Revolutionizing Healthcare: The Role of Artificial Intelligence in Clinical Practice. BMC Medical Education. 2023;23(1). https://doi.org/10.1186/s12909-023-04698-z Тюрин И.Е. Лучевая диагностика в Российской Федерации. Онкологический журнал: лучевая диагностика, лучевая терапия. 2018;1(4):43–51.  Strohm L., Hehakaya Ch., Ranschaert E.R., Boon W.P.C., Moors E.H.M. Implementation of Artificial Intelligence (AI) Applications in Radiology: Hindering and Facilitating Factors. European Radiology. 2020;30(10):5525–5532. https://doi.org/10.1007/s00330-020-06946-y Kelly B.S., Judge C., Bollard S., et al. Radiology Artificial Intelligence: A Systematic Review and Evaluation of Methods (RAISE). European Radiology. 2022;32:7998–8007. https://doi.org/10.1007/s00330-022-08784-6 Васильев Ю.А., Владзимирский А.В., Арзамасов К.М., Шулькин И.М., Астапенко Е.В., Пестренин Л.Д. Ограничения при применении сервисов искусственного интеллекта для анализа рентгенограмм органов грудной клетки. Digital Diagnostics. 2024;5(3):407–420. https://doi.org/10.17816/DD626310 Гусев А.В., Морозов С.П., Кутичев В.А., Новицкий Р.Э. Нормативно-правовое регулирование программного обеспечения для здравоохранения, созданного с применением технологий искусственного интеллекта, в Российской Федерации. Медицинские технологии. Оценка и выбор. 2021;43(1):36–45. https://doi.org/10.17116/medtech20214301136 Васильев Ю.А., Владзимирский А.В., Омелянская О.В. и др. Методология тестирования и мониторинга программного обеспечения на основе технологий искусственного интеллекта для медицинской диагностики. Digital Diagnostics. 2023;4(3):252−267. https://doi.org/10.17816/DD321971 Erickson B.J., Kitamura F. Magician's Corner: 9. Performance Metrics for Machine Learning Models. Radiology: Artificial Intelligence. 2021;3(3). https://doi.org/10.1148/ryai.2021200126 Hicks S.A., Strümke I., Thambawita V., et al. On Evaluation Metrics for Medical Applications of Artificial Intelligence. Scientific Reports. 2022;12. https://doi.org/10.1038/s41598-022-09954-8 Müller D., Soto-Rey I., Kramer F. Towards a Guideline for Evaluation Metrics in Medical Image Segmentation. BMC Research Notes. 2022;15. https://doi.org/10.1186/s13104-022-06096-y Brink L., Coombs L.P., Veettil D.K., et al. ACR's Connect and AI-LAB Technical Framework. JAMIA Open. 2022;5(4). https://doi.org/10.1093/jamiaopen/ooac094 Павлов Н.А., Андрейченко А.Е., Владзимирский А.В., Ревазян А.А., Кирпичев Ю.С., Морозов С.П. Эталонные медицинские датасеты (MosMedData) для независимой внешней оценки алгоритмов на основе искусственного интеллекта в диагностике. Digital Diagnostics. 2021;2(1):49–66. https://doi.org/10.17816/DD60635 Gidde P.S., Prasad Sh.S., Singh A.P., et al. Validation of Expert System Enhanced Deep Learning Algorithm for Automated Screening for COVID-Pneumonia on Chest X-Rays. Scientific Reports. 2021;11. https://doi.org/10.1038/s41598-021-02003-w Владзимирский А.В., Васильев Ю.А., Арзамасов К.М. и др. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента. Москва: Издательские решения; 2023. 388 с. Артюкова З.Р., Петряйкин А.В., Кудрявцев Н.Д. и др. Опыт применения сервисов искусственного интеллекта для диагностики компрессионных переломов тел позвонков по данным компьютерной томографии: от тестирования до апробации. Digital Diagnostics. 2024;5(3):505–518. https://doi.org/10.17816/DD624250

The authors declare that there are no conflicts of interest present.