moitvivt Моделирование, оптимизация и информационные технологии Modeling, Optimization and Information Technology 2310-6018 Издательство 10.26102/2310-6018/2025.48.1.027 1822 Метод оценки автономного программного обеспечения на основе технологий искусственного интеллекта для массовых профилактических исследований Method of evaluation of autonomous software based on artificial intelligence technologies for mass preventive studies 0000-0002-2307-725X Зинченко Виктория Валерьевна Zinchenko Victoria Valerevna ZinchenkoVV1@zdrav.mos.ru aff-1 0009-0007-3636-2889 Ерижоков Рустам Арсеньевич Erizhokov Rustam Arsenevich npcmr@zdrav.mos.ru aff-2 0000-0001-7786-0349 Арзамасов Кирилл Михайлович Arzamasov Kirill Mikhailovich aff-3 Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы Московский физико-технический институт; Первый Московский государственный медицинский университет имени И. М. Сеченова Министерства здравоохранения Российской Федерации Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department Moscow Institute of Physics and Technology; Federal State Autonomous Educational Institution of Higher Education I.M. Sechenov First Moscow State Medical University of the Ministry of Health of the Russian Federation (Sechenov University) Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы МИРЭА - Российский технологический университет Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department MIREA - Russian Technological University 01 01 2026 1 1 10.26102/2310-6018/2025.48.1.027 Copyright © Авторы, 2026 2026 This work is licensed under a Creative Commons Attribution 4.0 International License

Внедрение технологий искусственного интеллекта (ИИ) в медицинскую практику требует тщательной оценки их эффективности, особенно для систем, работающих в автономном режиме. Предлагаемый в данном исследовании метод основан на синтезе требований национальных стандартов в области медицинского ИИ, разработанных экспертами Научно-практического клинического центра диагностики и телемедицинских технологий, и данных, полученных в рамках «Московского эксперимента» по внедрению инновационных технологий. Апробация проведена на трех программных продуктах ИИ, используемых для анализа флюорографических исследований в период с января по май 2023 года. Оценка включала анализ точности алгоритмов (чувствительность, специфичность), а также их эффективности в реальных клинических условиях. В исследовании приведен сравнительный анализ результатов с количественной интерпретацией данных. Наибольший акцент при оценивании был на обеспечении системой ИИ высокого уровня диагностической чувствительности, которая позволит в массовых профилактических исследованиях избавить врачей от рутинной монотонной работы. Разработанный метод продемонстрировал возможность комплексной оценки автономных систем ИИ, выявив различия в эффективности продуктов по ключевым метрикам. Предложенный метод позволяет систематизировать процесс валидации медицинских ИИ-решений, минимизируя риски их некорректного использования в условиях автономной работы. Результаты исследования могут быть применены для стандартизации оценки ИИ-инструментов в радиологии и других областях медицины, требующих высокого уровня надежности диагностики.

The introduction of artificial intelligence (AI) technologies into medical practice requires a thorough assessment of their effectiveness, especially for systems operating autonomously. The method proposed in this study is based on a synthesis of the requirements of national standards in the field of medical AI developed by experts of the Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies and data obtained as part of the "Moscow Experiment" on the introduction of innovative technologies. The testing was carried out on three AI software products used to analyze fluorographic studies in the period from January to May 2023. The evaluation included an analysis of the accuracy of algorithms (sensitivity, specificity), effectiveness in real clinical conditions, as well as a comparative analysis of the results with a quantitative interpretation of the data. The emphasis in the evaluation was on providing the AI system with a high level of diagnostic sensitivity, which will allow doctors to relieve themselves of routine monotonous work in mass preventive studies. The developed method demonstrated the possibility of a comprehensive assessment of autonomous AI systems, identifying differences in the effectiveness of products by key metrics. The proposed method allows systematizing the process of validating medical AI solutions, minimizing the risks of their incorrect use in autonomous operation. The results of the study can be used to standardize the assessment of AI tools in radiology and other areas of medicine that require a high level of diagnostic reliability.

 искусственный интеллект в медицине автономные диагностические системы оценка эффективности лучевая диагностика рентгенология artificial intelligence in medicine autonomous diagnostic systems efficiency assessment radiation diagnostics radiology Статья подготовлена авторским коллективом в рамках НИР " Научные методологии устойчивого развития технологий искусственного интеллекта в медицинской диагностике" (№ ЕГИСУ: 123031500004-5) в соответствии с Приказом от 21.12.2022 г. № 1196 "Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счет средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов" Департамента здравоохранения города Москвы. The article was prepared by a team of authors within the framework of the research work "Scientific methodologies for sustainable development of artificial intelligence technologies in medical diagnostics" (EGISU No.: 123031500004-5) in accordance with the Order of 21.12.2022 No. 1196 "On approval of state assignments, financial support for which is carried out at the expense of the Moscow city budget to state budgetary (autonomous) institutions subordinate to the Moscow City Department of Healthcare, for 2023 and the planning period of 2024 and 2025" of the Moscow City Department of Healthcare. References Пугачев П.С., Гусев А.В., Кобякова О.С. и др. Мировые тренды цифровой трансформации отрасли здравоохранения. Национальное здравоохранение. 2021;2(2):5–12. https://doi.org/10.47093/2713-069X.2021.2.2.5-12 Hoc Group on Application of AI Technologies. Artificial Intelligence in Healthcare: Directions of Standardization. In: Handbook of Artificial Intelligence in Healthcare: Vol 2: Practicalities and Prospects. Cham: Springer; 2022. pp. 231–257. https://doi.org/10.1007/978-3-030-83620-7_10 Кошечкин К.А., Свистунов А.А., Лебедев Г.С., Фартушный Э.Н. Практика применения систем на основе искусственного интеллекта в сфере обращения лекарственных средств. Вестник Росздравнадзора. 2022;(3):27–33. Johnson A.E.W., Pollard T.J., Berkowitz S.J., et al. MIMIC-CXR, a de-identified publicly available database of chest radiographs with free-text reports. Scientific Data. 2019;6. https://doi.org/10.1038/s41597-019-0322-0 Do Hu.M., Spear L.G., Nikpanah M., et al. Augmented Radiologist Workflow Improves Report Value and Saves Time: A Potential Model for Implementation of Artificial Intelligence. Academic Radiology. 2020;27(1):96–105. https://doi.org/10.1016/j.acra.2019.09.014 Ломаков С.Ю., Строгонов Е.А. Современные аспекты организации профилактических лучевых исследований методом флюорографии. Международный академический вестник. 2019;(11):4–6. Маркелов Ю.М., Щеголева Л.В. Клинико-экономические аспекты выявления туберкулеза при массовых флюорографических осмотрах населения. Вестник рентгенологии и радиологии. 2021;102(3):148–154. https://doi.org/10.20862/0042-4676-2021-102-3-148-154 Маркелов Ю.М., Щеголева Л.В. Оценка клинико-экономической эффективности и влияния массовых флюорографических осмотров на эпидемиологические показатели по туберкулезу в четырех федеральных округах РФ с различным уровнем охвата флюорографическими осмотрами населения. Туберкулез и болезни легких. 2023;101(1):8–16. https://doi.org/10.58838/2075-1230-2023-101-1-8-16 Рубис Л.В., Маркелов Ю.М. Оценка эффективности профилактических осмотров взрослого населения с целью ранней диагностики туберкулеза. Российский медицинский журнал. 2021;27(3):227–235. https://doi.org/10.17816/0869-2106-2021-27-3-227-235 Kelly B.S., Judge C., Bollard S.M., et al. Radiology artificial intelligence: a systematic review and evaluation of methods (RAISE). European Radiology. 2022;32:7998–8007. https://doi.org/10.1007/s00330-022-08784-6 Tanguay W., Acar Ph., Fine B., et al. Assessment of Radiology Artificial Intelligence Software: A Validation and Evaluation Framework. Canadian Association of Radiologists Journal. 2023;74(2):326–333. https://doi.org/10.1177/08465371221135760 Schaffter Th., Buist D.S.M., Lee Ch.I., et al. Evaluation of Combined Artificial Intelligence and Radiologist Assessment to Interpret Screening Mammograms. JAMA Network Open. 2020;3(3). https://doi.org/10.1001/jamanetworkopen.2020.0265 Васильев Ю.А., Владзимирский А.В., Омелянская О.В. и др. Методология тестирования и мониторинга программного обеспечения на основе технологий искусственного интеллекта для медицинской диагностики. Digital Diagnostics. 2023;4(3):252−267. https://doi.org/10.17816/DD321971 Гусев А.В., Астапенко Е.М., Иванов И.В., Зарубина Т.В., Кобринский Б.А. Принципы формирования доверия к системам искусственного интеллекта для сферы здравоохранения. Вестник Росздравнадзора. 2022;(2):25–33. Gómez Ó., Mesejo P., Ibáñez Ó., et al. Evaluating artificial intelligence for comparative radiography. International Journal of Legal Medicine. 2024;138(1):307–327. https://doi.org/10.1007/s00414-023-03080-4 Thodberg H.H., Thodberg B., Ahlkvist J., Offiah A.C. Autonomous artificial intelligence in pediatric radiology: the use and perception of BoneXpert for bone age assessment. Pediatric Radiology. 2022;52(7):1338–1346. https://doi.org/10.1007/s00247-022-05295-w Daye D., Wiggins W.F., Lungren M.P., et al. Implementation of Clinical Artificial Intelligence in Radiology: Who Decides and How? Radiology. 2022;305(3):555–563. https://doi.org/10.1148/radiol.212151 Çallı E., Sogancioglu E., Van Ginneken B., Van Leeuwen K.G., Murphy K. Deep learning for chest X-ray analysis: A survey. Medical Image Analysis. 2021;72. https://doi.org/10.1016/j.media.2021.102125 Морозов С.П., Владзимирский А.В., Шарова Д.Е., Ахмад Е.С., Зинченко В.В. Первые национальные стандарты Российской Федерации на системы искусственного интеллекта в медицине. Менеджмент качества в медицине. 2022;(1):58–62. Васильев Ю.А., Арзамасов К.М., Владзимирский А.В. и др. Подготовка набора данных для обучения и тестирования программного обеспечения на основе технологии искусственного интеллекта. [б.м.]: Издательские решения; 2024. 140 с. Владзимирский А.В., Васильев Ю.А., Арзамасов К.М. и др. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента. [б.м.]: Издательские решения; 2023. 388 с. Васильев Ю.А., Тыров И.А., Владзимирский А.В., Арзамасов К.М., Пестренин Л.Д., Шулькин И.М. Новая модель организации массовых профилактических исследований, основанная на автономном искусственном интеллекте для сортировки результатов флюорографии. Здоровье населения и среда обитания – ЗНиСО. 2023;31(11):23–32. https://doi.org/10.35627/2219-5238/2023-31-11-23-32 Mijwil M.M., Aggarwal K., Sonia S., et al. Has the Future Started? The Current Growth of Artificial Intelligence, Machine Learning, and Deep Learning. Iraqi Journal for Computer Science and Mathematics. 2022;3(1). https://doi.org/10.52866/ijcsm.2022.01.01.013

The authors declare that there are no conflicts of interest present.