Представлен подход к построению распределённой аналитической платформы для глубокой обработки мультимодальных медицинских данных, ориентированной на задачи клинической диагностики и поддержку врачебных решений. В качестве исходной предпосылки рассматривается рост объёмов гетерогенных данных (DICOM изображения, электронные медицинские карты, лабораторные показатели) в условиях централизации через системы класса ЕГИСЗ (Единая государственная информационная система в сфере здравоохранения) при сохраняющемся дефиците специализированных инструментов комплексного анализа в реальной клинической практике. Ключевым элементом платформы является гибридная модель обработки, сочетающая распределённый конвейер на Apache Spark с модульной системой подготовки данных и мультимодальный трансформер для кросс модального анализа. В конвейере реализованы специализированные процедуры токенизации и нормализации текстов (Spark NLP), извлечения метаданных и конвертации DICOM изображений в числовые представления. На уровне высокопроизводительных вычислений используется масштабируемое ядро на Apache Spark с возможностью передачи подготовленных выборок в GPU ориентированный сервис через Petastorm и PyTorch. Мультимодальный трансформер объединяет эмбеддинги изображений (ViT), клинико-текстовых описаний (BioClinicalBERT) и табличных признаков, применяя позиционное кодирование и несколько слоёв self attention для формирования агрегированного представления эпизода лечения. Разработан программный прототип платформы с использованием Docker. Эксперименты на синтетическом наборе мультимодальных данных продемонстрировали возможность выявления статистически значимых и клинически релевантных паттернов (например, ассоциация пневмонии с ХОБЛ) при высокой производительности.
An approach to building a distributed analytical platform for deep processing of multimodal medical data, focused on clinical diagnostic tasks and support for medical decisions, is presented. The initial premise is the growth of heterogeneous data (DICOM images, electronic medical records, laboratory parameters) in conditions of centralization through EGISZ class systems with a continuing shortage of specialized tools for complex analysis in real clinical practice. The key element of the platform is a hybrid processing model that combines a distributed pipeline on Apache Spark with a modular data preparation system and a multimodal transformer for cross-modal analysis. The pipeline implements specialized procedures for tokenization and normalization of texts (Spark NLP), metadata extraction, and DICOM image conversion to numeric representations. At the high-performance computing level, a scalable Apache Spark core is used with the ability to transfer prepared samples to a GPU-oriented service via Petastorm and PyTorch. The multimodal transformer combines embeddings of images (ViT), clinical text descriptions (BioClinicalBERT), and tabular features, using positional encoding and several layers of self-attention to form an aggregated representation of the treatment episode. A software prototype of the platform using Docker has been developed. Experiments on a synthetic set of multimodal data have demonstrated the ability to identify statistically significant and clinically relevant patterns (for example, the association of pneumonia with COPD) at high performance.
The authors declare that there are no conflicts of interest present.