В статье рассматриваются основные особенности проектирования и разработки платформенного решения для организации исследовательской работы, основанной на мультимодальных данных. В условиях кратного увеличения исследовательских данных, собираемых в экспериментах из различных источников, а также повышения интереса к проведению междисциплинарных исследований в последние годы стало актуальным развитие средств, осуществляющих сбор, хранение и обработку мультимодальных данных. При этом, в качестве изначального источника данных рассматривается коммуникативный процесс, включающий в себя аудио-, видео-, семантическую модальность, а также модальности, получаемые от различных датчиков. На основе проведенного исследования в статье сформулированы требования к репозиторию, а также предложена модель его архитектуры. Рассмотрены особенности цифрового представления мультимодальных данных в виде линейной комбинации модальностей, представлен подход к реализации и развитию репозитория, базирующийся на принципах микросервисной архитектуры. Реализуемая платформа предназначена для управления и совместной обработки данных в междисциплинарных коллективных исследованиях, в том числе с использованием удаленных рабочих мест. Построение архитектуры осуществлено с использования парадигмы реактивного взаимодействия компонентов системы, а также принципов асинхронного доступа.
The article discusses the main features of the design and development of a platform solution for the organization of research work based on multimodal data. In the context of a multiple increase in research data collected in experiments from various sources, as well as an increase in interest in conducting interdisciplinary research in recent years, the development of tools for collecting, storing and processing multimodal data has become urgent. At the same time, the communicative process, which includes audio, video, semantic modality, as well as modalities received from various sensors, is considered as the initial data source. Based on the study, the article formulated the requirements for the repository, and also proposed a model of its architecture. The features of the digital presentation of multimodal data in the form of a linear combination of modalities are considered, an approach to the implementation and development of the repository based on the principles of microservice architecture is presented. The implemented platform is designed to manage and jointly process data in multidisciplinary collective research, including using remote workstations. The architecture was built using the paradigm of reactive interaction of system components, as well as the principles of asynchronous access.
The authors declare that there are no conflicts of interest present.