В данной статье рассматривается процесс оценки согласованности экспертных данных и расчета конечного значения искомых (результирующих) показателей для методологии оценки качества информационных систем «Ревизор». Цель исследования состоит в решении задачи подбора и адаптации методик проведения опроса (онлайн-анкетирования) экспертов; оценки согласованности полученных данных; расчета конечного значения результирующих показателей по оценкам экспертов. Для проведения онлайн-анкетирования экспертов был адаптирован метод Дельфи. Его модификация заключается в следующем: после проведения раунда анкетирования необходимо определить согласованность мнений экспертов по каждому оцениваемому показателю и в случае, если согласованность экспертов по какому-либо из наборов оценок не достигнута, необходимо:1) получить от экспертов комментарии по оценкам «проблемных» (несогласованных) показателей; 2) организовать повторный раунд опроса, при этом перед началом повторного раунда каждый из участников получает комментарии экспертов по каждому из несогласованных вопросов. Данный этап будет повторяться до тех пор, пока мнения экспертов не станут согласованными. Оценку согласованности мнений экспертов предлагается производить путем расчета величины доверительного интервала. Для оценки итоговых значений показателей рекомендуется использовать медиану. Материалы статьи представляют практическую ценность для организаций различного профиля, проводящих оценку качества собственных информационных систем самостоятельно, и для ИТ-компаний, предоставляющих услуги по проведению данной оценки.
his article discusses the process of assessing the consistency of expert data and calculating the final value of the desired (resulting) indicators for the quality assurance methodology for the “Auditor” information systems. The purpose of the study is to solve the problem of selecting and adapting survey methods (online questioning) of experts; assessment of the consistency of the data; calculating the final value of the resulting indicators according to experts. To conduct an online survey of experts, the Delphi method was adapted. Its modification consists in the following: after conducting a round of questioning, it is necessary to determine the consistency of expert opinions on each indicator to be evaluated, and if the consistency of experts on any of the sets of assessments is not achieved, it is necessary: 1) to receive comments from experts on assessments of “problematic” ones ( inconsistent) indicators; 2) to organize a second round of the survey, while before the start of the second round, each participant receives expert comments on each of the uncoordinated issues. This stage will be repeated until the opinions of experts are agreed upon. It is proposed to evaluate the consistency of expert opinions by calculating the value of the confidence interval. To evaluate the total values of indicators, it is recommended to use the median. The materials of the article are of practical value for organizations of various fields, conducting an assessment of the quality of their own information systems independently, and for IT companies providing services for this assessment.
The authors declare that there are no conflicts of interest present.