В данной работе предлагается метод интерпретации решений нейронных сетей, основанный на использовании булевого интегро-дифференциального исчисления. Этот метод позволяет исследовать логику принятия решений нейронными сетями и определить наиболее важные признаки, влияющие на их решения. Метод может быть применен для задач классификации, особенно в случаях, когда каждый признак может быть представлен как k-значная переменная. В работе рассматриваются локальная и глобальная интерпретации решений. На первом этапе происходит связывание каждого входного вектора с соответствующим выходом нейронной сети. Затем путем решения булевого уравнения находятся логические функции, которые адекватно отражают входные данные и соответствующие им выходы. На втором этапе глобальной интерпретации строятся функции, объединяющие ранее найденные логические функции. Этот выбор функций основывается на их способности наиболее точно отражать решения нейронной сети и исследуемой области. Полученная функция обладает интерпретируемостью, модифицируемостью и способностью представлять полное множество решений, соответствующих заданному запросу. Она также выделяет наиболее значимые признаки для каждого решения. В работе рассматривается практическая реализация метода на примере нейронной сети, обученной на основе структуры и входных данных, состоящих из ответов на анкетные вопросы, с выходным узлом, предсказывающим диагноз. Параллельно с разработкой нейронной сети строится интерпретационная модель, которая позволяет выявить наиболее важные признаки для каждого диагноза на основе решений нейронной сети. Кроме того, в случаях с пограничными решениями, когда нейронная сеть предоставляет только одно возможное решение, интерпретационная модель способна найти все возможные решения с заранее заданной точностью, что помогает избежать ошибок в принятии решений.
In this paper, we propose a method for interpreting neural network solutions based on the use of Boolean integro-differential calculus. This method allows you to investigate the logic of decision-making by neural networks and determine the most important signs that affect their decisions. The method can be applied to classification problems, especially in cases where each feature can be represented as a k-valued variable. The paper considers local and global interpretations of solutions. At the first stage, each input vector is associated with the corresponding output of the neural network. Then, by solving a Boolean equation, logical functions are found that adequately reflect the input data and their corresponding outputs. At the second stage, global interpretation, functions are constructed that combine previously found logical functions. This choice of functions is based on their ability to most accurately reflect the decisions of the neural network and the study area. At the second stage, global interpretation, functions are constructed that combine previously found logical functions. This choice of functions is based on their ability to most accurately reflect the decisions of the neural network and the study area. The resulting function has interpretability, modifiability and the ability to represent a complete set of solutions corresponding to a given query. It also highlights the most significant features for each solution. The paper considers the practical implementation of the method on the example of a neural network trained on the basis of the structure and input data consisting of answers to questionnaire questions, with an output node predicting the diagnosis. In parallel with the development of the neural network, an interpretive model is being built, which allows identifying the most important signs for each diagnosis based on the decisions of the neural network. In addition, in cases with boundary solutions, when the neural network provides only one possible solution, the interpretative model is able to find all possible solutions with a predetermined accuracy, which helps to avoid mistakes in decision-making.
The authors declare that there are no conflicts of interest present.