В статье рассматривается проблема повышения точности искусственных нейронных сетей при решении задач классификации состояний объектов различной физической природы. Эту проблему предлагается сформулировать как проблему выбора типа функции активации в искусственных нейронных сетях и рассматривать ее с позиции теории нечетких множеств. В этой связи разработана математическая модель адаптивной функции активации искусственного нейрона, использующая нечеткую логическую систему с интервальными нечеткими множествами второго типа. Эта функция отличается от обыкновенных функций активации, применяемых в нейросетевых моделях тем, что область ее входных значений ограничена, и при этом позволяет оптимизировать параметры, определяющие форму кривой в процессе обучения искусственной нейронной сети. С целью снижения вычислительной сложности нейро-нечеткой модели с нечеткой функцией активации предложена ее модификация, заключающаяся в применении математической функции гиперболического тангенса для нормализации значений вектора, подаваемого на вход нечеткой функции. Разработано алгоритмическое обеспечение для двух архитектур нейро-нечетких классификаторов – рекуррентного нейро-нечеткого классификатора и сверточного нейро-нечеткого классификатора. Проведено два эксперимента по классификации медико-биологических и текстовых объектов, в которых сравнивались показатели точности моделей нейро-нечетких классификаторов и аналогичных по структуре классификаторов без нечеткой функции активации, и при этом подтверждено повышение точности искусственных нейронных сетей, в составе которых используются нечеткие функции активации.
This paper considers the problem of increasing the accuracy of artificial neural networks in the tasks of states classification of objects with different physical nature. It is proposed to define this problem as a problem of choosing the activation function type in artificial neural networks and to consider it from the perspective of the fuzzy sets theory. In this regard, a mathematical model of the artificial neuron adaptive activation function has been developed, using a fuzzy logic system with interval fuzzy sets of the second type. This function differs from ordinary activation functions used in neural network models in that the range of its input values is limited, and, at the same time, such a function allows to optimize the parameters that determine the shape of the curve in the process of training an artificial neural network. To reduce the computational complexity of a neuro-fuzzy model with a fuzzy activation function, its modification is proposed, which involves the use of the mathematical function of the hyperbolic tangent to normalize the values of the vector supplied to the fuzzy function input. Algorithmic support has been developed for two architectures of neuro-fuzzy classifiers - a recurrent neuro-fuzzy classifier and a convolutional neuro-fuzzy classifier. Two experiments on the classification of biomedical and text objects were carried out, in which the accuracy indicators of neuro-fuzzy classifiers models and classifiers similar in structure without a fuzzy activation function were compared; additionally, an increase in the accuracy of artificial neural networks, which used fuzzy activation functions, was confirmed.
The authors declare that there are no conflicts of interest present.