moitvivt Моделирование, оптимизация и информационные технологии Modeling, Optimization and Information Technology 2310-6018 Издательство 10.26102/2310-6018/2021.33.2.024 1005 Объяснимый искусственный интеллект и методы интерпретации результатов Explainable artificial intelligence and methods for interpreting results 0000-0001-8936-8167 Шевская Наталья Владимировна Shevskaya Natalya Vladimirovna razmnn@mail.ru aff-1 Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И.Ульянова (Ленина) СПбГЭТУ «ЛЭТИ» Saint Petersburg Electrotechnical University "LETI" 01 01 2026 1 1 10.26102/2310-6018/2021.33.2.024 Copyright © Авторы, 2026 2026 This work is licensed under a Creative Commons Attribution 4.0 International License

Системы искусственного интеллекта используются во многих сферах обеспечения жизни человека, будь то, например, финансы или медицина. С каждым годом интеллектуальные системы обрабатывают все больше и больше данных и принимают все больше и больше решений. Эти решения оказывают все большее влияние на судьбы людей. Краеугольным камнем становится недоверие к полностью нечеловеческим, автономным системам искусственного интеллекта. Ключ недоверия кроется в непонимании того, почему интеллектуальные системы принимают то или иное решение, исходя из каких убеждений такие системы действуют (и есть ли у них свои собственные убеждения или только те, что им передали разработчики). Для решения проблемы «недоверия» к таким системам стали применять методы объяснимого искусственного интеллекта. В этой статье представлен краткий обзор методов, получивших наибольшую популярность в академической среде (методы PDP, SHAP, LIME, DeepLIFT, permutation importance, ICE plots). На примере практических упражнений продемонстрирована легкость применения методов PDP и SHAP, а также удобство «чтения» графических результатов работы этих методов, которые объясняют построенные дерево решений и случайный лес на примере небольшого набора данных о продажах

Artificial intelligence systems are used in many areas of human life support for example finance or medicine. Every year intelligent systems process more and more data and make more and more decisions. All these decisions have an increasing impact on the fate of people. The corner-stone is a distrust of completely non-human, autonomous artificial intelligence systems. The key to distrust lies in the misunderstanding of why intelligent systems make this or that decision, based on what beliefs such systems operate (and whether they have their own beliefs or only those that were given to them by the developers). To solve the problem of “distrust” in such sys-tems, the methods of explainable artificial intelligence have been used. This article provides a brief overview of the most popular methods in the academic environment such methods as PDP, SHAP, LIME, DeepLIFT, permutation importance, ICE plots. Practical exercises demonstrate the ease of application of PDP and SHAP methods, as well as the convenience of "reading" the graphical results of these methods, which explain the constructed decision tree model and ran-dom forest model on the example of a small set of sales data

 искусственный интеллект объяснимый искусственный интеллект интерпретируемый искусственный интеллект объяснимость интерпретируемость XAI PDP SHAP artificial intelligence explainable artificial intelligence interpretable artificial intelligence explainability interpretability XAI PDP SHAP Исследование выполнено без спонсорской поддержки. The study was performed without external funding. References Transparency and Responsibility in Artificial Intelligence. Deloitte. Доступно по: https://www2.deloitte.com/content/dam/Deloitte/nl/Documents/innovatie/deloitte-nl-innovation-bringing-transparency-and-ethics-into-ai.pdf (дата обращения: 10.06.2021) Linardatos P., Papastefanopoulos V., Kotsiantis S. Explainable AI: A Review of Ma-chine Learning Interpretability Methods. Entropy. 2021:23(18). Доступно по: https://www.mdpi.com/1099-4300/23/1/18/pdf DOI: 10.3390/e23010018 (дата обращения: 10.06.2021) Rosenfeld A., Richardson A. Explainability in human–agent systems. Autonomous Agents and Multi-Agent Systems. 2019;33(6):673-705. Доступно по: https://www.researchgate.net/publication/333084339_Explainability_in_human-agent_systems DOI: 10.1007/s10458-019-09408-y (дата обращения: 10.06.2021) Lundberg S. M., Lee S. I. Consistent feature attribution for tree ensembles. Proceedings of the ICML Workshop on Human Interpretability in Machine Learning (WHI’2017). 2017. Доступно по: https://arxiv.org/abs/1706.06060 (дата обращения: 10.06.2021) Lundberg S. M., Lee S. I. A Unified Approach to Interpreting Model Predictions. Pro-ceedings of the Neural Information Processing Systems (NIPS). 2017. Доступно по: https://arxiv.org/abs/1705.07874 (дата обращения: 10.06.2021) Friedman J. H. Greedy function approximation: a gradient boosting machine. Annals of statistics. 2001;29(5):1189-1232. Доступно по: https://statweb.stanford.edu/~jhf/ftp/trebst.pdf (дата обращения: 10.06.2021) Ribeiro M. T., Singh S., Guestrin C. “Why should i trust you?" Explaining the predic-tions of any classifier. Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016;1135-1144. DOI: 10.1145/2939672.2939778 Shrikumar A., Greenside P., Kundaje A. Learning important features through propagat-ing activation differences. Proceedings of the 34th International Conference on Machine Learn-ing (PMLR). 2017;70:3145-3153. Goldstein A. et al. Peeking inside the black box: Visualizing statistical learning with plots of individual conditional expectation. Journal of Computational and Graphical Statistics. 2015;24(1):44-65. DOI: 10.1080/10618600.2014.907095 Machine Learning Explainability. Permutation Importance. Доступно по: https://www.kaggle.com/dansbecker/permutation-importance (дата обращения: 10.06.2021) Machine Learning Explainability Course. Partial Dependence Plots. Доступно по: https://www.kaggle.com/dansbecker/partial-plots (дата обращения: 10.06.2021) Machine Learning Explainability. SHAP Values, Доступно по: https://www.kaggle.com/dansbecker/shap-values (дата обращения: 10.06.2021)

The authors declare that there are no conflicts of interest present.