<?xml version="1.0" encoding="UTF-8"?>
<article article-type="research-article" dtd-version="1.3" xml:lang="ru" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="https://metafora.rcsi.science/xsd_files/journal3.xsd">
  <front>
    <journal-meta>
      <journal-id journal-id-type="publisher-id">moitvivt</journal-id>
      <journal-title-group>
        <journal-title xml:lang="ru">Моделирование, оптимизация и информационные технологии</journal-title>
        <trans-title-group xml:lang="en">
          <trans-title>Modeling, Optimization and Information Technology</trans-title>
        </trans-title-group>
      </journal-title-group>
      <issn pub-type="epub">2310-6018</issn>
      <publisher>
        <publisher-name>Издательство</publisher-name>
      </publisher>
    </journal-meta>
    <article-meta>
      <article-id pub-id-type="doi">10.26102/2310-6018/2025.49.2.035</article-id>
      <article-id pub-id-type="custom" custom-type="elpub">1900</article-id>
      <title-group>
        <article-title xml:lang="ru">Анализ поведения клиентов и выбор маркетинговых стратегий на основе обучения с подкреплением</article-title>
        <trans-title-group xml:lang="en">
          <trans-title>Analyzing customer behavior and choosing marketing strategies based on reinforcement learning</trans-title>
        </trans-title-group>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <name-alternatives>
            <name name-style="eastern" xml:lang="ru">
              <surname>Прохорова</surname>
              <given-names>Ольга Константиновна</given-names>
            </name>
            <name name-style="western" xml:lang="en">
              <surname>Prokhorova</surname>
              <given-names>Olga Konstantinovna</given-names>
            </name>
          </name-alternatives>
          <email>roza_pochta@list.ru</email>
          <xref ref-type="aff">aff-1</xref>
        </contrib>
        <contrib contrib-type="author">
          <name-alternatives>
            <name name-style="eastern" xml:lang="ru">
              <surname>Петрова</surname>
              <given-names>Елена Сергеевна</given-names>
            </name>
            <name name-style="western" xml:lang="en">
              <surname>Петрова</surname>
              <given-names>Елена Сергеевна</given-names>
            </name>
          </name-alternatives>
          <email>lenoks.sokolova@mail.ru</email>
          <xref ref-type="aff">aff-2</xref>
        </contrib>
      </contrib-group>
      <aff-alternatives id="aff-1">
        <aff xml:lang="ru">Воронежский институт высоких технологий</aff>
        <aff xml:lang="en">Voronezh Institute of High Technologies</aff>
      </aff-alternatives>
      <aff-alternatives id="aff-2">
        <aff xml:lang="ru">Воронежский государственный технический университет</aff>
        <aff xml:lang="en">Voronezh state technical University</aff>
      </aff-alternatives>
      <pub-date pub-type="epub">
        <day>01</day>
        <month>01</month>
        <year>2026</year>
      </pub-date>
      <volume>1</volume>
      <issue>1</issue>
      <elocation-id>10.26102/2310-6018/2025.49.2.035</elocation-id>
      <permissions>
        <copyright-statement>Copyright © Авторы, 2026</copyright-statement>
        <copyright-year>2026</copyright-year>
        <license license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/">
          <license-p>This work is licensed under a Creative Commons Attribution 4.0 International License</license-p>
        </license>
      </permissions>
      <self-uri xlink:href="https://moitvivt.ru/ru/journal/article?id=1900"/>
      <abstract xml:lang="ru">
        <p>В условиях современного конкурентного рынка компании сталкиваются с задачей выбора оптимальных маркетинговых стратегий, которые максимизируют вовлеченность клиентов, их удержание и доходы. Традиционные методы, такие как подходы на основе правил или A/B-тестирование, часто оказываются недостаточно гибкими для адаптации к динамичному поведению клиентов и долгосрочным трендам. Обучение с подкреплением (Reinforcement Learning, RL) предлагает перспективное решение, позволяя принимать адаптивные решения через непрерывное взаимодействие с окружающей средой. В статье исследуется применение RL в маркетинге, демонстрируется, как данные о клиентах – такие как история покупок, взаимодействие с кампаниями, демографические характеристики и показатели лояльности – могут быть использованы для обучения RL-агента. Агент учится выбирать персонализированные маркетинговые действия, например, отправку скидок или индивидуальных предложений с целью максимизировать такие показатели, как увеличение дохода или снижение оттока клиентов. Статья предоставляет пошаговое руководство по реализации маркетинговой стратегии на основе RL с использованием MATLAB. Рассматриваются создание пользовательской среды, проектирование RL-агента и процесс обучения, а также практические рекомендации по интерпретации решений агента. С помощью симуляции взаимодействий с клиентами и оценки производительности агента мы демонстрируем потенциал RL для трансформации маркетинговых стратегий. Цель работы – сократить разрыв между передовыми методами машинного обучения и их практическим применением в маркетинге, предложив дорожную карту для компаний, стремящихся использовать возможности RL для принятия решений.</p>
      </abstract>
      <trans-abstract xml:lang="en">
        <p>In today's competitive market, companies face the challenge of choosing optimal marketing strategies that maximize customer engagement, retention, and revenue. Traditional methods such as rule-based approaches or A/B testing are often not flexible enough to adapt to dynamic customer behavior and long-term trends. Reinforcement Learning (RL) offers a promising solution, allowing you to make adaptive decisions through continuous interaction with the environment. This article explores the use of RL in marketing, demonstrating how customer data – such as purchase history, campaign interactions, demographic characteristics, and loyalty metrics – can be used to train an RL agent. The agent learns to choose personalized marketing actions, such as sending discounts or customized offers, in order to maximize metrics such as increased revenue or reduced customer churn. The article provides a step-by-step guide to implementing an RL-based marketing strategy using MATLAB. The creation of a user environment, the design of an RL agent and the learning process are considered, as well as practical recommendations for interpreting agent decisions. By simulating customer interactions and evaluating agent performance, we demonstrate the potential of RL to transform marketing strategies. The aim of the work is to bridge the gap between advanced machine learning methods and their practical application in marketing by offering a roadmap for companies seeking to use the capabilities of RL for decision making.</p>
      </trans-abstract>
      <kwd-group xml:lang="ru">
        <kwd>обучение с подкреплением</kwd>
        <kwd>поведение клиентов</kwd>
        <kwd>маркетинговые стратегии</kwd>
        <kwd>состояние среды</kwd>
        <kwd>действия агента</kwd>
        <kwd>награда агента</kwd>
      </kwd-group>
      <kwd-group xml:lang="en">
        <kwd>reinforcement learning</kwd>
        <kwd>customer behavior</kwd>
        <kwd>marketing strategies</kwd>
        <kwd>state of the environment</kwd>
        <kwd>agent actions</kwd>
        <kwd>agent reward</kwd>
      </kwd-group>
      <funding-group>
        <funding-statement xml:lang="ru">Исследование выполнено без спонсорской поддержки.</funding-statement>
        <funding-statement xml:lang="en">The study was performed without external funding.</funding-statement>
      </funding-group>
    </article-meta>
  </front>
  <back>
    <ref-list>
      <title>References</title>
      <ref id="cit1">
        <label>1</label>
        <mixed-citation xml:lang="ru">Саттон Р.С., Барто Э.Дж. Обучение с подкреплением: введение. Москва: ДМК Пресс; 2020. 552 c.</mixed-citation>
      </ref>
      <ref id="cit2">
        <label>2</label>
        <mixed-citation xml:lang="ru">Zhang Yu., Bai Yu, Jiang N. Offline Learning in Markov Games with General Function Approximation. arXiv. URL: https://arxiv.org/abs/2302.02571v1 [Accessed 12th March 2025].</mixed-citation>
      </ref>
      <ref id="cit3">
        <label>3</label>
        <mixed-citation xml:lang="ru">Zhu Ch., Dastani M., Wang Sh. A Survey of Multi-Agent Deep Reinforcement Learning with Communication. Autonomous Agents and Multi-Agent Systems. 2024;38(1). https://doi.org/10.1007/s10458-023-09633-6</mixed-citation>
      </ref>
      <ref id="cit4">
        <label>4</label>
        <mixed-citation xml:lang="ru">Garrabé É., Russo G. Probabilistic Design of Optimal Sequential Decision-Making Algorithms in Learning and Control. Annual Reviews in Control. 2022;54:81–102. https://doi.org/10.1016/j.arcontrol.2022.09.003</mixed-citation>
      </ref>
      <ref id="cit5">
        <label>5</label>
        <mixed-citation xml:lang="ru">Albrecht S.V., Christianos F., Schäfer L. Multi-Agent Reinforcement Learning: Foundations and Modern Approaches. Cambridge: The MIT Press; 2024. 366 p.</mixed-citation>
      </ref>
      <ref id="cit6">
        <label>6</label>
        <mixed-citation xml:lang="ru">Соколова Е.С. Мультиагентный подход к моделированию межмодульных взаимодействий в стохастических сетевых распределённых системах. Системы управления и информационные технологии. 2020;(1):67–71.</mixed-citation>
      </ref>
      <ref id="cit7">
        <label>7</label>
        <mixed-citation xml:lang="ru">Hu J., Wellman M.P. Multiagent Reinforcement Learning in Stochastic Games. CiteSeerX. URL: https://citeseerx.ist.psu.edu/document?repid=rep1&amp;type=pdf&amp;doi=7ce14dbb9add4d9656746703babd00d8f765b22a [Accessed 18th March 2025].</mixed-citation>
      </ref>
      <ref id="cit8">
        <label>8</label>
        <mixed-citation xml:lang="ru">Littman M.L., Szepesvári C. A Generalized Reinforcement-Learning Model: Convergence and Applications. In: Proceedings of the 13th International Conference on Machine Learning (ICML '96), 03–06 July 1996, Bari, Italy. Morgan Kaufmann; 1996. P. 310–318.</mixed-citation>
      </ref>
      <ref id="cit9">
        <label>9</label>
        <mixed-citation xml:lang="ru">Hu J., Wellman M.P. Multiagent Reinforcement Learning: Theoretical Framework and an Algorithm. In: Proceedings of the Fifteenth International Conference on Machine Learning (ICML 1998), 24–27 July 1998, Madison, Wisconsin, USA. Morgan Kaufmann; 1998. P. 242–250.</mixed-citation>
      </ref>
      <ref id="cit10">
        <label>10</label>
        <mixed-citation xml:lang="ru">Sychrovský D., Solinas Ch., MacQueen R., et al. Approximating Nash Equilibria in General-Sum Games via Meta-Learning. arXiv. URL: https://arxiv.org/abs/2504.18868 [Accessed 18th March 2025].</mixed-citation>
      </ref>
      <ref id="cit11">
        <label>11</label>
        <mixed-citation xml:lang="ru">Schwartz H.M. Multi-Agent Machine Learning: A Reinforcement Approach. John Wiley &amp; Sons, Inc.; 2014. 256 p.</mixed-citation>
      </ref>
    </ref-list>
    <fn-group>
      <fn fn-type="conflict">
        <p>The authors declare that there are no conflicts of interest present.</p>
      </fn>
    </fn-group>
  </back>
</article>