Создание качественных дистракторов для тестовых заданий представляет собой трудоемкий процесс, имеющий большое значение для точной оценки знаний. Существующие подходы часто генерируют неправдоподобные или не отражающие типичные ошибки учащихся варианты. В данной статье предлагается алгоритм генерации дистракторов на основе искусственного интеллекта. Он использует LLM для построения сначала правильной цепочки рассуждений для заданного вопроса и ответа, а затем внедряет типичные ошибки для получения неверных, но в то же время убедительных вариантов ответа, стремясь отразить распространенные заблуждения учащихся. Алгоритм был протестирован на вопросах из русскоязычных наборов данных RuOpenBookQA и RuWorldTree. Оценка проводилась как с использованием автоматических метрик, так и экспертами. Результаты показывают, что алгоритм превосходит базовые методы (прямых запросов и семантических изменений), генерируя дистракторы с более высоким уровнем правдоподобия, релевантности, разнообразия и сходства с эталонными дистракторами, созданными человеком. Данная работа вносит вклад в область автоматизированной генерации контрольно-измерительных материалов, предоставляя способствующий созданию более эффективных оценочных материалов инструмент для преподавателей, разработчиков образовательных платформ и исследователей в сфере обработки естественного языка.
Creating high-quality distractors for test items is a labor-intensive task that plays a crucial role in the accurate assessment of knowledge. Existing approaches often produce implausible alternatives or fail to reflect typical student errors. This paper proposes an AI-based algorithm for distractor generation. It employs a large language model (LLM) to first construct a correct chain of reasoning for a given question and answer, and then introduces typical misconceptions to generate incorrect but plausible answer choices, aiming to capture common student misunderstandings. The algorithm was evaluated on questions from the Russian-language datasets RuOpenBookQA and RuWorldTree. Evaluation was conducted using both automatic metrics and expert assessment. The results show that the proposed algorithm outperforms baseline methods (such as direct prompting and semantic modification), generating distractors with higher levels of plausibility, relevance, diversity, and similarity to human-authored reference distractors. This work contributes to the field of automated assessment material generation, offering a tool that supports the development of more effective evaluation resources for educators, educational platform developers, and researchers in natural language processing.
The authors declare that there are no conflicts of interest present.