Актуальность работы обусловлена важностью исследования результатов обучения для повышения качества учебного процесса. Для этого предлагается модель оценки знаний в виде последовательности заданий. Вероятность успешного выполнения задания зависит от латентных параметров: подготовленности обучающегося и трудности задания. Модель аналогична Partial Credit Model, применяемой в Item Response Theory для анализа результатов тестирования. На основе метода максимального правдоподобия разработана процедура оценки параметров численными методами по оценкам обучающихся. Обоснована сходимость процедуры оценивания. Предложены проверки адекватности модели с применением дисперсионного анализа, корреляционного анализа, критериев Infit и Outfit на основе хи-квадрат распределения. Для оценки полезности модели предлагается использовать коэффициент детерминации. Приведены сведения о применении модели для анализа массива оценок студентов академической группы. По итогам анализа модель прошла проверки адекватности и позволила существенно уточнить характеристики итогов обучения и процедур оценивания знаний. Для повышения точности моделирования предлагается использовать оценки текущей успеваемости. Практическая ценность предложенной модели заключается в выявлении процедур оценивания с характеристиками, существенно отличающимися от средних, для дальнейшего содержательного анализа и улучшения.
The relevance of the research is due to the importance of studying learning outcomes to improve the quality of educational process. For this, a knowledge assessment model is proposed in the form of a task sequence. The probability of successful completion of the task depends on the latent parameters: the ability of the student and the difficulty of the task. The model is similar to the Partial Credit Model used in Item Response Theory to analyze test results. In reliance on the maximum likelihood method, a procedure has been developed for estimating parameters by numerical methods according to students' grades. The convergence of the estimation procedure has been substantiated. Adequacy verification of the model by the means of variance analysis, correlation analysis, Infit and Outfit criteria, based on the chi-square distribution, is put forward. To evaluate the usefulness of the model, it is suggested to utilize the coefficient of determination. Information on the application of the model for the analysis of students’ grade array in the academic group is given. Following on from the results of the analysis, the model passed the adequacy tests and made it possible to significantly clarify the characteristics of the learning outcomes and knowledge assessment procedures. To enhance the accuracy of modeling, it is recommended to employ grades of current academic performance. The practical value of the model lies in the identification of assessment procedures with characteristics that differ notably from the average for further meaningful analysis and upgrade.
The authors declare that there are no conflicts of interest present.