Применение языковых моделей для автоматической проверки открытых ответов учащихся

Применение языковых моделей для автоматической проверки открытых ответов учащихся

Копнин В.Н. (ЯрГУ, Ярославль, Россия
Лагутина К.В. (ЯрГУ, Ярославль, Россия
Полетаев А.Ю. (ЯрГУ, Ярославль, Россия
Лагутина Н.С. (ЯрГУ, Ярославль, Россия

Аннотация

Автоматическая оценка коротких открытых ответов обучающихся упрощает работу преподавателя и позволяет быстро и эффективно оценить работу студента. Целью данной работы является сравнение методов классификации русскоязычных коротких ответов в зависимости от оценки. Анализируется применение нейросетевых языковых моделей и методов машинного обучения. Оценивание происходит на основе эталонного ответа по двум классам: верный/неверный, или трем: верный/частично верный/неверный ответ. Для проведения экспериментов авторы собрали четыре корпуса ответов на вопросы из различных дисциплин и предметных областей: корпус общих вопросов по ИТ-дисциплинам и высшей математике, корпус вопросов по базам данных, корпус вопросов по истории и корпус вопросов по разработке с помощью программного инструмента Qt. В процессе экспериментов с данными текстами сравнивались 11 предобученных языковых моделей, 2 способа обучения, 2 способа разбиения на обучающую и тестовую выборки и 7 классификаторов, чтобы проанализировать различные способы векторного представления и классификации русскоязычных текстов. Анализ результатов бинарной классификации показал, что не существует доминирующей пары «модель + классификатор», которая бы стабильно превосходила остальные на всех корпусах. F-меру более 0.9 показывали BERT-модели в комбинациях с центроидным классификатором, логистической регрессией или многослойным перцептроном. Для тернарной классификации лучшими комбинациями оказались модели rugpt3m, MiniLM-L12 и rubert-tiny2 в сочетании с категориальным бустингом и центроидным классификатором, F-мера составила 0.58. Повысить качество F-меры до 0.96 для бинарной и до 0.91 для тернарной классификации помогла аугментация на основе правил для рекомбинации реальных данных. Анализ ошибок показал, что основную сложность представляет отделение полностью верных ответов от частично верных. На основе результатов экспериментов была разработана и опубликована программная система для проведения контрольных мероприятий среди учащихся.

Ключевые слова

обработка естественного языка; оценка ответов учащихся; классификация текстов; нейросетевые языковые модели; искусственный интеллект в образовании.

Издание

Труды Института системного программирования РАН, том 38, вып. 3, часть 2, 2026, стр. 197-214.

ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).

DOI: 10.15514/ISPRAS-2026-38(3)-30

Для цитирования

Копнин В.Н., Лагутина К.В., Полетаев А.Ю., Лагутина Н.С. Применение языковых моделей для автоматической проверки открытых ответов учащихся. Труды Института системного программирования РАН, том 38, вып. 3, часть 2, 2026, стр. 197-214. DOI: 10.15514/ISPRAS-2026-38(3)-30.

Полный текст статьи в формате pdf Вернуться к содержанию тома