Группой преподавателей-исследователей под руководством доцента Александра Адамского на базе магистерской программы МГПУ «Управление школой и образовательная политика» был реализован проект «Технология персонализированного обучения с автоматизированной оценкой и обратной связью на основе использования генеративного искусственного интеллекта».

Целью проекта стала разработка и теоретическое обоснование модели персонализированной обратной связи на основе генеративного искусственного интеллекта (ИИ) для гуманитарных профилей магистратуры, синтезирующей задачный подход к проектированию содержания и промпт-инжиниринг для настройки ИИ.

Разработанная модель представляет собой технологическую цепочку, связывающую персональную инициативу, иерархию задач, матричное оценивание и ИИ, настроенный методом промпт-инжиниринга для генерации структурированной обратной связи.

Научная новизна проекта заключается в комплексном рассмотрении использования технологий генеративного ИИ не как автономного инструмента для оценки и обратной связи, а как элемента целостной педагогической технологии, встроенной в логику задачно-модульного подхода и направленной на развитие субъектности магистранта. В отличие от существующих систем автоматизированного оценивания эссе (AES), предлагаемая модель опирается на иерархию учебных задач, связанных с персональной образовательной инициативой студента, и генерирует обратную связь не на основе общих лингвистических паттернов, а по специально разработанной критериальной матрице оценивания компетенций, что позволяет реализовать принципы формирующего оценивания.

В апробации модели автоматизированной оценки с обратной связью приняли участие 52 студента первого и второго годов обучения, из них 78% (по данным анкетирования) имели предварительный опыт использования ИИ-инструментов.

Качество автоматизированной оценки и обратной связи было оценено в ходе психометрического исследования и анонимного онлайн-анкетирования магистрантов – участников апробации модели.

Психометрическая оценка качества состояла в проверке того, соответствуют ли баллы, выставленные алгоритмом, требованиям инвариантности и параметрической согласованности, присущим модели Раша. Для того чтобы проверить достоверность выставляемых алгоритмом баллов, результаты работы алгоритма были подвергнуты психометрической обработке с помощью политомической модели Раша.

С помощью анонимного онлайн-анкетирования магистрантов была проведена субъективная оценка качества: участники апробации оценивали по 5-балльной шкале (от «полностью не согласен» до «полностью согласен») такие характеристики обратной связи от ИИ, как понятность, конкретность, полнота, полезность, указание на сильные стороны, общая удовлетворенность.

Апробация подтвердила педагогическую эффективность: применение разработанной модели даёт приемлемое согласие результатов ИИ с психометрической моделью Раша, положительные оценки студентов.

Предложенная модель отвечает на вызов магистерского образования – необходимость персонализации обучения при ограниченных ресурсах. Интеграция задачного подхода и ИИ позволила сместить фокус на поддержку и сопровождение учебной деятельности, создать безопасную среду для проб и ошибок студентов.

Сравнение с известными аналогами, например, такими как системы Automated Essay Scoring (AES) или использование ChatGPT студентами для самопроверки, показывает преимущества разработанной модели:

• обратная связь генерируется по педагогически обоснованной матрице оценки компетентности, а не на основе общих паттернов;
• учебные задачи и критерии встроены в логику развития образовательной программы и персональной инициативы студента;
• модель расширяет возможности преподавателя, освобождая время для содержательной экспертизы, консультаций, рефлексии;
• создаются условия для соавторства преподавателей и студентов в обучении.

Перспективы дальнейших исследований видятся в разработке адаптивных промптов, учёте индивидуальных особенностей студентов, а также в изучении влияния автоматизированной оценки с обратной связью на развитие метакогнитивных навыков и профессиональной идентичности магистрантов.