МГППУ, ИО НИУ ВШЭ и РАНХиГС провели третий международный научный семинар «Измерения и анализ данных в психологии и образовании»

13 мая состоялся третий международный научный семинар (вебинар) «Измерения и анализ данных в психологии и образовании», организованный в партнерстве университетов: ФГБОУ ВО МГППУ, Института образования НИУ ВШЭ, РАНХиГС.

Модератором семинара выступила Е.Ю. Карданова, директор Центра психометрики и измерений в образовании Института образования НИУ ВШЭ, кандидат физико-математических наук.

Спикеры семинара — сотрудники Центра психометрики и измерений в образовании И.Л. Угланова, Е.С. Гельвер, С.В. Тарасов, Д.А. Грачева и Е.Е. Вырва. Тема, представленная в докладе — "Оценивание креативности на основе анализа изображений с помощью нейронных сетей".

В начале презентации авторы представили инструмент "4К: измерение критического мышления, креативности, коммуникации и кооперации", разработанный сотрудниками Центра психометрики и измерений в образовании (Лаборатория измерения новых конструктов и дизайна тестов) Института образования НИУ ВШЭ. Данный инструмент служит для оценки навыков 21 века учеников начальной и средней школы с помощью заданий сценарного типа, реализованных в компьютерной форме.

В вводной части доклада авторами были подняты проблемы определения и измерения креативности в современной психологии и образовании, а также особенности теоретического подхода и реализации измерения в инструменте "4К".

В основной части освещался разработанный подход для полностью автоматизированного оценивания креативности. Подход рассматривался в применении к одному из заданий инструмента "4К", в котором тестируемые создают необычных существ из набора заданных элементов с помощью конструктора.

Цель представленного исследования заключалась в том, чтобы продемонстрировать возможности машинного обучения для оценивания креативности через анализ изображений без привлечения экспертов.

Для достижения цели была предложена методология двухэтапного анализа данных, особенности и результаты которого были подробно представлены в докладе. На первом этапе с применением методологии латентного классового анализа была получена начальная разметка, которая использовалась для обучения нейросети. На втором этапе происходил выбор архитектуры и обучение нейросети с помощью методов машинного обучения.

Согласно полученным результатам, точность оценивания изображений при помощи нейросети достигла 88%. При этом, качественный анализ изображений, которые были классифицированы неверно, позволил внести изменения в инструмент измерения для более однозначной и достоверной интерпретации данных тестирования.

Авторами были представлены условия реализации предложенного подхода и его ограничения. В заключении было отмечено, что исследование относится к новой и перспективной области исследований Computational psychometrics и ведет к развитию междисциплинарных исследований – наук о данных и наук об образовании.

Таким образом, в выступлении авторы показали, как можно объединить психометрические методы и машинное обучение для измерения креативности без привлечения экспертов, подчеркнув важность совместной работы экспертов в области креативности, тест-девелоперов, психометриков и программистов.

Дискуссант В. А. Болотов, академик РАО, доктор педагогических наук, профессор, заслуженный профессор НИУ ВШЭ, согласился с важностью отмеченных проблем креативности и тем, что их не могут решить отдельно ни педагоги, ни психологи, ни психометрики, а нужны именно такие междисциплинарные исследования. В связи с этим он рекомендовал подумать о подключении педагогов к исследованию для того, чтобы более глубоко интерпретировать полученные результаты тестов.

Дискуссант С. М. Чурбанова, кандидат психологических наук, доцент кафедры возрастной психологии, факультет психологии МГУ имени М.В. Ломоносова, рассуждала об истории представлений о конструкте креативности и о том, что машинному обучению пока еще далеко до решения всех поднятых проблем, но разработка такого инструмента имеет перспективы в образовании. В завершении дискуссантом был поставлен вопрос о том, насколько детям интересно принимать участие в тестировании с помощью такого инструмента и как они могут помочь исследователям в изучении креативности.

Представленная докладчиками тема и методология исследования вызвала большой интерес и отклик у слушателей, что привело к множеству вопросов и живому обсуждению после выступления. Во время доклада на платформе zoom было подключено около 70 человек.

В основе доклада - опубликованная статья в журнале "Искусственный интеллект и принятие решений" (1 номер 2021 года). Ранее команда проекта выступала с презентациями промежуточных результатов на семинаре Центра «Измерения в психологии и образовании» и на конференции «Цифровая гуманитаристика и технологии в образовании» (DHTE 2020). 

Запись семинара доступна на YouTube-канале МГППУ

Следующий вебинар в рамках международного семинара «Измерения и анализ данных в психологии и образовании» состоится 10 июня 2021.