Дорожную карту психометрического моделирования композитных конструктов обсудили на семинаре МГППУ и ИО НИУ ВШЭ
Новость
14 апреля состоялась очередная сессия международного научного семинара «Измерения и анализ данных в психологии и образовании», организованного в партнерстве университетов МГППУ и Института образования НИУ ВШЭ.
Модератором семинара выступила Иванова Алина Евгеньевна, кандидат наук об образовании, старший научный сотрудник Центра психометрики и измерений в образовании Института образования НИУ ВШЭ.
С докладом «Дорожная карта психометрического моделирования композитных конструктов» выступил Федерякин Денис Александрович, научный сотрудник Центра психометрики и измерений в образовании, Институт образования НИУ ВШЭ.
В своем докладе автор представил оригинальную дорожную карту психометрического моделирования композитных конструктов.
Автор определил композитные конструкты как те измеряемые характеристики респондентов, которые имеют теоретически описанные компоненты и их неравномерное соотнесение с поведенческими индикаторами. Т.е., в инструментах измерения этих конструктов не все задания измеряют все компоненты конструкта. Суть доклада свелась к тому, чтобы столкнуть разные опции для моделирования композитных конструктов «нос к носу», и за счет этого подсветить их различия и сходства.
В начале доклада автором были обозначены два конкурирующих аспекта решения задачи выбора психометрической модели: концептуальный и технический. Автор отметил, что несмотря на то, что в практике выбор из конкурирующих психометрических моделей часто совершается исходя из технических индексов согласия модели с данными, теоретические представления о структуре конструкта и интерпретация модели не менее важны. Автор предложил трехэтапное решение задачи выбора психометрической модели.
Первый этап заключается в определении того, что является результатом измерения: ранжирование, классификация или их комбинация. Этот выбор определяет выбор семейства психометрических моделей: Item Response Theory (IRT), Cognitive Diagnostic Modeling (CDM), или Mixture IRT.
Второй этап выбора модели сводится к выбору приоритетной цели моделирования. Автор обозначил две основные цели моделирования: (а) отражение композитности в структуре модели или (б) способ использования результатов измерений.
Третий этап авторской дорожной карты, на котором выбирается психометрическая модель, зависит от приоритетной цели. Так, если для исследователя важно отразить композитность конструкта в структуре модели, то автор сообщает о трех способах её описания: как параметров заданий; как параметров респондентов, или как параметров компонентов конструкта. Если же на втором этапе было определено, что важно, как будут использоваться результаты, то тут возникает всего две опции: результаты измерений могут быть использованы по отдельным компонентам конструкта, или как общий тестовый балл.
Автор привел примеры психометрических моделей для каждой из итоговых опций выбора. В завершении, докладчик резюмировал свод доклад представлением сводной таблицы характеристик психометрических моделей, на которую могут ориентироваться исследователи при выборе.
Дискуссант Семенов Алексей Львович, проф., д.ф.-м.н., действительный член РАН и РАО, зав.каф. Математической логики и теории алгоритмов МГУ, отметил, что докладчик доходчиво объяснил сложную и важную проблему описания поведения человека на основе когнитивной теории с помощью математических моделей, однако при этом обратил внимание на существующий разрыв между обозреваемыми математическими моделями и практическими ситуациями их применения на примере единого государственного экзамена.
Дискуссант Аббакумов Дмитрий Федорович, Ph.D. in Psychometrics, главный психометрик Яндекс.Практикума, также высоко оценил значимость проделанной докладчиком работы для психометрической науки и дальнейшего использования ее результатов исследователями. Дмитрий Федорович предложил включить в презентованную дорожную карту решений еще один предваряющий этап – использование интерпретируемых методов снижения размерности данных для определения достаточной размерности латентного пространства, включающего все составные части композитного конструкта. Такой шаг, по мнению дискуссанта, позволит оптимизировать карту распределения заданий по компонентам конструкта, с которой дальше работают исследователи, а также найти компромисс между наукой и практикой.
Следующий вебинар в рамках международного семинара «Измерения и анализ данных в психологии и образовании» состоится 19 мая 2022 года.