Сегодня для того, чтобы проект онлайн-обучения был успешным, недостаточно фокусироваться исключительно на количестве запускаемых программ. Важным элементом в производстве, реализации и поддержке курсов становится их психометрическое сопровождение. Что такое психометрика и зачем она нужна онлайн-курсам, порталу theRunet рассказал Дмитрий Аббакумов, руководитель Центра психометрических исследований в онлайн-образовании НИУ ВШЭ, докторант KU Leuven, Бельгия.
Психометрика онлайн-обучения — это научное направление, которое фокусируется на высокоточных измерениях, анализе данных и математическом моделировании педагогических и психологических процессов онлайн-обучения. Сегодня онлайн-платформы собирают и хранят огромное количество информации о пользователях. Ни для кого не секрет, что каждый шаг студента на платформе записывается в базу данных. Задача психометрики онлайн-обучения сделать так, чтобы эти данные работали и на студентов, и на онлайн-курсы. На нескольких примерах из нашей ежедневной практики я покажу, как ей это удается.
Анализ тестов
Ни один онлайн-курс не обходится без тестов. Однако их качеству уделяется надостаточное внимание — часто работа автора курса сводится к формальному обеспечению их наличия. Насколько хорошо работает тест и его отдельные задания, и работают ли они вообще? Отвечая на этот вопрос, мы анализируем четыре составляющих:
- различительную способность заданий
- трудность заданий и теста в целом
- достаточность заданий в тесте
- параллельность форм (или вариантов) теста
Различительная способность (или дискриминативность) показывает, способны ли задания теста дифференцировать студентов на знающих и не знающих материал, освоивших и не освоивших тему. Простыми словами, хорошее задание в тесте — такое, в котором сильный студент дает верный ответ, а слабый — ошибается.
Если и сильные, и слабые студенты с близкой частотой отвечают верно и неверно — такое задание не различает студентов на сильных и слабых, поэтому нет смысла держать его в тесте. А вот если слабые студенты отвечают на задание верно чаще, чем сильные студенты — высока вероятность инверсии ключа (когда технический специалист, загружая тест на платформу, поставил галочку верного ответа у неверного ответа).
Анализ трудности заданий и теста показывает, не перегружен ли тест очень трудными или очень простыми заданиями, а также соответствует ли трудность теста уровню подготовленности студентов, которые его проходят. Если тест очень простой — мы впустую тратим время студентов, а если очень трудный — мы перегружаем их. Психометрика позволяет нам бережно относиться к нашим студентам и создавать тест «по их лекалам».
Авторы курса зачастую не задумываются о достаточности заданий в тесте. Почему 15, а не 10, или почему 75, а не 175? Количество заданий может быть как недостаточным, что сводит к минимуму качество оценочной процедуры (уж лучше, в таком случае, совсем без теста), так и избыточным, что приводит к перегрузкам студентов, заставляя их делать лишнее.
Анализ достаточности заданий определяет оптимальное число заданий, исходя как из целей и содержания конкретной темы, так и уровня точности, который необходим в оценивании. Например, в еженедельных тестах не нужно стремиться к сверх-точности, которая важна в итоговом тесте по курсу.
Анализ параллельности форм нужен тогда, когда автор курса решил использовать несколько вариантов одного теста или конкретного задания. В этом случае нам необходимо убедиться в их эквивалентности. На практике распространены случаи, когда два варианта одного задания по внешним признакам (например, по тексту условия) эквивалентны, но при этом существенно различаются по трудности. Это приводит к тому, что студенты со схожими знаниями оказываются в неравных условиях, что противоречит идее объективного оценивания.
Анализ проблем взаимного оценивания
Задания на взаимную проверку, в которых студенты оценивают работы друг друга по рубрикам и критериям, предложенным преподавателем, очень распространены в онлайн-курсах. Но у них есть важная проблема — объективность. Студенты, оценивая друг друга, могут как осознанно, так и неосознанно занижать или завышать выставляемые оценки (строгость и снисходительность), могут ставить только высокие или только низкие оценки (ограничение спектра), могут ставить только средние оценки (тенденция к среднему), а также могут ставить оценки «от балды».
Психометрический анализ позволяет посмотреть на оценку, выставленную за работу, как на набор эффектов: студента-эксперта (того, кто оценивал), студента-студента (того, кто выполнял) и самой работы (трудности задания). Таким образом, мы можем увидеть, насколько объективной была конкретная оценка.
Test-security и прокторинг
В практике онлайн-курсов иногда встречаются не очень честные студенты, а изредко попадаются очень нечестные студенты. Особенно остро проблема нечестных стратегий (списывания, например) встает в случаях, когда сертификат по курсу засчитывается в дипломе. Основным и очень эффективным способом борьбы со списыванием является прокторинг — когда студенты сдают итоговый экзамен под онлайн-присмотром специально обученного человека — проктора. То есть, на протяжении экзамена за студентом через веб-камеру наблюдает проктор. Иногда даже осуществляется запись.
При этом существует психометрический метод, который может быть весомым дополнением к прокторингу. Суть метода заключается в том, что на основании серии ответов студента строится вероятностный профиль его будущих результатов. Если они определенным образом отклоняются от ожиданий (например, когда слабый студент дает подряд несколько верных ответов на очень трудные задания), есть повод для беспокойства и более детального изучения профиля ответов этого студента. Психометрика претендует не на замену прокторингу, сколько на то, чтобы глубже понять механику нечестных стратегий и «ассистировать» проктору.
Анализ видео-контента
Голубая линия — интерес, зеленая линия — трудность. С помощью анализа контента можно понять, какие факторы влияют на рост и падение интереса // INTEREST AND INTERESTINGNESS: THE NEW PERSPECTIVE ON STUDENTS AND CONTENT. Dmitry Abbakumov, Evgenia Kulik
Со стартом курса на платформе работа над контентом не завершается.
Психометрический анализ позволяет найти узкие места в контенте
и помогает авторам его улучшить. Мы уделяем особое внимание трудности
и интересности контента.
Анализ трудности показывает, как
студенты справляются с отдельными блоками. Этот анализ позволяет найти
особо сложные блоки контента («неберушки»), которые могут быть
дополнительно раскрыты в материалах для чтения, рассылке или на форуме.
Анализ интересности курса позволяет проследить, в какие его периоды он возрастает и падает, а также сбалансировать интересность и трудность материала // INTEREST AND INTERESTINGNESS: THE NEW PERSPECTIVE ON STUDENTS AND CONTENT. Dmitry Abbakumov, Evgenia Kulik
Интерес в обучении служит важным мотивационным рычагом, который позволяет управлять вниманием и способствует эффективному получению знаний. Экспертиза контента с точки зрения интереса студентов позволяет выявить артефакты, повышающие или снижающие привлекательность контента для студентов, а также помогает анализировать опыт взаимодействия студентов с контентом.
Анализ студентов
Главным продуктом обучения является изменение студента — прирост его знаний, умений и навыков. Чтобы понять, насколько курс выполнил свою задачу, очень важно иметь возможность проанализировать студентов, фокусируясь на их подготовленности и трудностях.
Анализ подготовленности отвечает на следующие вопросы:
- С чем студент пришел на курс?
- Как изменились знания в течение курса?
- Является ли это изменение статистичеси значимым?
Трудности студентов в работе с контентом могут быть как индивидуальными, так и групповыми. Источником индивидуальных проблем чаще всего является сам студент (например, не досмотрел или не дочитал до конца), тогда как источником трудностей, которые по какой-то причине возникают у целой группы студентов, являются проблемы в самом контенте (например, неточность в презентации).
Анализ трудностей позволяет не только их выявить, но и установить психометрические взаимосвязи между ними (например, ошибки в блоке Х связаны с ошибками в блоке Y). Это знание может помочь автору курса в оптимизации контента и в работе со студентами на форуме.
В завершение хотел бы сказать, что наш Центр на сегодняшний день обладает уникальной экспертизой в области психометрики онлайн-обучения. В Центре работает открытая консультационная линия «О психометрике онлайн-обучения просто». Нам интересно применять наши знания и делать совместные проекты с университетами и независимыми образовательными сервисами. Мы всегда рады сотрудничеству.
Дмитрий Аббакумов — руководитель Центра психометрических исследований в онлайн-образовании НИУ ВШЭ, докторант Факультета психологических и педагогических наук, м.н.с. Центра интерактивных технологий KU Leuven, Бельгия.
Центр психометрических исследований в онлайн-образовании создан в Дирекции по онлайн-обучению НИУ ВШЭ в июне 2016 года. Это первый в России центр, специализирующийся на психометрике онлайн-обучения.