СТАТИСТИКА И АНАЛИЗ КУРСА
ЗАПУСК И СОПРОВОЖДЕНИЕ КУРСА
Курс не заканчивается, когда вы подвели итоги и выпустили сертификаты. На этом этапе начинается не менее важная часть работы: сбор и анализ статистики курса.
Зачем анализировать курс?
- Повысить качество онлайн-обучения: доработать задания и учебные блоки
- Познакомиться с аудиторией и подобрать дополнительные материалы
- Оптимизировать поддержку курса
- Рассчитать время присутствия автора на форуме
- Расширить аудиторию курса
Какие данные можно собирать и что с ними делать?
- Информация о прогрессе участников курсаВы можете проанализировать результаты выполнения заданий. Например, выбрать задания, с которыми не справилось наибольшее количество человек и проанализировать, в чем проблема: посмотреть, какие ошибки допустили слушатели, изучить само задание и сопроводительный текст к разделу, в котором оно находится. Возможно, вам стоит доработать или переделать организационные тексты к заданиям, которые оказались самыми сложными для слушателя, добавить дополнительные примеры и комментарии.
- Статистика просмотров учебных и организационных разделовПроследите динамику просмотров, посмотрите, сколько раз слушатели открывали те или иные разделы. Проследите, откуда люди попадают на эти страницы и попробуйте отследить соотношение переходов из этих источников. Например, вы даете ссылку на путеводитель в новостях курса, на форуме, в рассылке и в разделе «Вопросы и ответы». Прикрепите к ссылке в каждом разделе разные utm-метки и в процессе следующего запуска проследите, откуда переходов больше, а откуда меньше. Обратите внимание на оформление ресурсов, где вы даете ссылку на те или иные разделы курса и на оформление самих разделов. Попробуйте сделать их более простыми и приятными глазу, разбавьте большое количество текста графическими элементами или изложите информацию более кратко.
- Отзывы, чаты, запросы в техподдержкуНайдите самые популярные вопросы и попробуйте их проработать. Если много людей задает один и тот же вопрос, значит, в курсе не хватает информации или она неявная/незаметная
На самом деле анализировать в курсе можно что угодно: количество просмотров роликов и дополнительных материалов, успеваемость в выполнении заданий, активность на форумах, пол и возраст аудитории, взаимосвязи времени открытия глав и соблюдения дедлайнов. Главное — это определить вашу цель.
Обязательно уделяйте внимание не только анализу результатов обучения, но и результатам своей работы. От запуска к запуску вы можете упрощать свои задачи, сокращая время и усилия, которые вы прикладываете, поддерживая курс. Может оказаться, что календарь можно составить грамотнее, организационные разделы нужно расположить по-другому, а раздел «Вопросы и ответы» вообще был составлен зря или неправильно потому что никто в него не зашел.
Даже если ваш курс уже запускался два, три, пять раз, все равно важно анализировать результаты обучения и подержки. Аудитория курса растет и меняется, и с каждым новым запуском вы будете открывать для себя новые стороны курса, нуждающиеся в доработке.
Даже если ваш курс уже запускался два, три, пять раз, все равно важно анализировать результаты обучения и подержки. Аудитория курса растет и меняется, и с каждым новым запуском вы будете открывать для себя новые стороны курса, нуждающиеся в доработке.
Психометрика
Вопросы аналитики онлайн-курса связаны с такой точной дисциплиной, как психометрика. В России на этом вопросе специализируется Центр психометрических исследований в онлайн-образовании ВШЭ.
“
Психометрика онлайн-обучения — это научное направление, которое фокусируется на высокоточных измерениях, анализе данных и математическом моделировании педагогических и психологических процессов онлайн-обучения. Сегодня онлайн-платформы собирают и хранят огромное количество информации о пользователях. Ни для кого не секрет, что каждый шаг студента на платформе записывается в базу данных. Задача психометрики онлайн-обучения сделать так, чтобы эти данные работали и на студентов, и на онлайн-курсы.
Одно из наиболее развитых направлений психометрики онлайн-обучения — это анализ оценочных средств. На самом простом уровне можно изучать проверочные задания с автоматической проверкой точки зрения двух параметров:
- коэффициент трудности
- различительная способность
Для рассчета коэффициента трудности используется формула ki = ci / N, где ki — коэффициент решаемости задания i, ci — доля испытуемых, выполнивших задание i верно, N — общее количество испытуемых. Трудность может изменяться от 0 до 1 и чем этот показатель выше, тем задание легче.
Различительная (дифференцирующая) способность показывает, насколько хорошо задание разделяет испытуемых на сильных и слабых в рамках измеряемой дисциплины. Наиболее распространенной мерой различительной способности является коэффициент дискриминативности.
Этот коэффициент учитывает коэффициенты решаемости заданий и рассчитывается следующим образом: пусть kj' - коэффициент решаемости j-го задания лучшей четвертью испытуемых (25% участников, имеющих высокие баллы), kj'' - коэффициент решаемости j-го задания худшей четвертью испытуемых (25% участников, имеющих низкие баллы). Тогда Dj = kj' - kj''
Этот коэффициент учитывает коэффициенты решаемости заданий и рассчитывается следующим образом: пусть kj' - коэффициент решаемости j-го задания лучшей четвертью испытуемых (25% участников, имеющих высокие баллы), kj'' - коэффициент решаемости j-го задания худшей четвертью испытуемых (25% участников, имеющих низкие баллы). Тогда Dj = kj' - kj''
Общие рекомендации по интерпретации результатов
Трудность
Стоит обратить внимание на задания с коэффициентом меньше, чем 0,2 (слишком трудные) и больше, чем 0,8 (слишком простые). Такие задания надо переработать или исключить. В этом вам может помочь выгрузка детальной информации по заданию: например, как распределился выбор пользователей между вариантами ответов в заданиях с выбором одного из многих.
Дискриминативность
Если Dj ≥ 0,4, то задание функционирует удовлетворительно
Если 0,30 ≤Dj ≤0,39, то требуется небольшая коррекция задания
Если 0,20 ≤Dj ≤0,29, то задание нуждается в пересмотре
Если Dj ≤0,19, то задание надо исключить из теста или полностью переделать.
Значение Dj может быть отрицательным (т.е. сильные студенты, которые обычно все решают правильно, с заданием не справились, а «двоечники», наоборот, преуспели). Тогда, во-первых, надо проверить, как задание занесено в LMS: возможно, ошибка в системе оценивания. Во-вторых, причина может быть в некорректной формулировке задания. Как правило, принципу дискриминативности отвечает 1/6–1/5 от всех более или менее хорошо подготовленных заданий.
Если 0,30 ≤Dj ≤0,39, то требуется небольшая коррекция задания
Если 0,20 ≤Dj ≤0,29, то задание нуждается в пересмотре
Если Dj ≤0,19, то задание надо исключить из теста или полностью переделать.
Значение Dj может быть отрицательным (т.е. сильные студенты, которые обычно все решают правильно, с заданием не справились, а «двоечники», наоборот, преуспели). Тогда, во-первых, надо проверить, как задание занесено в LMS: возможно, ошибка в системе оценивания. Во-вторых, причина может быть в некорректной формулировке задания. Как правило, принципу дискриминативности отвечает 1/6–1/5 от всех более или менее хорошо подготовленных заданий.
Считается, что на основании этих двух параметров можно составить хороший банк заданий и сформировать варианты тестов. Если в процессе разработки проверочных заданий вы сделали спецификацию, речь о которой шла в предыдущем разделе курса, то интерпретация результатов будет организована проще и даст больше результатов. Например, если выяснится, что задания на определенную тему оказались для обучающихся слишком сложными, возможно, что внимание стоит обратить не только на сами задания, но и на учебные блоки, освоение которых они проверяют. Может быть, не слишком удачной и понятной вышла лекция или в ней есть ошибки.
Не забывайте о том, что этот анализ не учитывает некоторых особенностей курсов. Например, если ваш курс сделан для популяризации и продвижения, вы, возможно, захотите делать задания несложными, иногда шуточными. Базовая аналитика будет говорить, что эти задания плохие, но вам нужно сформулировать для себя: в чем цель ваших проверочных заданий. Если их задача — адекватно оценивать прогресс студентов и результаты обучения, то вам важно, чтобы задания отвечали требованиям, которые психометрика предъявляет к измерительным средствам.
Доработка курса после проведения анализа
Составление рекомендаций
Иногда составлением рекомендаций занимается платформа, чаще — сами организаторы курса, запросив соответствующие данные у платформы. Рекомендации могут учитывать информацию, о которой мы писали выше и касаться как предметной части курса, так и организационной. Кроме статистических данных вы можете использовать субъективные: отзывы о курсе, сообщения с форума и т. п. Визуализация упростит вашу задачу: используйте диаграммы и графики, оформляйте статистику наглядно. Так вам будет значительно легче найти разделы и задания курса, на которые стоит обратить внимание. Для удобства группируйте рекомендации по темам: доработка видео, справочных материалов, заданий, организационных разделов курса — все должно быть отделено друг от друга. Так вы сразу представите объем работ и сможете сформулировать задачи для себя и своих коллег.
Доработка курса
На этом этапе, по нашему опыту, возникают самые большие затруднения. К сожалению, организационно и экономически этот этап работы над курсом не всегда заложен в план по его созданию, договор с автором курса, экономику процесса. По этой причине у создателей курсов часто не хватает ресурса (времени, денег, мотивации) для того, чтобы по итогам первых запусков актуализировать курс или сделать его лучше.
Если вы понимаете, что такой риск есть, и хотите его избежать, позаботьтесь об этом заранее. включите в бюджет и план разработки курса ресурсы на его доработку и актуализацию.
Если вы понимаете, что такой риск есть, и хотите его избежать, позаботьтесь об этом заранее. включите в бюджет и план разработки курса ресурсы на его доработку и актуализацию.
Использованные и дополнительные материалы
1. Дмитрий Аббакумов. Психометрика. Материалы семинара 15.09.2016 и выступлений на конференции EdCrunch 2016
2. Дмитрий Аббакумов. компьютерные тесты: проводим апробацию
3. Using Learning Analytics to Support the Enhancementof Teaching and Learning in Higher Education
Доклад Ли О'Фарелла об учебной аналитике
4. Есть доступ к данным, но тяжело с дидактикой
Интервью со старшим аналитиком данных Stepik о том, как собирать образовательные данные и чем они полезны
5. НИУ ВШЭ займется разработкой психометрической аналитики онлайн-курсов
6. В онлайн-образовании настало время аналитики
интервью с проректором НИУ ВШЭ Сергеем Рощиным
7. НИУ ВШЭ апробирует методику психометрической экспертизы онлайн-курсов
2. Дмитрий Аббакумов. компьютерные тесты: проводим апробацию
3. Using Learning Analytics to Support the Enhancementof Teaching and Learning in Higher Education
Доклад Ли О'Фарелла об учебной аналитике
4. Есть доступ к данным, но тяжело с дидактикой
Интервью со старшим аналитиком данных Stepik о том, как собирать образовательные данные и чем они полезны
5. НИУ ВШЭ займется разработкой психометрической аналитики онлайн-курсов
6. В онлайн-образовании настало время аналитики
интервью с проректором НИУ ВШЭ Сергеем Рощиным
7. НИУ ВШЭ апробирует методику психометрической экспертизы онлайн-курсов
Все доступные программы от команды Лекториума для специалистов в области образования.
Присоединяйтесь к нашему чату в Телеграме, где авторы курса отвечают на ваши вопросы
Находясь на сайте, вы даете согласие на обработку файлов cookie. Это необходимо для более стабильной работы сайта