Производство курса
создание проверочных заданий
Поделиться в соцсетях
Примечания к лекции

1. В лекции использовались материалы и рекомендации Дмитрия Аббакумова, Центр психометрических исследований в онлайн-образовании НИУ ВШЭ
2. Немного подробнее о таксономии Блума — в материале Newtonew
3. Рекомендации по составлению заданий от Центра психометрических исследований в онлайн-образовании НИУ ВШЭ
Больше документов — в дополнительных материалах раздела
4. Кто такой психометрик? Инфографика от НИУ ВШЭ
Составить качественные задания для курса едва ли не труднее, чем сделать его контентную часть. Хотя преподаватели часто лучше продюсеров разбираются в педагогической теории, в составлении заданий онлайн-курса есть своя специфика. Чтобы упорядочить работу в этой части, продюсеры Лекториума обычно обсуждают с автором все подробности и высылают сводную инструкцию, сделанную на основе доступных материалов по психометрике. Может быть, она пригодится и вам.
Составление задания на взаимную оценку
Как перестать бояться и начать делать
На задание с взаимным оцениванием в онлайн-курсе ложится большая ответственность. Обучающиеся должны получить как можно более обстоятельное описание того, что от них ожидается, и еще более обстоятельную инструкцию по проверке чужих работ.
В каких случаях использовать
Задания с взаимным оцениванием обычно нужны для проверки способности студентов применять полученные знания на практике. Бывает, что в таких заданиях нет ограниченного количества верных решений или ответов, а значит, невозможно автоматическое оценивание. Выходом может стать авторская проверка работ или взаимооценка. Второй вариант более масштабируемый. Кроме технологических проблем взаимооценка может решить и педагогическую задачу. Процедура заставляет внимательно изучить чужую точку зрения и развить навык рецензирования.
Когда речь идет о взаимном оценивании, часто подразумевают, что задание будет в формате эссе. Но это не обязательно так: ограничений по формату нет. Заданием может быть чертеж, фотография, видеоролик, сайт, акварельный эскиз, план урока, бухгалтерский отчет, решение трудной задачи, в которой логика и подход важнее, чем верный конечный ответ. Все зависит от ваших задач и умения обращаться с этим инструментом оценивания.
Основные компоненты задания для взаимного оценивания
1
Текст задания
Описание для студента
2
Инструкция для студента
Технические подробности сдачи и проверки работ
3
Инструкция для проверяющего
Критерии оценивания, описания значений по каждому критерию, количество баллов, соответствующее каждому значению
4
Пример выполненной работы
Как правило, такой пример необходим: так студентам проще понять, что от них ожидается, более осязаемым становится образ целевого результата. Но бывают случаи, когда пример не обязателен. Если задание вашего онлайн-курса творческое, пример может задать слишком определенный вектор для его выполнения и снизить уровень креативности в работах
Проще всего разобраться на примере.
Как делать
Наиболее очевидным представляется линейный алгоритм работы:
1
Составить текст задания
2
Прописать критерии для его оценивания и расставить приоритеты по критериям
3
Выставить баллы по значениям критериев
4
Проверить текст задания на полноту описания (сверяясь с критериями)
5
Составить инструкцию и пример выполненного задания
Но если вы составляете задание в первый раз, при таком алгоритме возможны ошибки и упущения. В качестве альтернативы мы иногда предлагаем авторам такой метод:
1
Сформировать образ желаемого результата
Выявить ключевые части, которые должны присутствовать в работе студента, и определить параметры для их оценки. При этом можно ориентироваться на пример эталонной работы, если у вас такая есть
2
Подумать о критериях, не сводящихся к описанию отдельных частей
Например, общая грамотность изложения, логика описания, отсутствие плагиата и др.
3
Расставить приоритеты
Какие критерии наиболее важны, а какие будут иметь меньший вес
4
Проверить, все ли критерии может оценить обучающийся, обладающий, как правило, более низкой компетентностью по сравнению с автором задания
5
Прописать значения для каждого критерия
И описать их как можно подробнее, чтобы свести к минимуму возможности трактовки описаний проверяющими
6
Вот теперь — написать текст задания
Включив в него описание ключевых элементов задания и общих критериев оценивания
7
Не забудьте добавить инструкцию по загрузке файлов и приложить примеры работ
Если считаете это нужным
В этом алгоритме тоже есть недостатки, если вы используете или можете придумать другой, предложите его сокурсникам.
Дополнительные материалы
1. Методические рекомендации по созданию заданий для авторов и разработчиков МООС от Высшей школы экономики
2. Peer Review Experiences for MOOC. Development and Testing of a Peer Review System for a Massive Online Course
3. Improving Assessment on MOOCs Through Peer Identification and Aligned Incentives
Как правило, взаимное оценивание работ происходит анонимно. Но с переходом на когортные запуски на некоторых площадках этот принцип отменен и студенты видят, чью работу они проверяют. В статье рассматриваются преимущества такого подхода
4. Peer Assessment for Massive Open Online Courses (MOOCs)
Статья о том, как повысить точность оценивания в заданиях с взаимной проверкой
5. Does peer grading work? How to implement and improve it? Comparing instructor and peer assessment in MOOC GdP
Сравнение качества оценивания методом peer review и преподавателем
6. Кравченко Д. Валидность заданий на взаимное оценивание в массовых открытых онлайн-курсах.
Аннотация работы, полный текст можно скачать по той же ссылке
7. Grading the Graders: Motivating Peer Graders in a MOOC
8.
Рекомендации по составлению проверочных заданий для преподавателей Stepik

Советы специалиста по психометрике Дмитрия Аббакумова по составлению заданий на Edutainme:
ШОУ ПЕРФЕКЦИОНИСТА
Хронометраж роликов
Присоединяйтесь к сообществу курса
Находясь на сайте, вы даете согласие на обработку файлов cookie. Это необходимо для более стабильной работы сайта
Понятно
Close