Страница 2 из 4
• начислять или не начислять баллы за частично правильный ответ;
• начислять, не начислять или вычитать баллы за неправильный ответ.
Количество начисляемых баллов в каждом случае определяет автор теста. Это открывает широкие возможности дифференцированной оценки ответов на вопросы разного уровня сложности, учета частично правильных ответов, а также влияния на итоговый результат теста грубых ошибок. При допущении грубых ошибок тест может быть завершен досрочно с отрицательным результатом.
Для того, чтобы рассмотреть механизм реализации такого варианта завершения тестирования рассмотрим более общую категорию – траекторию отображения тестовых вопросов.
3. Траектория тестирования
При создании тестов на бумаге мы привыкли к тому, что вопросы следуют в прямом порядке, одинаковом для всех экземпляров теста внутри одного варианта.
Основным гарантом достоверности полученных в ходе такого тестирования результатов является контроль за соблюдением условий его проведения и защиты материалов от копирования, а также последующего анализа и распространения.
В условиях современного уровня развития компьютерных и коммуникационных технологий вопрос защиты контрольно-измерительных материалов от их несанкционированного копирования и распространения становится все более сложно выполнимым. Поэтому на первый план выходят приемы, сводящие ценность обладания ключами к тесту к минимуму – не дающие существенных преимуществ обладателю правильных ответов перед другими участниками тестирования.
Среди таких приемов:
• случайный порядок отображения вопросов;
• случайный порядок отображения вариантов ответов;
• случайный отбор вопросов из банков вопросов по разным темам;
• зависимость набора вопросов от выданных ответов;
• ограничение времени на ответ и др.
Траектория тестирования – это порядок, в котором следуют вопросы теста на экране компьютера.
У каждой разновидности траектории есть свои сильные и слабые стороны.
Например, траектория отображения вопросов в прямой последовательности без возможности исправления уже выданного ответа вполне оправдана, когда последующий вопрос содержит в себе подсказку для ответа на предыдущий. Очевидно, что и применение «шпаргалок» для такого рода тестов будет наиболее эффективно.
Другой пример – изменение траектории тестирования в зависимости от результата ответа. Применение такого принципа позволяет, в частности, сократить количество вопросов в тесте: если обучаемый правильно отвечает на очень сложный вопрос, то можно не задавать ему простейшие вопросы по данной теме, сократив общий объем теста без потери достоверности контроля.
При постановке траектории тестирования в зависимость от выбранного варианта ответа можно строить многоходовые задания для создания сложных кейсов.
В последних двух случаях применение «шпаргалок» будет не очень эффективно ввиду сложности поиска ответов на заданных вопрос.
Обобщенно варианты выбора траектории тестирования представлены на рисунке 1.
Один из распространенных приемов реализации выборочного контроля знаний с сохранением репрезентативности контроля по всем изученным темам – это формирование «банка» (или группы) вопросов для каждой темы с последующей случайной выборкой определенного количества вопросов из каждой группы.
Пример возможной реализации таких настроек представлен на рисунке 2.
Траектория тестирования может изменяться в зависимости от результата ответа на вопрос, в том числе – приводить к досрочному завершению теста.
Пример возможной реализации таких настроек представлен на рисунке 3.
4. Дистракторы
В компьютерном тестировании технологически допустимо применять как закрытые, так и открытые вопросы. Однако, для целей автоматизированного контроля, безусловно, удобнее использовать различные вариации закрытых вопросов.
Для того, чтобы тест не превращался в примитивную «угадайку», в закрытые вопросы вводят дистракторы.
Дистрактор (от англиского «distract» – отвлекать) – неправильный, но правдоподобный вариант ответа в тестовых заданиях.
Дистракторы используются для отвлечения внимания участников оценки, которые либо плохо знакомы с предметом, либо совсем не знают правильный ответ и пытаются его угадать.
Для эффективной разработки необходимо понимать логику участника оценки:
• плохо знающие участники пытаются найти знакомые и подходящие к теме ответы;
• участники, полностью не знающие ответ, пытаются угадать ответ по формальным признакам (самый длинный ответ, самый умный ответ и т. п.).
Разработчик тестового задания должен создать дистракторы для обеих категорий участников.
Частая ошибка при разработке дистракторов – это «частичная правильность»: ситуация, когда «неправильный» ответ кажется неправильным только автору тестового задания. При этом непредвзятый анализ ответов может показать, что с определённой точки зрения дистрактор вполне можно назвать правильным ответом. Другая распространенная ошибка – это создание абсурдных или очевидных дистракторов.
Разработка дистракторов – это комплексная экспертная задача, которой может быть посвящен самостоятельный курс. В целом, следует выделить следующие базовые шаги создания дистракторов:
• выделение типичных ошибок, которые могут допустить обучаемые при ответе на конкретный вопрос теста;
• создание на их основе формулировок соответствующих дистракторов;
• апробация теста на контрольной группе обучаемых;
• статистический анализ полученных результатов;
• исключение дистракторов, которые обучаемые не выбирали или выбирали редко – как не работающих.
Готовый функционал для проведения такого статистического анализа выбираемых обучаемыми вариантов ответов предоставляет специализированный пакет для разработки контрольных тестов MyTestX.
5. Шаблоны тестовых вопросов
В настоящее время средства разработки электронных курсов поддерживают более двух десятков шаблонов стандартных тестовых вопросов. К наиболее распространенным из них относятся следующие:
• вопрос с единственным выбором;
• вопрос со множественным выбором;
• вопрос на определение по критерию «истина»/«ложь»;
• вопрос на установление соответствий;
• вопрос на расстановку в правильной последовательности;
• вопрос с открытым ответом.
Вопрос с предложением выбрать единственный вариант из предложенных ответов является классикой компьютерных тестов и поддерживается абсолютно всеми программными средствами.
При формулировании вопроса не забудьте указать на необходимость выбора одного варианта ответа. Пример настроек шаблона вопроса с единственным выбором в специализированном средстве разработки представлен на рисунке 4.
Вопрос с предложением выбрать несколько подходящих из предложенных вариантов ответов можно считать вторым по распространенности типом вопросов, который поддерживается большинством программных средств.
При формулировании вопроса не забудьте указать на возможность выбора нескольких вариантов ответа. Пример настроек шаблона вопроса с множественным выбором представлен на рисунке 5.