Методика проектирования педагогического теста

МЕТОДИКА ПРОЕКТИРОВАНИЯ ПЕДАГОГИЧЕСКОГО ТЕСТА

Салихов Сергей Валерьевич, ПЗ, 2 часа

ПА2012

2

Литература

Тестовые технологии в дистанционном обучении. Специализированный учебный курс. / Т.А. Кабанова, В.А. Новиков. – М.: Изд. дом «Обучение-Сервис», 2007, 320 c., 98 илл. ISBN 5-902-116-19-8.

3

Учебные вопросы

1. Понятие педагогического теста.2. Основные этапы разработки теста.3. Конструирование заданий закрытой

формы.4. Типичные недостатки тестовых

заданий закрытой формы с выбором ответа.

5. Задания других форм.6. Проектирование педагогического

теста.

? Понятие педагогического теста

Термины педагогического тестирования

• форма диагностики учебных достижений испытуемых с помощью предъявления им тестов.

Педагогическое тестирование:

• система заданий определённой формы, различной трудности, которая даёт возможность измерить уровень подготовки испытуемых и структуру их знаний.

Педагогический тест:

• структурный элемент теста, сформулированный в форме утверждения (ответ), которое обращается в истинное или ложное высказывание в результате верного или неверного ответа.

Тестовое задание (вопрос):

Область применения педагогических тестов

6

• Оценка уровня знаний испытуемых.

Контрольные тесты

• Позволяют определить уровень готовности к изучению материала.

Диагностические (входные) тесты

• Обучение и самоконтроль, мотивация.

Тесты самоконтроля

7

Требования к педагогическому тесту

Валидность:• Пригодность теста для измерения заявленной цели.

Надёжность:• Результаты, полученные с помощью теста должны быть воспроизводимы (валидность надёжность, но не наоборот).

Обеспечение определённой точности измерения.

Наличие шкалы, обеспечивающий определённый уровень измерения.

Эффективность:• максимальное количество информации при минимальном количестве заданий (адаптивное тестирование).

Для этого тест должен быть стандартизированным, откалиброванным

• Статистическая обработка результатов тестирования.

8

Преимущества педагогического тестирования

Снижение субъективизма оценивания и стресса испытуемых. Более полный охват содержания дисциплины. Более точные, достоверные и дифференцированные оценки. Оценка знаний значительного количества испытуемых за

короткое время. Выявление структуры полученных знаний. Оценка качества преподавания. Совмещение контролирующей и обучающей функций. Итеративное совершенствование самого теста. Проведение контроля учебно-вспомогательным персоналом.

Достаточно эффективный инструментарий в основе которого лежит КАЧЕСТВО ТЕСТА.

? Основные этапы разработки теста

10

Основные этапы разработки теста

1. Формулировка цели тестирования и создания теста.

2. Определение оптимального подхода к созданию теста в соответствии с поставленной целью тестирования.

3. Разработка плана и спецификации теста в соответствии с целью тестирования.

4. Отбор содержания дисциплины в тест в зависимости от выбранного подхода к созданию теста.

5. Выбор оптимальных форм отображения содержания дисциплины в тесте. Составление тестовых заданий разных форм.

6. Проведение экспертизы качества содержания теста и тестовых заданий.

7. Апробация теста.

1 2 3 4 5 6 7

11

1. Цель педагогического тестирования:

контроль

прогнозирование

обучение самоконтроль

Готовность обучающегося к началу обучения на курсе.

Контроль усвоения обучающимися учебного материала темы.

Самостоятельный контроль полученных знаний.

1 2 3 4 5 6 7

12

2. Основные подходы к созданию тестов

Предназначен: для дифференциации (разделения) уровня подготовленности испытуемых.

Сравнивает: учебные достижения (результаты сдачи) отдельных испытуемых друг с другом.

Результат: ранжированная (упорядоченная) последовательность испытуемых.

Предназначен: для оценки степени освоения учебных материалов.

Сравнивает: результат сдачи каждого относительно заранее определённым критерия.

Результат: оценка степени усвоения учебного материала.

Нормативно-ориентированный тест

Критериально-ориентированный тест

1 2 3 4 5 6 7

13

3. Спецификация (план) теста

Учебный вопрос I II III IV

ВСЕГО ЗАДАНИЙ

УРОВЕНЬ СЛОЖНОСТИ ЗАДАНИЙ

РАСПРЕДЕЛЕНИЕ

ЗАДАНИЙ ПО УРОВНЯМ

СЛОЖНОСТИ

РАСПРЕДЕЛЕНИЕ ЗАДАНИЙ ПО ВОПРОСАМ (важность)

10% 20% 40% 30%

Лёгкий 40%

Средний 30%

Сложный 30%

ВСЕГО ЗАДАНИЙ: 30

1 2 3 4 5 6 7

+ формальное описание целей и структуры теста в формализованном документе

14

4. Отбор содержания в тест

Подразумевает оптимальное отображение учебного содержания дисциплины в системе тестовых заданий, основными критериями отбора содержания являются:• значимость;• научная достоверность;• репрезентативность (наиболее полное

отображение необходимых знаний);• системность, сбалансированность и

комплексность.

1 2 3 4 5 6 7

15

5. Выбор оптимальных форм (типов) тестовых заданий

• Задания с выбором из множества ответов:• 1:N – одного правильного ответа;• M:N – нескольких правильных ответов.

• Задание на установление соответствия между элементами двух множеств:• задания на установление правильной

последовательности.

ЗАДАНИЯ ЗАКРЫТОЙ ФОРМЫ

• Задания на дополнение или задания открытого типа с ограничением на ответ.

• Задания со свободно конструируемым ответом:• эссе, задача.

ЗАДАНИЯ ОТКРЫТОЙ ФОРМЫ

1 2 3 4 5 6 7

16

Основные требования к составлению (содержанию) тестового задания

Краткость и информативность обозримость на экране или листе бумаги; желательно не использовать вопросительную форму; ясность и однозначность формулировок, отсутствие

отрицательной формы. Не должны быть тривиальными. Задания должны содержать только проверенные, точные

и общепринятые в данной предметной области сведения. Соблюдение предметной чистоты. Три степени сложности (трудность – статистический

показатель): лёгкие, средние и трудные. разумное ограничение времени, необходимого для ответа.

Равновероятность предложенных утверждений (ответов). Независимость заданий в тесте.

1 2 3 4 5 6 7

17

6. Проведение экспертизы качества содержания теста и тестовых заданий

Экспертная оценка: опрос экспертов.

До экспертной оценки или позже возможна статистическая оценка результатов тестирования: анализ статистических характеристик

теста, тестовых заданий.Коррекция теста.

1 2 3 4 5 6 7

18

7. Апробация теста.

Формирование репрезентативной группы испытуемых.

Проведение апробационного тестирования. Разработка инструкции. Предъявление теста испытуемым. Сбор первичных данных.

Статистическая обработка и анализ результатов тестирования.

Коррекция теста по результатам анализа.1 2 3 4 5 6 7

? Конструирование заданий закрытой формы

20

Понятие дистриктора (отвлекающий)

неправильный, но правдоподобный ответ на задание закрытого типа.

Чётными являются числа: 4 6 3 0

21

Основные требования к заданиям в закрытой форме [1/3]

Основные требования к составлению (содержанию) тестового задания (см. ранее): Утвердительная форма задания, которое превращается в

истинное высказывание в случае выбора правильного ответа. В задании содержится только один вопрос или проблема. Краткость и чёткость формулировки основной части задания,

на основании которой испытуемому должно быть сразу понятно суть решаемой задачи.

Пытаться избегать применения отрицаний, в случае необходимости – выделять отрицание жирным начертанием. Избегать применения двойного отрицания.

Недопустимость формулировок, требующих от испытуемого высказать своё мнение – "Как Вы считаете…", "Поясните…".

22

Основные требования к заданиям в закрытой форме [2/3]

Тексты задания и ответов не должны содержать вербальных ассоциаций, позволяющих угадать правильный ответ. Ответы должны иметь общую грамматическую конструкцию и должны быть грамматически согласованы с формулировкой задания.

Задание должно иметь правильный ответ. Формулировки "Правильного ответа нет", "Всё вышеперечисленное верно/неверно" являются некорректными и появляются в результате попытки увеличить количество дистракторов.

Не следует использовать слова "все", "всегда", "никогда", "и др.", "и т.п.", так как их употребление решает задание однозначности.

Из ответов исключаются все повторяющиеся слова и переносятся в основной текст задания.

Оптимальное количество ответов: 4-5.

23

УП

РА

ЖН

ЕН

ИЕ

Вероятность угадывания ответа в заданиях закрытой формы

Какова вероятность угадать ответ в задании с возможностью выбора одного правильного ответа из 4ёх?

Какова вероятность угадать ответ в задании с возможностью выбора нескольких правильных ответов из 4ёх?

24

Основные требования к заданиям в закрытой форме [3/3]

Ответы на задания должны быть однородными в классификационном отношении.

Правильный ответ не должен явно отличаться от дистракторов по каким-либо признакам (количество слов, полнота ответа, наличие пояснений и т.п.).

Ответы к заданиям не должны следовать один из другого. Порядок правильного ответа генерируется случайным

образом. Рекомендуется все задания оформлять однотипно:

если задание формулируется в виде утверждения, то ответы начинаются со строчной буквы и знаки препинания в конце ответов не ставятся;

если задание формулируется в виде вопроса, то ответы начинаются с прописной буквы и знаки препинания в конце ответов ставятся точки.

25

Инструкция к заданиям

Выбор одного ответа: "Выберите правильный ответ" "Какой вариант…" "Признаком … является"

Выбор нескольких правильных ответов: "Выберите все правильные ответы" "Какие варианты…" "В качестве признаков … выступают"

26

ПР

ИМ

ЕР

1:M

Объём файла составляет 700 МБ, скорость передачи информации по сети – 100 Мбит/с. Укажите время, которое потребуется для передачи этого файла по сети: 56 сек. 80 сек. 60 сек. 7 сек.

27

ПР

ИМ

ЕР

N:M

Простыми являются числа: 2 3 6 8

28

ПР

ИМ

ЕР

Ситуационные тестовые задания - КЕЙС (CASE-STUDY)

Описание ситуации. У вас появлялся новый товар, но партнёрская сеть отнеслась к нему настороженно и не планирует активно продвигать его на рынок.Какие меры следует принять, чтобы положительно повлиять на ситуацию? Понизить статус партнёров, которые продают

нового продукта меньше всего. Провести обучение сотрудников партнёров

работе с новым продуктом. Заинтересовать партнёров повышенными

скидками на продажу нового продукта. Начать напрямую продавать новый продукт

клиентам, с которыми работают партнёры.

?Типичные недостатки тестовых заданий закрытой формы с выбором ответа

30

УП

РА

ЖН

ЕН

ИЕ

Для каждого примера данного раздела необходимо:

1. Указать ошибки допущенные в тестовом задании?

2. При возможности предложите корректный вариант его формулировки.

31

ПР

ИМ

ЕР

Вопросительная форма заданий

К какой разновидности относятся пример и его разновидности, диспут, рассказ, беседа, лекция? Методы стимулирования

положительного поведения. Методы формирования

общественного сознания. Методы организации

деятельности детей.

32

ПР

ИМ

ЕР

Некорректная формулировка основной части задания

Сравнение двух моделей показало: это взаимоисключающие модели

проведения измерений. готовность организации к

изменениям исключает применение трёхэтапной модели по К. Левину;

организация может осуществлять изменения, используя элементы двух разных моделей;

33

ПР

ИМ

ЕР

Задания с отсутствием постановки проблемы

Учебник истории. Учебник истории должен быть написан

профессионалами и давать читателю научную картину прошлого.

Учебник истории должен представлять собой комплект документальных и историографических материалов, дающих возможность читателю составить собственную версию исторических событий.

Учебник истории должен представлять собой популярное изложение исторических фактов, хорошо иллюстрированное и снабженное различными творческими заданиями.

34

ПР

ИМ

ЕР

Задания с избыточной формулировкой в основной части

Характер человека является результатом трёх сложно переплетённых непрерывно взаимодействующих составляющих: генетического наследия, социально-культурной среды и особенностей индивидуальной внутренней жизни. Описывая характер человека, психологи останавливаются на элементах, составляющих структуру характера: отношение человека к окружающему миру,

обществу, труду, другим людям и самому себе темперамент, настроение, жизненный сценарий,

психологический возраст направленность его личности: её интересы,

чувства, идеалы, система ценностей

35

ПР

ИМ

ЕР

Объединение в одном задании нескольких проблем [1/2]

На что из нижеперечисленного стоит обратить особое внимание в резюме в последнюю очередь? Наличие специфичной информации,

которая важна для будущего сотрудника именно в вашей компании.

Наличие опыта работы по продаже продукции, аналогичной вашей.

Как происходил карьерный и профессиональный рост.

Достигнутые результаты в продажах на прошлом месте работы.

36

ПР

ИМ

ЕР

Объединение в одном задании нескольких проблем [2/2]

Правомерно ли теоретический уровень общественного сознания именовать всецело научным , а обыденный – ненаучным? Оба данных уровня выступают как одинаково

ненаучные, так как наука занимает особое место в структуре общественного сознания.

Да. Общественная идеология в своей основе является научной, а обыденный уровень в основном содержит эмпирически практические представления людей, не претендующие на научность.

И тот и другой уровни – в разной степени научные и ненаучные, поскольку наука и практика одинаково важны в познавательном процессе.

37

ПР

ИМ

ЕР

Задания, в которых испытуемому предлагается высказать своё мнение

С каким утверждением Вы не согласны? Не следует заниматься

предпринимательством тому, кто не верит в собственные силы.

Не следует заниматься предпринимательством тому, кто этим не занимался ранее.

Не следует заниматься предпринимательством тому, кто не занимался аналитической деятельностью ранее.

38

ПР

ИМ

ЕР

Отсутствие согласования между основной частью задания и ответами

Какую классификацию видов и форм национализма Вы знаете? Племенной. Ксенофобия. Расизм. Национализм исключительного

превосходства.

39

ПР

ИМ

ЕР

Двойное отрицание в заданиях

О чём чаще всего забывают спросить кандидата на интервью (выберите неверный ответ)? Когда он готов выйти на работу,

если вы его решите пригласить. Готов ли он к командировкам. Служил ли он в армии. Каковы его критерии выбора

места работы.

40

ПР

ИМ

ЕР

Избыточная информация в ответах [1/2]

Каковы этапы мышления объектов в соответствии с философской идеей "восхождения"? Движение мысли от абстрактного к абстрактному. Движение мысли от конкретному к абстрактному. Движение мысли от одного конкретного к

другому. Движение мысли от конкретного к абстрактному

и далее к новому конкретному. Движение мысли от абстрактного к абстрактному

через конкретное. Движение мысли от простого к сложному. Движение мысли от простого к простому через

сложное.

41

ПР

ИМ

ЕР

Избыточная информация в ответах [2/2]

Преимущества использования стилей заключается в экономии времени. Применить стиль как набор

элементов значительно быстрее, чем применять из один за другим

более единообразном оформлении документа. При ручном форматировании одинаковые по смыслу форматирования разделы могут отличаться своими форматами, применение же стилей вносит строгость в оформление документа

возможность быстро изменять вид отдельных элементов во всём документе. В этом случае достаточно внести изменение в стиль, и оформление вступит в силу во всём документе

более экономной печати документа, выражающейся в экономии расходования бумаги

42

ПР

ИМ

ЕР

Задания с неработающими дистракторами [1/3]

Что не относиться к природным пожарам? Суховеи. Лесные. Степные. Торфяные. Подземные.

43

ПР

ИМ

ЕР

Задания с неработающими дистракторами [2/3]

Определите структуру политического процесса в государстве. Функционирование. Принятие решений. Политические отношения и

субъекты политического процесса.

Управление.

44

ПР

ИМ

ЕР

Задания с неработающими дистракторами [3/3]

Как сложить три вектора? К первому прибавить второй и

вычесть третий. Сложить любые два из них и

затем прибавить оставшийся.

45

ПР

ИМ

ЕР

Некорректные с точки зрения содержания задания [1/2]

Какой клавишей в MathCad можно осуществить выход из меню? Esc. F9. F10.

46

ПР

ИМ

ЕР

Некорректные с точки зрения содержания задания [2/2]

В каком году родился основатель дифференциального исчисления Лейбниц? В 1646 г. В 1759 г. В 1815 г. В 1647 г.

47

ПР

ИМ

ЕР

Несоблюдение принципа независимости заданий

Год начала великой отечественной войны: 1825 1856 1812 1799

Война 1812 года называется Отечественной, потому что в ней: Россия понесла большие потери принимали участие широкие народные

массы было нанесено поражение Франции

? Задания других форм

49

ПР

ИМ

ЕР

Задание на сопоставление элементов двух множеств

Сопоставьте коды цветов из левой колонки названиям цветов, расположенных в правой колонке:FF0000

00FF00

FFFFFF

000000

Белый

Чёрный

Красный

Зелёный

50

ПР

ИМ

ЕР

Задание на сопоставление элементов двух множеств

Сопоставьте числа из левой колонки с их свойствами из правой колонки:

2

4

-3

8

Чётное

Простое

Положительное

51

ПР

ИМ

ЕР

Задание на установление правильной последовательности

Расположите в правильной последовательности этапы разработки теста: разработка заданий экспертиза теста определение теста тестирования планирование теста отбор содержания в тест

52

ПР

ИМ

ЕР

Задания на дополнение

Для проверки орфографии и пунктуации в документе Word необходимо выбрать меню ______

Перемещение к следующему слову в документе Word можно осуществить с помощью комбинации клавиш ______

2+2=______• Какие проблемные моменты могут

возникнуть при сравнении введённых обучающимися ответов с эталонами?

• Неправильные ответы – хороший источник правдоподобных дистрикторов.

53

ПР

ИМ

ЕР

Задания со свободно конструируемым ответом

ЭССЕ. Требует ручной проверки

преподавателем. Невозможно угадать. Возможно вставить фрагмент

чужого найденного текста Антиплагиат.

Требуется формализация критериев оценивания.

Возможно применение кейсового метода.

54

УП

РА

ЖН

ЕН

ИЕ

Трансформация заданий к закрытой форме с выбором ответа

Наименьший элемент памяти компьютера – это ______.

Сопоставьте примеры из левого столбца с их ответами из правого:22+11=

1-22=

73+7=

99-2=

-21

33

80

97

? Проектирование педагогического теста

56

УП

РА

ЖН

ЕН

ИЕ

Упражнение: тест для входного контроля

Подготовьте тестовое задание, позволяющее оценить входной уровень обучающихся: по вопросам применения ИКТ в

педагогической деятельности; относительно возможностей

логического и пространственного мышления.

57

УП

РА

ЖН

ЕН

ИЕ

Комплексная задача: проектирование тестовых заданий

В рамках выполнения комплексной задачи по выбранной тематике (реферата) подготовьте тест итогового контроля, который позволит проверить итоговый уровень усвоения материала обучающимися.

В процессе проектирования итогового теста подготовьте вопросы для самоконтроля, позволяющие обучающимся закрепить и проверить полученные знания по итогам каждого учебного вопроса.

МЕТОДИКА ПРОЕКТИРОВАНИЯ ПЕДАГОГИЧЕСКОГО ТЕСТА

Салихов Сергей Валерьевич, ПЗ, 2 часа

ПА 2012