In  this  module,  we  will  discuss  various  aspects  of  essay  item  construc7on.      

1

Just  like  with  objec7ve  items,  essay  items  can  be  wri=en  well  or  poorly.  We  will  discuss  the  strengths  and  weaknesses  of  essay  items  and  how  to  write  good  items.    

But  first  we  will  take  a  look  at  some  examples.      

2

Here  is  an  example  of  one  essay  item.  Think  about  this  item.  

Here  is  another  example  of  an  essay  item  tes7ng  the  same  content.  Now,  think  about  this  item  compared  to  the  previous  one.    

3

For  an  essay  item,  the  student  is  asked  to  construct  a  response  to  a  ques7on,  for  which  no  single  response  or  pa=ern  of  responses  can  be  cited  as  correct,  to  the  exclusion  of  all  other  answers.  

The  well-­‐constructed  essay  item  should  aim  to  test  complex  cogni7ve  skills  by  requiring  the  student  to  organize,  integrate,  and  synthesize  knowledge  to  use  informa7on  to  solve  novel  problems,  or  to  be  original  and  innova7ve  in  problem  solving.  

The  accuracy  and  quality  of  such  a  response  can  oJen  be  judged  only  by  a  person  skilled  and  informed  in  the  subject  area  being  tested.  

4

Essay  items  have  advantages.      

Essay  items  are  effec7ve  in  assessing  complex  learning  outcomes.  Essay  items  are  appropriate  tools  in  measuring  higher  cogni7ve  skills.  They  require  students  to  organize  informa7on  construc7vely  to  solve  a  problem,  analyze  and  evaluate  informa7on,  or  perform  other  high-­‐  level  cogni7ve  skills.    

Essay  items  are  rela7vely  easy  to  construct.    However,  you  should  s7ll  use  a  table  of  specifica7ons  and  iden7fy  only  the  topics  and  objec7ves  that  can  be  best  assessed  through  an  essay  item.    

Essay  items  measure  relevant  communica7on  skills  such  as  using  different  wri7ng  styles,  using  vocabulary,  and  prac7cing  developing  arguments  for  and  against  controversial  points.  However,  this  assumes  the  teacher  has  taught  these  communica7on  skills  and  they  are  instruc7onal  objec7ves.    

Essay  items  eliminate  the  chance  of  guessing  because  no  op7on  is  provided.    

Along  with  advantages  there  are  also  disadvantages  of  essay  items.    

Essay  items  are  7me  consuming  and  difficult  to  score.    It    can  take  a  lot  of  7me  to  wade  through  pages  of  student  handwri7ng.    Also  it  is  hard  to  not  allow  grammar  and  spelling  mistakes  to  influence  grading  or  to  allow  superior  communica7on  skills  cover  up  incomplete  comprehension  of  the  facts.    

5

There  are  two  types  of  essay  items.    

The  first  one  is  an  extended  response  item.      

Extended  response  items  are  open  ended.    They  are  flexible  in  terms  of  page  limits.  They  are  used  to  measure  higher  cogni7ve  abili7es  to  analyze,  to  synthesize,  to  evaluate,  to  organize,  and  to  select  viewpoints.    

6

The  second  type  of  essay  item  is  a  restricted  response.    These  items  pose  a  more  specific  problem  asking  the  students  to  recall  proper  informa7on,  organize  the  informa7on,  and  make  conclusions  within  the  limits  of  the  ques7on.  

Restricted  responses  are  more  focused  and  constrained.  They  usually  have  page  limits  and  are  restricted  to  specific  content.  They  measure  knowledge,  comprehension  and  applica7on  level  of  learning  outcomes.  

7

These  two  types  of  essay  items  can  be  viewed  as  being  on  two  ends  of  a  con7nuum.    Restricted  items  are  one  end    and  extended  response  items  are  on  the  opposite  end.    Here  are  some  a=ributes  that  suggest  how  the  restricted  items  are  on  one  end  of  the  con7nuum.      

The  restric7ons  that  are  posed  in  restricted  essays  are  usually  in  terms  of  instruc7ons  and  the  scoring  criteria.    

The  instruc7ons  restrict  students  to  page  lengths  and  guide  students  on  how  to  organize  their  response  and  provides  evalua7on  criteria  for  scoring.    

Some7mes  the  restric7ons  focus  on  the  tasks  that  students  are  given  in  the  content  area.      

Some  examples  of  these  task  rela7ons  restric7ons  include  ques7ons  that  ask  students  to:    -­‐  compare  and  contrast  -­‐  explain  cause  and  effect  rela7ons  -­‐  point  out  strengths  and  weaknesses  -­‐  or  analyze  rela7onships  among  items.    

8

Here  is  an  example  of  an  extended  response  item.    

To  respond  to  this  item,  students  must  be  able  to  assemble  relevant  informa7on,  cri7cally  analyze  the  informa7on,  synthesize  the  informa7on  to  draw  conclusions  to  answer  the  item.    

Obviously,  responding  to  this  complex  tasks  not  something  you  would  expect  students  to  be  able  to  do  in  a  class  period,  or  without  access  to  reference  materials.  Under  this  condi7on,  the  extended  response  items  will  work  well.    

9

This  is  an  example  of  a  restricted  response.      

The  content  is  specific  to  a  specific  issue.    Direc7ons  instruct  students  to  limit  their  answers  to  one  page  and  explain  to  them  how  to  organize  their  response.    

10

There  are  some  things  to  consider  about  the  taxonomy  levels  when  developing  essay  items.    

Essay  items  are  wri=en  to  elicit  complex  cogni7ve  skills,  and  at  7mes  mul7ple  levels  at  one  7me.    

Essay  items  should  be  wri=en  without  geVng  other  factors  involved.  This  means  that  teachers  should  be  aware  ahead  of  7me  if  they  are  measuring  the  subject-­‐ma=ers  only,  or  if  verbal  and  communica7on  skills  are  being  assessed  as  well.    

This  can  help  remove  the  subjec7vity  that  occurs  during  scoring  the  items.    

11

Write  each  prompt  targe7ng  the  taxonomy  level  you  intend.  This  can  be  done  by  deciding  which  cogni7ve  process  you  want  the  student  to  use  and  by  using  phrasing  that  indicate  the  intended  level.    

Use  the  essay  types  to  target  the  taxonomy  levels.    

Extended  response  items  should  be  used  for  synthesis,  comprehension,  and  evalua7on.  

Restricted  response  items  should  be  used  for  knowledge,  comprehension,  and  applica7on.  

12

Let’s  try  to  gauge  which  taxonomy  level  was  targeted  in  these  two  essays  items.    

Essay  item  1  is  assessing  the  facts  at  the  “knowledge”  level.  

Essay  item  2  is  targe7ng  more  high-­‐level  cogni7ve  skills,  such  as  analyzing  the  data  in  the  table  and  further  synthesizing  them  to  draw  conclusions    

13

There  are  some  guidelines  to  ensure  your  essay  items  are  wri=en  well.    

Essay  prompts  should  offer  a  clean  and  unambiguous  task.  

Ask  for  and  evaluate  students  responses  in  terms  of  the  presenta7on  of  evidence  and  not  the  posi7on  taken.  For  example,  if  asking  students  to    read  an  ar7cle  and  then  choose  a  side  and  defend  it,  the  essay  item  must  be  scored  on  the  merit  of  their  arguments,  not  the  side  they  picked.    

Include  some  specificity  in  terms  of  page  or  7me  limits  to  indicate  the  appropriate  level  of  detail  expected.  

14

There  are  some  guidelines  that  teachers  can  use  to  improve  their  essay  items  as  well  as  scoring  reliability.    

Write  good  essay  prompts  that  include  a  clear  task  and  specify  response  lengths.    

Use  several  restricted  range  rather  an  a  single  extended  response  prompt.    

Use  a  predetermined  scoring  scheme,  like  a  rubric.    

See  your  text  for  more  informa7on:    -   table  7.1  &  7.2  (8th  ed)    -   table  8.1  &  8.2  (9th  ed)    

There  are  some  strategies  a  teacher  can  use  to  improve  essay  reliability  of  the  scores.    Remove  or  cover  the  student's  names    

Score  all  ques7on  1  before  ques7on  2.  This  will  help  to  keep  you  focused  on  a  single  item  and  be  consistent  with  your  scoring.    

Keep  previous  items  scores  hidden.    You  do  not  want  scores  on  other  ques7ons  to  influence  how  you  grade  this  ques7on.    

Re-­‐evaluate  papers,  averaging  any  discrepancies.    

See  your  text  for  more  informa7on:    

15

Here  are  two  examples  of  essay  items.  Which  essay  can  be  more  reliably  scored?    

Example  1  can  be  more  reliably  scored.  The  task  is  spelled  out  for  the  students;  limits  are  defined;  and  the  policy  on  spelling,  punctua7on  and  grammar  is  indicated.  The  scorer  is  required  to  assess  whether  the  student  has  included  at  least  two  assump7ons  underlying  the  proposi7on,  and  the  likely  effect  on  infla7on  if  each  assump7on  is  violated.  There  s7ll  can  be  some  difficulty  agreeing  on  how  the  statements  on  the  assump7ons  and  the  effects  of  the  viola7ons  may  be,  but  there  is  less  to  disagree  over.    

Example  2  is  a  poorly  wri=en  essay  item.    It  is  unstructured  and  unfocused.    It  fails  to  define  response  limits,  nor  does  it  define  a  policy  on  grammar  and  spelling.    Thus  depending  on  the  scorer  a  response  with  poor  grammar  and  good  content  may  get  a  high  grade  or  even  an  intermediate  grade.  Different  scorers  would  have  different  ideas  of  what  a  good  response  to  the  ques7on  would  be.      

Ques7ons  like  this,  confuse  scorers  and  invite  scorer  unreliability,  the  same  way  they  confuse  test  takers.      

16

Using  a  scoring  rubric  can  help  scorers  increase  the  test  score  reliability.    

If  criteria  are  not  ready  for  scoring  there  might  be  some  problems.      

Scoring  consistency  will  be  reduced.      

The  criteria  may  change  in  between  scoring  sessions.    

Scoring  may  be  affected  by  fa7gue,  distrac7ons,  or  frame  of  mind.      

A  scoring  rubric  will  help  the  scorers  keep  focused  and  makes  the  scoring  process  easier.    

17

There  are  some  components  for  a  scoring  rubric.  Tuckman  proposed  three  components  for  scoring  high-­‐level  essay  items:  content,  organiza7on,  and  process  

Essay  content  needs  to  be  included  and  scored  specifically  for  its  presence  and  accuracy.  Scoring  should  include  whether  the  student  has  acquired  the  prerequisite  knowledge  and  content  needed  to  demonstrate  any  higher  level  behaviors  that  may  be  required  by  the  ques7on.  This  in  addi7on  to  grading  for  applica7on,  analysis,  or  other  cogni7ve  skills.  

Organiza7on  is  helpful  to  minimize  students  rambling  on  about  the  topic  and  increase  the  chances  that  the  higher  level  behaviors  are  included.    Students  should  be  told  that  they  are  being  judged  on  their  organiza7ons.    Developing  specific  criteria  for  organiza7on  can  help  make  sure  the  content  area  is  learned.    

The  most  important  criteria  for  essay  scoring  are  those  that  reflect  the  extent  to  which  high-­‐level  cogni7ve  processes  have  been  carried  out.  Each  process  such  as  applica7on  or  analysis  results  in  a  solu7on,  recommenda7on,  or  decision.  The  process  criteria  should  a=empt  to  assess  both  the  adequacy  of  the  solu7on  or  decision  and  the  reasons  behind  it.    

18