FINDINGS  §  Gendered  performance  differences  in  many  courses  are  small  but  

reliably  present  from  term  to  term.  §  Gendered  performance  differences  in  biology,  chemistry,  and  physics  

lecture  courses  tend  to  favor  men  while  those  in  the  corresponding  lab  courses  tend  to  be  more  equitable.  

§  While  the  majority  of  mathema>cs  and  sta>s>cs  courses  yield  a  grade  penalty,  overall  they  appear  to  favor  neither  men  nor  women.    

§  Wri>ng  and  social  science  courses  (with  the  excep>on  of  economics)  do  not  tend  to  yield  substan>al  gendered  performance  differences.  

§  These  results  are  consistent  across  five  rela>vely  similar  universi>es  and  six  academic  years.    

 

LIMITATIONS  §  Using  high  school  GPA  as  an  addi>onal  covariate  would  have  been  

preferable,  but  we  found  no  reasonable  way  to  reconcile  the  many  ways  that  they  are  recorded  and  processed  by  our  admissions  offices.  

§  Transfer  students  are  missing  standardized  test  score  data  at  a  higher  rate  than  non-­‐transfer  students,  though  we  found  no  significant  rela>onship  between  the  rate  of  missing  data  and  observed  GPDs.  

 

CONCLUSIONS  Though  simple  interven>ons  to  address  gendered  performance  differences  in  STEM  are  aNrac>ve5,  in  many  cases  they  have  failed  to  replicate6,  and  it  is  important  to  recognize  differences  among  individual  STEM  disciplines.7  We  agree  with  the  assessment  of  Halpern  et  al.  that  “there  are  no  single  or  simple  answers  to  the  complex  ques>ons  about  sex  differences  in  science  and  mathema>cs”.  Rather,  this  work  should  compel  faculty  to  ask,  as  many  are  already  doing,  how  we  can  learn  from  this  informa>on  to  change  the  future  in  whatever  ways  are  appropriate  in  our  local  contexts.  Grades  are  consequen>al  performance  measures,  and  imposing  large  penal>es  on  female  students  rela>ve  to  males  (or  vice  versa)  creates  yet  another  headwind  impeding  gender  equity  in  STEM.  In  the  face  of  evidence  that  faculty,  especially  male  STEM  faculty,  are  reluctant  to  accept  evidence  of  gendered  biases  in  STEM8,  it  is  impera>ve  that  we  con>nue  to  collaborate  across  ins>tu>ons  to  make  all  courses  equitable  spaces  for  all  students  to  learn.  This  work  has  been  submiNed  for  publica>on  to  AERA  Open.  

ACKNOWLEDGEMENTS:  The  Sloan  Founda>on  and  the  Provosts  of  our  universi>es  supported  this  CommiNee  on  Ins>tu>onal  Coopera>on  (CIC)  Learning  Analy>cs  project.  Numerous  faculty  and  staff  at  each  university  helped  us  determine  which  courses  would  be  comparable.  Special  support  for  this  project  was  provided  at  Indiana  University  by  Vice  Provost  Dennis  Groth;  Dawit  Gelan  and  Yanan  Feng  at  the  Bloomington  Assessment  and  Research  (BAR)  office  helped  as  well.    

REFERENCES:  1Huberth,  M.,  Chen,  P.,  Tritz,  J.,  &  McKay,  T.  A.  (2015).  PLOS  ONE,  10(9),  e0137001.  2Has>e,  T.,  Tibshirani,  R.,  &  Friedman,  J.  (2009).  The  Elements  of  Sta>s>cal  Learning:  Data  Mining,  Inference,  and  Predic>on  (2nd  edi>on).  New  York:  Springer.  3Hansen,  B.  B.  (2004).  Journal  of  the  American  Sta>s>cal  Associa>on,  99(467),  609–618.  4Hansen,  B.  B.  (2007).  Optmatch:  Flexible,  Op>mal  Matching  for  Observa>onal  Studies.  R  News,  7(2),  18–24.  5Miyake,  A.,  Kost-­‐Smith,  L.  E.,  Finkelstein,  N.  D.,  Pollock,  S.  J.,  Cohen,  G.  L.,  &  Ito,  T.  A.  (2010).  Science,  330(6008),  1234–1237.  6Madsen,  A.,  McKagan,  S.  B.,  &  Sayre,  E.  C.  (2013).  Physical  Review  Special  Topics  -­‐  Physics  Educa>on  Research,  9(2),  020121.  7Cheryan,  S.,  Ziegler,  S.  A.,  Montoya,  A.  K.,  &  Jiang,  L.  (2017).  Psychological  Bulle>n,  143(1),  1–35.  8Handley,  I.  M.,  Brown,  E.  R.,  Moss-­‐Racusin,  C.  A.,  &  Smith,  J.  L.  (2015).  Proceedings  of  the  Na>onal  Academy  of  Sciences,  112(43),  13201–13206.  

   

 

 

     

RESEARCH  QUESTION  How  do  gendered  performance  differences  within  introductory  courses  in  a  discipline  compare  across  ins>tu>ons?    

 

DATA  ANALYSIS  §  The  student-­‐level  data  were  locally  maintained  and  analyzed  

separately  at  each  ins>tu>on  using  common  code  wriNen  in  R.    §  Both  mul>ple  linear  regression2  and  op>mal  matching3,4  models  were  

used  to  analyze  course  grade  as  a  func>on  of  gender,  GPAO,  ACT  Mathema>cs  and  English  subscores,  and  term.    

§  We  report  results  based  on  the  matching  method  because  it  is  more  conserva>ve,  although  both  methods  return  similar  results  overall.  

 

RESULTS                              

 

 

ABSTRACT  The  success  of  females  in  higher  educa>on  has  improved  over  the  past  few  decades,  but  gendered  differences  in  par>cipa>on  and  career  progress  persist  in  some  STEM-­‐related  disciplines.  The  purpose  of  this  study  is  to  explore  paNerns  of  performance  in  gateway  courses  that  introduce  male  and  female  students  to  STEM  majors  at  five  large  research  ins>tu>ons.  A8er  controlling  for  factors  known  to  relate  to  academic  performance  using  opKmal  matching,  we  find  evidence  of  gendered  performance  differences  in  some  STEM  lecture  courses  that  largely  favor  men.  These  results  highlight  the  importance  of  encouraging  all  STEM  faculty,  not  just  those  who  focus  on  teaching  or  educa>on  research,  to  adopt  mul>modal  methods  of  instruc>on  so  that  all  courses  can  be  equitable  spaces  for  all  students  to  learn.    

DEFINING  THREE  USEFUL  MEASURES  Grade  point  average  in  other  courses  (GPAO):  a  student’s  cumula>ve  GPA  calculated  based  on  all  course  enrollments  except  for  the  course  of  interest.  GPAO  is  strongly  correlated  with  course  grades.1  Average  grade  anomaly  (AGA):  the  average  difference  between  final  course  grade  and  GPAO  across  all  student  enrollments  in  a  course.  

Posi>ve  AGA  à  “grade  bonus”  Nega>ve  AGA  à  “grade  penalty”    

Gendered  performance  difference  (GPD):  the  difference  in  AGA  between  men  and  women.      

Posi>ve  GPD  à  favors  women  Nega>ve  GPD  à  favors  men  

 

DATA  COLLECTION  §  Twelve  semesters  (Fall  2008  to  Spring  2014)  of  student  record  data  for  

introductory  courses  were  collected  at  each  of  five  large,  research  universi>es.  

§  The  data  were  limited  to  degree-­‐seeking  undergraduate  students,  including  transfer  students.  

§  Variables  collected  included  student  ID,  gender,  ACT  Mathema>cs  and  English  subscores  /  SAT  Mathema>cs  and  Verbal  subscores,  course  name,  term,  course  grade,  and  GPAO.  

§  The  overall  data  set  includes  1,122,586  course  enrollments  across  249  courses  in  13  disciplines  (Tables  1  and  2).    

 

Gendered  Differences  in  Introductory  STEM  Courses    are  Consistent  Across  Five  UniversiKes  

Rebecca  L.  Matz1,  Benjamin  P.  Koester2,  Stefano  Fiorini3,  Galina  Grom2,  Linda  Shepard3,  Charles  G.  Stangor4,  Brad  Weiner5,  Timothy  A.  McKay2  1CREATE  for  STEM  Ins>tute  and  Hub  for  Innova>on  in  Learning  and  Technology,  Michigan  State  U,  2Dept.  of  Physics,  U  of  Michigan,  3Bloomington  Assessment  and  Research,  Indiana  U,  4Dept.  of  Psychology,  U  of  Maryland,  5Office  of  Undergraduate  Educa>on,  U  of  Minnesota  (current  affilia>on:  Capture  Higher  Ed,  Louisville,  KY)  

-0.55

-0.45

-0.35

-0.25

-0.15

-0.05

0.05

0.15

0.25

0.35

-1.0 -0.8 -0.6 -0.4 -0.2 0.0 0.2 0.4 0.6

Gen

dere

d pe

rform

ance

diff

eren

ce

Average grade anomaly

Institution A B C D E

Average SE N = 500 N = 5000

Fig.  1.  Gendered  performance  differences  versus  average  grade  anomaly  for  172  introductory  STEM  courses,  represen>ng  677,949  course  enrollments,  including  lectures  (gray),  labs  (orange),  and  mixed  courses  (blue).    

-0.3

-0.2

-0.1

0.0

0.1

0.2

-0.6 -0.5 -0.4 -0.3 -0.2 -0.1 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7

Gen

dere

d pe

rform

ance

diff

eren

ce

Average grade anomaly

Institution A B C D E

Average SE N = 500 N = 5000

Fig.  2.  Gendered  performance  differences  versus  average  grade  anomaly  parsed  by  discipline  for  22  (N  =  160,828),  39  (N  =  172,345),  and  16  (N  =  111,464)  introductory  non-­‐STEM  courses  in  accoun>ng  and  economics  (gray);  communica>on,  poli>cal  science,  psychology,  and  sociology  (blue);  and  wri>ng  (orange).    

Fig.  3.  Differences  between  average  GPAO  (arrowtail)  and  average  grade  (arrowhead)  for  men  (blue)  and  women  (red)  by  academic  year  (e.g.,  2008  indicates  Fall  2008  and  Spring  2009).