LASMUCHASFUNCIONESDELAEVALUACIÓNDEPROGRAMAS

EDUCATIVOSD.C.Phillips,UniversidaddeStanford

1

•  “Aquellosqueolvidenelpasadoestándes=nadosarepe=rlo”.(Santayana)

JOYASDELPASADO

Ø UnrápidobosquejohistóricoØ Evaluación:decisionesojuiciosdevalorØ Principalesefectos,yefectosinvoluntariosØ LasmuchasfuncionesdelasevaluacionesØ Ladis=nciónforma=va–suma=vaØ Mássobrelosuma=voØ Mássobreloforma=voØ Lapreguntaperfectaparaunexamen

UNRÁPIDOBOSQUEJOHISTÓRICO

Ø RalphTyler,1930s—1940sØ Desarrollodelaevaluaciónydelainves=gacióndelamismacomocamposemiindependientedentrodelacomunidaddeinves=gacióneduca=va,1960sand1970s

Ø Perotrabajomalhecho,yconfrecuenciaignorado.Laevaluaciónsehabíaconver=doenunaespeciederito

Ø LeeCronbachyelConsorciodeEvaluacióndeStanford,unoentrevarioscentros.

•  Cronbachysussociosescribieron,en1981:“laevaluación=eneunatareavitalquecumplir,ysinembargosusins=tucionesylasconcepcionesquelagobiernansoninadecuadas….Además,losevaluadoresterminanporquedarfascinadosconlatécnica”.(TowardReformofProgramEvalua2on,p.1)

Evaluación:DECISIONESversusJUICIOSDEVALOR

Ø Cronbach&Suppes:inves=gaciónorientadaaladecisiónversusinves=gaciónorientadahacialaconclusión

Ø ElensayodeCronbachde1963:podemosdefinirlaevaluaciónenlíneasgeneralescomolarecolecciónyusodeinformaciónparatomardecisionessobreunprogramaeduca2vo….Sedebentomarmuchos=posdedecisiones,ysonú=lesmuchos=posdeinformación.Sevuelveinmediatamenteaparentequelaevaluaciónesunaac=vidaddiversificada….(CourseImprovementThroughEvalua=on,TCR,1963,p.672)

Ø MichaelScriven:eltérmino“evaluador”sebasaenlapalabra“valor”:

“Elsen=doclavedeltérmino[evaluación]serefierealprocesodedeterminarelmérito,es=mación,ovalordealgo….Elprocesodeevaluaciónnormalmenteimplica…algodeintegraciónosíntesisdelosresultadosparalograrunaevaluaciónoseriedeevalucionesgenerales”.(Scriven,Evalua2onThesaurus,1991,p.139)

•  SegúnelpuntodevistadeCronbach,enunademocraciaelpoderparadecidirentreprioridadesdevalorquecompitenentresínoradicaenunevaluadornoelegido;dependedelprocesopolí=co.

•  Latareadelevaluadorconsisteenproporcionaratodoslosinteresadosinformaciónrelevanteparaquepuedanpar=ciparenesteproceso.

Efectosinvoluntarios

•  Scriven(yLC,yKarlPopper,etc.)sedieroncuentadequelasintervencionesconfrecuenciano=enenelefectodeseado,perolasconsecuenciasinvoluntarias(posi=vasynega=vas)eranamenudomuyimportantes.

•  EjemplodeunnuevoplandeestudiosdematemáLcas

•  Scrivenideóla“evaluaciónsinmetas”paratratarconesteproblema.

Lasmuchasfuncionesdelaevaluación

•  Scrivencomentólosvarios=posdeevaluaciónysusdiferencias:evaluacióndeproductos,evaluacióndepersonal,evaluacióndeprogramas,evaluacióndecosto-beneficio,evaluacióndecomponentes,evaluacióndedimensiones,etc..(véasesuEvalua2onThesaurus)

•  Peroenfa=zóconsistentementeelhacerjuiciosdevalor

•  Cronbachysussociosescribieron:“Lasevaluacionesseinicianpormuchospropósitos,avecesconflic=vos:elegirlamejorposibilidadentrevariaslíneasdeacciónpropuestas,afinarunprogramaqueyaestáenoperación,mantenercontroldecalidad,obligaralossubordinadosacumplirconinstrucciones,documentarquelaagenciadeunomerecesupresupuesto,crearapoyoparaunproyectofavorito,despertarsospechassobreunapolí=caquefavorecenlosoponentespolí=cos...(TowardReformofProgramEvalua2on,1980,p.13)

•  Aloquesepuedeagregar:lograrunademoraimportanteenlatomadedecisiónsobreterminarconunprograma(hastaquesecompletelanuevaevaluación),proporcionarunmecanismoenelquelasdisputasacaloradasentregruposinteresadospodríanenfriarse,recabarpruebasafavoroencontradeldespidodeunadministradorofuncionariodeprogramadealtonivel,establecercréditooresponsabilidadcuandounnuevoadministradorounacamarillapolí=casehanapoderadodelprograma,determinarsielprogramarealmenteseestállevandoacabodelamaneraquehabíanprevistosusdiseñadores.

•  EjemplodelaMsicadelComitédeEstudiosdeCienciasFísicas(PSSC)

•  Ejemplodeunaevaluacióndeunabibliotecaacadémicagrande

•  Paraquelaevaluaciónsearelevante,sedebedeterminarsufunciónhaciendopreguntascomolassiguientesdesdeelprincipio:

•  “¿Quéindividuosogrupos=eneninterésenelprograma,esdecir,quiénessebeneficiaríanoperderíanconeléxitooelfracasodelprograma?”

•  “¿Quéquerránsaberdelprogramaestosgruposinteresados?”“¿Existeunadecisiónpendientesobreelprograma?¿Quéopcionesseestánconsiderando,cuándoesprobablequesetomeladecisiónyquiénlatomará?”

•  TambiénsepuedenombrarunaJuntadeAsesoresconrepresentantesdelosgruposinteresados.

Ladis=nciónforma=ve–suma=va

•  Ensuarnculode1963Cronbachseñalóvariosaspectosdeunprograma/plandeestudiossobreelcualdebíantomarsealgunasdecisiones,perolaqueenfa=zófue:

•  “Mejoramientodelcurso:decidirquématerialesymétodosdeenseñanzasonsa=sfactoriosydóndehacenfaltacambios”

•  EsteénfasissobreelmejoramientodelcursoindicaqueCronbachfueunodelosprimerosdefensoresdelaevaluaciónformaLva.

•  Scrivenhizoexplícitaladis=nciónentreevalucionesforma=vasysuma=vas

•  “Cuandoelcocineropruebalasopa,éstaesunaevaluaciónforma=va;cuandoelclientepruebalasopa,éstaesunaevaluaciónsuma=va”(Stake)

Mássobrelasevaluacionessuma=vas•  Cuandounprogramamaduroseestávolviendoobsoleto,orequieredeunarevisiónconsiderable,etc.,convieneintentarresumirsuscaracterís=casbuenasymalas;oapuntodetomarunadecisiónde“va/nova”;etc.

•  Losevaluadoressuma=voshanrespaldadolapruebaaleatoriacontrolada(RCT)comoeldiseñoideal

•  Estemodelosuma=voescau=vador,yporlotantoesposiblequeseusecuandonoseaconveniente…porejemplo,cuandosehacecasoomisodelahistoriadelprograma(desarrollodeetapas)

•  EjemplodeevaluacióndeunprogramadealfabeLsmoenunaccidentadoentornorural

•  Losevaluadoresconfrecuenciapiensanquelasevaluacionessuma=vasson“mássexis”quelasforma=vas

•  Cronbachysussociosadvir=eronalosevaluadoresdenoadoptarunalealtadirreflexivahacialos“mandamientos”casireligiosos:

•  Pondrásapruebaelvalordeunprogramacuyasmetassean

defini=vasycuyosplanessehayandesarrolladoporcompleto.Delocontario,noevalúes.

•  Compararás.Comparaelprogramaqueseadeinteréscentralconcasicualquierotracosa,pero¡compara!

•  Asignarás.Depreferencia,distribuyesujetosoins=tucionesdemaneraqueseanequivalenteslosgruposacomparar.

•  Medirásellogrodemetas…•  Tusherramientasdeberánserobje=vas.•  Tusprocedimientosdeberánserobje=vos.•  Juzgarás.Dilealclientelobuenoomaloqueseaelremedio.

(TowardReform…,p.215)

•  ElgrupodeCronbachofrecióalgunosconsejosaquí:

•  Muchodeloqueseescribesobrelaevaluaciónrecomiendaalgúnplan“ciennficamenteriguroso”único.Lasevaluaciones,sinembargo,debentomarmuchasformas,ylosenfoquesmenosrigurosos=enenvalorenmuchascircunstancias.(TowardReform….,p.7)

Y:

•  “Esmejorparaunaindagaciónevalua=valanzarunaflo=lladeestudiosqueponertodossusrecursosenunenfoqueúnico”.(Ibid.)

•  Ejemplo:relatosdelaevaluacióndeloscontratosderendimiento.Loqueposiblementepodríafallar,fallará.Tambiénilustraelvalordela“valoracióndelaevaluabilidad”.

• 

•  6empresasconfinesdelucrofirmaroncontratosparaproporcionarinstrucciónenmatemá=casylecturaaalumnosconbajoaprovechamiento

•  Cadafirmateníasupropia“filosota”deinstrucción.•  Cadafirmateníatressi=os,distribuidosenformaaleatoriaportodoEstadosUnidos

•  Cadasi=oteníadosescuelas,conalumnosseleccionadoscomosujetosdelexperimentoosujetosdecontrol

•  Losalumnosdelexperimentorecibieron2horasdeinstrucciónensalonesseparadosconelpersonaldelafirma

¿Quéfalló?•  Problemaslogís=cosgraves:diseñoycumplimientoantesydespuésdelaprueba,nombrarpersonalycapacitarlo

•  Barrasdechocolate•  Sindicatosdemaestros•  Equipodealtatecnología•  Huracán•  Lasleccionesdeesto:valoracióndelaevaluabilidad,oforma=va,peronosuma=va.Ycualquiercosaquepuedafallar,¡FALLARÁ!

Mássobreevaluacionesforma=vas•  ¿Sonlasevaluacionesforma=vasun=podiferenteounafuncióndiferente?

•  Lasevaluacionessuma=vassepuedenusardemaneraforma=va,peroconfrecuencialasforma=vassondis=ntas:

•  Máspequeñasenescala•  Presupuestomáspequeño•  Cronogramamáscorto•  Menosformalensudiseño(¡rigornoessinónimodepruebaaleatoriacontrolada!)

•  ENGENERAL:“selesacamáspar=doaldinero”

•  EjemplodeunaevaluacióndeuntextosobrecompetenciainformáLca

•  EjemplodeevaluacionesformaLvasde“PlazaSesamo”

Evaluaciónforma=vade“PlazaSésamo”

•  Cadaprogramade1hr.consistedeunacan=daddeescenascortas,quesepuedenreemplazarfácilmente

•  Cadaprogramalo“patrocinan”unasletrasynúmeros,porejemplo,“lasletrasAyP,yelnúmero7”Pero,¿cuántos“patrocinadores”,ycuántasrepeLcionesdurantelahora?¿Cuántasaparicionesenprogramsposteriorespararefrescarlamemoria?

•  Encadaprogramadestacansereshumanosynteresdeanimales,etc.¿CuántosenpantallaalmismoLempoantesdequeseaunadistracción?¿Cuálesvocesnodistraen?

•  Losprogramasdebengustaralospadresdefamiliaaligualquealosniños.

•  ¿CómoarmarescenasparacrearunprogramadeunahoradeduraciónqueseaefecLvo?

Porúl=mo:unagranpreguntaparaunexamen

•  ¿CuálesladiferenciaentreevaluacióneinvesLgacióncien`fica?