DESDE LOS TESTS HASTA LA INVESTIGACIN EVALUATIVA ACTUAL

+

INTRODUCCINEvaluacinDisciplina que ha sufrido profundas y continuas transformaciones a lo largo de la historia.

PlanteamientosManaus, Scriven, Sufflebeam y otrospoca de la Reforma

Eficiencia y testing

Tyler

la Inocencia

Expansin

Profesionalizacin

Cabrera y Salvadorpoca de precedentes o antecedentes

Nacimiento (Tyler)

Desarrollo

Guba y colaboradores

(Yvonna Lincoln)Generacin de la medicin

descripcin

del juicio o valoracin

respondiente o constructivista

PRECEDENTES: ANTES DE LOS TESTS Y DE LA MEDICINEvolucin histricaAntigedadSe creaban y usaban procedimientos instructivos para la evaluacin: valorar, diferenciar y seleccionar estudiantes.

Edad MediaIntroducen los exmenes en los medios universitarios, con carcter formal.

Siglo XIIIAumentan la demanda y el acceso a la educacin, por lo que se acenta la necesidad de comprobacin de los mritos individuales y de las instituciones educativas.

Se introducen normas sobre utilizacin de los exmenes escritos.

Siglo XIXEstablecimientos del Sistema nacional de educacin y de los diplomas de graduacin tras la superacin de exmenes.

1845- Horace Mann utiliza las primeras tcnicas evaluativas del tipo test escrito.

1987-J.M.Rice realiza la 1 investigacin evaluativa en educacin

Finales s. XIXGran inters por la medicin cientfica de las conductas humanas. Tambin en evaluacin.

Factores que condicionan la actividad evaluativa Florecimiento de las corrientes filosficas positivistas y empricas

Teoras evolucionistas y los trabajos de Darwin, Galton y Cattel

Desarrollo de los mtodos estadsticos

Desarrollo de la sociedad industrial

Principios

s. XX

TestingActividad evaluativa intensa

Caractersticas Medicin y evaluacin resultaban trminos intercambiables.

Objetivo: detectar y establecer diferencias individuales dentro del modelo del rasgo y atributo.

se elaboraban tests de rendimiento, sinnimo de evaluacin educativa, para establecer discriminaciones individuales.

Instrumentos Escalas de escritura de Ayres y Freeman

Escalas de redaccin de Hillegas

Escalas de ortografa de Buckingan

Escalas de clculo de Wood,

Escalas de lectura de Thorndike y McCall

Escalas de aritmtica de Wood y McCall

TestsThorndike (1904). Tests psicolgicos.

Alfred Binet. Tests de capacidades cognitivas.

Stanford-Binet. Tests psicomtricos.

Arthur Otis. Tests colectivos de inteligencia general (alfa y beta)

Mc Call. Propone que los profesores construyan sus propias pruebas objetivas.

1920- 1930. Punto ms alto del testing. Idean multitud de tests estandarizados para medir todo tipo de destrezas escolares.

Desaparece a partir de los aos 40

Generacin de la Medida (1 generacin)- Guba y Lincoln. Caracterizado por el papel de tcnico y de proveedor de instrumentos de medicin del evaluador.

NACIMIENTO DE LA VERDADERA EVALUACIN EDUCATIVA: LA GRAN REFORMA TYLERIANACorriente:

la docimologaPrimer acercamiento a la verdadera evaluacin educativa.

La evaluacin se dejaba en manos de la interpretacin totalmente personal del profesor.

Soluciones para esta crtica:

Elaboracin de taxonomas para formular objetivos

Diversificacin de fuentes de informacin, exmenes, expedientes acadmicos, tcnicas de repesca y tests

Unificacin de criterios de correccin a partir del acuerdo entre los correctores de las pruebas

Revisin de los juicios de valoracin mediante procedimientos tales como la doble correccin, o la media de distintos correctores.

Corriente:

Tyleriana

Generacin de la descripcin (2 generacin)-

Guba y LincolnTyler. Padre de la evaluacin educativa. Da una visin metdica de la misma, superando desde el conductismo la mera evaluacin psicolgica.

Publica Eight-Year Study of Secondary Education para la Progressive Education Association, donde plantea la necesidad de una evaluacin cientfica que sirva para perfeccionar la calidad de la educacin.

Expone su idea de currculum: Qu objetivos se desean conseguir?

Con qu actividades se pueden alcanzar?

Cmo pueden organizarse eficazmente estas experiencias?

Cmo se puede comprobar si se alcanzan los objetivos?

Integra en l su mtodo sistemtico de evaluacin educativa para determinar qu condiciones debe tener una buena evaluacin:

a) Propuesta clara de objetivos.

b) Determinacin de las situaciones en las que se deben manifestar las conductas espera-das.

c) Eleccin de instrumentos apropiados de evaluacin.

d) Interpretacin de los resultados de las pruebas.

e) Determinacin de la fiabilidad y objetividad de las medidas.

La evaluacin supone un juicio de valor sobre la informacin recogida (ya no es slo medicin) y hay una toma de decisiones sobre los aciertos o fracasos de la programacin.

Considera que los objetivos deben estar previamente establecidos y bien definidos en trminos de conducta, marcando el desarrollo individual del alumno.

El objetivo del proceso evaluativo es determinar el cambio ocurrido en los alumnos y hacerlo explcito a los propios alumnos, padres y profesores; supone un medio para informar sobre la eficacia del programa y para la educacin continua del profesor.

En Espaa se extienden estos planteamientos con la Ley General de Educacin de 1970.

En esta poca aparecen instituciones y servicios educativos de todo tipo, se avanza en la tecno-loga de la medicin y en los principios estadsticos del diseo experimental; aparecen las famosas taxonomas de los objetivos educativos de Bloom

Sin embargo, en esta poca, la aportacin de la evaluacin a la mejora de la enseanza es escasa debido a la carencia de planes coherentes de accin.

Aspectos del pensamiento de Tylera) Necesidad de analizar los propsitos de la evaluacin antes de ponerse a evaluar.

b) El propsito ms importante en la evaluacin de los alumnos es guiar su aprendizaje, ayudarles a que aprendan (evaluacin comprensiva de todos los aspectos significativos de su rendimiento).

c) El portfolio como instrumento valioso de evaluacin.

d) Evaluacin idiosincrsica, adecuada a las peculiaridades del alumno y el centro.

e) Los profesores deben rendir cuentas de su accin educativa ante los padres de los alumnos.

EL DESARROLLO DE LOS 60En los 60 se empieza a prestar gran inters por las ideas de Tyler:

eficacia de los programas

valor de la evaluacin para la mejora de la educacin

Conflicto:

sociedad americana- sistema educativo1958. Promulgan una nueva ley de defensa educativa que proporciona muchos programas y medios para evaluarlos.

1964. Se establece el Acta de educacin primaria y secundaria (ESEA) y se crea el National Study Comitte on Evaluation (se crea una nueva evaluacin no slo de alumnos, sino orientada a incidir en los programas y en la prctica educativa global).

Subvenciones para nuevos programas educativos e iniciativas del personal de las escuelas pblicas americanas encaminadas a mejorar la calidad de la enseanza.

Desarrollo de nuevos medios tecnolgicos y la enseanza programada.

Demanda de evaluacin en el mbito de la educacin.

Focos de influenciaAprobacin de la ley Elementary and Secondary Act (ESEA) en 1965

primer programa significativo para la organizacin de la educacin en el mbito federal de los Estados Unidos, cada uno de los proyecto deba ser anualmente evaluado.

Nuevo movimiento de la rendicin de cuentas:Accountability

Responsabilidad del docente en el logro de objetivos educativos establecidos. Obligacin de controlar el logro de los objetivos educativos y la adopcin de medidas correctivas en caso negativo.

EnsayosCronbanch

Scriven

Generacin del juicio o valoracin

(3 generacin)

Guba y LincolnCaractersticas Introduccin de la valoracin, del juicio, como un contenido intrnseco en la evaluacin.

El evaluador analiza y describe la realidad y la valora y juzga con relacin a distintos criterios.

Valoracin del cambio ocurrido en el alumno como efecto de una situacin educativa sistemtica, siendo unos objetivos bien formulados el mejor criterio para valorar este cambio.

Se presta atencin a los resultados pretendidos y a los no pretendidos, e incluso a resultados o efectos a largo plazo.

Nuevas ideasStake (1967). Modelo de evaluacin: The countenance model, en la lnea de Tyler, pero ms completo al considerar las discrepancias entre lo observado y lo esperado.

Metfessell y Michael (1967). Modelo de evaluacin de la efectividad de un programa educativo. Propone la utilizacin de una lista comprensiva de criterios diversos que los evaluadores podran tener en cuenta en el momento de la valoracin

Suchman (1967). La evaluacin debe basarse en datos objetivos, analizados con metodologa cientfica. El objetivo es descubrir la efectividad, xito o fracaso de un programa al compararlo con los objetivos propuestos y, as, trazar las lneas de su posible redefinicin.

En investigacin evaluativa hay que tener en cuenta:

la naturaleza del destinatario del objetivo y la del propio objetivo

el tiempo necesario para que se realice el cambio propuesto

el conocimiento de si los resultados esperados son dispersos o concentrados

los mtodos que han de emplearse para alcanzar los objetivos.

Defiende la utilizacin de evaluadores externos.

Evaluacin de referencia criterial.

Niveles de evaluacin E. orientada hacia los individuos (alumnos y profesores).

E. orientada a la toma de decisiones (sobre el instrumento o tratamiento o programa educativo).

AOS 70: LA CONSOLIDA-CIN DE LA INVESTIGACIN EVALUATIVApoca caracterizada por la pluralidad conceptual y metodolgica y por la proliferacin de modelos de evaluacin. Denominado de Eclosin de modelos.

Tendencias fundamentales en los modelos: cuantitativos y cualitativos.

Hay autores que los consideran excluyentes y otros que los ven como complementarios para adoptar una visin ms amplia y comprensiva.

El texto lo denomina Enfoques modlicos, porque cada e evaluador el que termina construyendo su propio modelo en cada investigacin evaluativa, en funcin del tipo de trabajo y las circunstancias.

pocas1 poca:

Consecucin de metas Propuesta de Hammond

Modelo de Discrepancia de Provus

CIPP de Stufflebeam

CES de Alkin

La evaluacin no se centra solo en resultados finales, porque sus propuestas suponen diferentes tipos de evaluacin, segn las necesidades de las decisiones a las que sirven.

2 poca:

Modelos alternativos Evaluacin Responsable de Stake Evaluacin Democrtica de Mac-Donald (1976)

Evaluacin Iluminativa de Parlett y Hamilton (1977) Evaluacin como crtica artstica de Eisner (1985). Enfatizan:

el papel de la audiencia de la evaluacin (los propios participantes del programa)

la relacin del evaluador con ella.

Pluralidad conceptual Diferentes conceptos de evaluacin

Diferentes criterios

Pluralidad de procesos evaluativos

Pluralidad de objetos de evaluacin

Apertura: de la informacin necesaria, de la recogida de informacin, de la consideracin de diferentes resultados y de distintos tipos de resultados (cognitivos y afectivos).

Pluralidad de la funciones de la evaluacin en el mbito educativo

Diferencias en el papel evaluador

Pluralidad de audiencia y en los informes de evaluacin

Pluralidad metodolgica

Aparecen nuevas revistas especializadas y se fundan asociaciones cientficas relacionadas con el desarrollo de la evaluacin.

LA 4 GENERACIN DE GUBA Y LINCOLN: RESOPONDENTE Y CONSTRUCTIVISTAOfrecen una alternativa evaluadora que pretende superar las deficiencias de las generaciones anterioresIntegra el enfoque responderte (de Stake) y la epistemologa postmoderna del constructivismo (Russell y Willinsky).

Caractersticas Es necesaria la utilizacin de las demandas, preocupaciones y asuntos de los implicados.

El evaluador es responsable de determinadas tareas, construyendo un proceso ordenado y sistemtico de trabajo. Responsabilidades bsicas del evaluador:

Identificar implicados con riesgo. Resaltar sus construcciones acerca de lo evaluado y sus demandas y preocupaciones. Contexto y metodologa hermenutica. Generar el mximo acuerdo. Agenda para la negociacin acerca de temas no consensuados. Recoger y proporcionar la informacin necesaria para la negociacin. Formar y hacer de mediador para un forum de implicados para la negociacin.

Desarrollar y elaborar informes para cada grupo de implicados.

Reciclar la evaluacin siempre que queden asuntos pendientes de resolucin.

Se basa en el paradigma constructivista.

Pasos o fases Establecimiento de un contrato con un patrocinador o cliente.

Organizacin para reciclar la investigacin.

Identificacin de las audiencias

Desarrollo de construcciones conjuntas dentro de cada grupo o audiencia

Contraste y desarrollo de las construcciones conjuntas de las audiencias.

Clasificacin de las demandas, preocupaciones y asuntos resueltos.

Establecimiento de prioridades en los temas no resueltos.

Recogida de informacin.

Preparacin de la agenda para la negociacin.

Desarrollo de la negociacin.

Informes

Reciclado/revisin.

Enfoques para juzgar la calidad de la evaluacinParaleloDe confianza: son los de credibilidad, dependencia, transferencia y confirmacin.

HermeneticoAnlisis dentro del propio proceso.

AutenticidadIncluye: imparcialidad y autenticidad ontolgica, educativa, cataltica y tctica.

Rasgos que definen la evaluacin Proceso sociopoltico.

Proceso conjunto de colaboracin.

Proceso de enseanza/aprendizaje.

Proceso continuo, recursivo y altamente divergente.

Proceso emergente.

Proceso con resultados impredecibles.

Proceso que crea realidad.

EL NUEVO IMPULSO ALREDEDOR DE STUFFLEBEAMEn la 2 mitad del s. XX, Daniel L. Stufflebeam propone el modelo CIPP. Actual director del Evaluation Center y del CREATE

Caractersticas Se parte de los cuatro principios del Joint Commettee; Un buen trabajo de investigacin evaluativo debe ser: til, factible, apropiada, segura y precisa.

Responsabilidad del evaluador

Tomar criterios bsicos de referencia: necesidades educativas, equidad, factibilidad, excelencia.

Recomendacio-nes de Stufflebeam Los planes de evaluacin deben satisfacer los cuatro requerimientos de utilidad, factibilidad, legitimidad y precisin

Las entidades educativas deben examinarse por su integracin y servicio a los principios de la sociedad democrtica, equidad, bienestar, etc.

Las entidades educativas deben ser valoradas por su mrito, por su valor y por su significa-cin en la realidad del contexto en el que se ubica. Definicin clara y precisa de los deberes y responsabilidades. Los estudios evaluativos deben valorar hasta qu medida los profesores y las instituciones educativas son responsables y rinden cuentas del cumplimiento de sus deberes y obligaciones profesionales. Proporcionar direcciones para la mejora Componente formativo y sumativo.

Promover la autoevaluacin profesional.

Evaluacin del contexto de manera prospectiva (localizar metas y objetivos y definir prioridades) y retrospectiva (para juzgar bien el valor de los servicios y resultados educativos)

Evaluacin de las entradas (inputs) de manera prospectiva

Evaluacin del proceso de manera prospectiva y retrospectiva

Evaluacin del producto prospectiva y retrospectiva Estudios evaluativos apoyados en la comunicacin y en la inclusin sustantiva y funcional de los implicados (stake-holders) con las cuestiones claves, criterios, hallazgos e implicaciones de la evaluacin, as como en la promocin de la aceptacin y el uso de sus resultados Mltiples perspectivas, mltiples medidas de resultados, y mtodos tanto cuantitativos como cualitativos para recoger y analizar la informacin. Estudios evaluativos ser evaluados, incluyendo metaevaluaciones formativas y sumativas.

CONCLUSINSntesis de enfoques modlicos y metodolgi-cos de evaluacincuestiones que hay que responder en el proceso de construccin modlica:

1) Objeto de la investigacin evaluativa.

2) Propsito, objetivos.

3) Audiencias/implicados/clientela.

4) nfasis/aspectos prioritarios o preferentes.

5) Criterios de mrito o valor.

6) Informacin a recoger.

7) Mtodos de recogida de informacin.

8) Mtodos de anlisis.

9) Agentes del proceso.

10) Secuenciacin del proceso.

11) Informes/utilizacin de resultados.

12) Lmites de la evaluacin.

13) Evaluacin de la propia investigacin evaluativa / metaevaluacin.

Modelos en los 90Arnal y otros (1992). Clasificacin de Diseos de la investigacin evaluativa: emprico-analtica, susceptibles de complementariedad y humanstico interpretativa.

Castillo y Gento (1995). Clasificacin de Mtodos de evaluacin: modelo conductivista- eficiencistas, humanstico y holstico.

Perspectiva de ScrivenScriven (1994). Identifica seis visiones o enfoques alternativos:

La visin fuerte hacia la toma de decisiones (Visin A) concibe al evaluador investigando con el objetivo de llegar a conclusiones evaluativas que le ayuden al que debe tomar decisiones.

La visin dbil hacia la toma de decisiones (Visin B) concibe al evaluador proporcionando informacin relevante para la toma de decisiones, pero no le obliga a emitir conclusiones evaluativas o crticas a los objetivos de los programas.

La visin relativista (Visin C) tambin man-iene la distancia de las conclusiones evaluativas, pero usando el marco de valores de los clientes, sin un juicio por parte del evaluador acerca de esos valores o alguna referencia a otros.

La visin de la descripcin frtil, rica, completa (Visin D) es la que entiende la evaluacin como una tarea etnogrfica o periodstica, en la que el evaluador informa de lo que ve sin intentar emitir afirmaciones valorativas o inferir conclusiones evaluativas, ni siquiera en el marco de los valores del cliente como en la visin relativista.

La visin del proceso social (Visin E) resta importancia a la orientacin sumativa de la evaluacin (decisiones externas sobre los programas y rendicin de cuentas), enfatizando la comprensin, la planificacin y la mejora de los programas sociales a los que sirve. La visin constructivista de la cuarta generacin (Visin F) rechaza una evaluacin orientada a la bsqueda de calidad, mrito, valor, etc., y favorece la idea de que ello es el resultado de la construccin por individuos y la negociacin de grupos. Concluye con la visin transdisciplinar de la evaluacin:

La investigacin evaluativa es una disciplina que incluye sus propios contenidos y los de otras muchas disciplinas. Es transdisciplinar. Esta visin es objetivista.

Se orienta hacia el consumidor, ms que hacia el gestor o intermediario.

Se trata de una visin generalizada porque incluye la generalizacin de conceptos en el mbito del conocimiento y de la prctica.

Es una visin tcnica; no slo necesita el apoyo tcnico de otras disciplinas sino que tambin tiene su propia metodologa.

Crtica: Excesivo nfasis de la orientacin al cliente. En la actualidad la investigacin evaluativo tiene una orientacin prioritaria ms plural.

13