Revista de Psicología Social, Vol. 2, 1987, pp. 217-274

LA INVESTIGACION DE EVALUACION VISTA A TRAVES DELOS EVALUATION S'TUDIES REVIEW ANNUALS

Enrique Rebolloso PachecoUniversidad de Granada

Colegio Universitario de Almería

Aunque en el área de la evaluación existen muchas y muycualificadas publicaciones que proporcionan una idea bastante exacta delos problemas generales que afectan a las intervenciones sociales yofrecen un tratamiento equilibrado de los resultados de la investigación,por lo que podrían optar con todo merecimiento al título de "source-book" o "libro fuente", hemos elegido como material específico deestudio a los "Evaluation Studies" porque creemos que ninguno, comoellos, ofrece tantas garantías de continuidad en el tiempo y representa-tividad del material cubierto. La serie, que comenzó a publicarse en1976, y de la que hasta la fecha han aparecido 10 volúmenes, cambiade editor cada año. Indicamos a continuación los editores de cadavolumen: Glass ( 1976, Vol. 1); Guttentag y Saar (1977, Vol 2); Cooky cols. (1978, Vol. 3); Sechrest y cols. (1979, Vol. 4); Stromsdorfer yFarkast (1980, Vol. 5); Freeman y Solomon (1981, Vol. 6); House ycols. (1982, Vol. 7); Light (1983, Vol. 8); Conner, Altman y Jackson(1984, Vol. 9) y Aiken y Kehrer (1985, Vol. 10).

1) EVALUACION VERSUS INVESTIGACION

Como veremos más adelante, la publicación de la serie coincidecon un cierto auge de la evaluación. Hacia mitad de los años setenta M.Guttentag (1977), una importante psicóloga social, afirmaba que laevaluación es a la sociedad post-industrial lo que la ciencia clásica a lasociedades industriales del siglo XIX y principios del XX. Esta autoradefine a la evaluación de la forma siguiente: "La evaluación es unaspecto de la toma de decisiones. El problema científico de la evaluaciónen una sociedad post-industrial es cómo proporcionar la información

217

relevante para las decisiones continuas que han de tomar gruposheterogéneos acerca de qué servicios humanos se deben adoptar, cuálesse deben suspender y cuáles se deben modificar" (1977, p. 34).

La oposición que traza Guttentag entre evaluación y cienciaclásica es de carácter cronológico: las sociedades avanzadas del sigloXIX y primeros años del presente siglo protegieron y fomentaron laciencia de cuyos resultados y desarrollos se nutrían para lo que estaautora denomina "juegos contra la naturaleza". Pero en la actualidad hansido o están siendo sustituidas por un tipo de sociedad diferente (la post-industrial), que se enfrenta a problemas desconocidos o no suficiente-mente atendidos hasta ahora: "juegos entre personas". De ahí surge lanecesidad de la evaluación.

Desgraciadamente, la oposición se puede entender también comoincompatibilidad entre ciencia y evaluación y a esta segunda posibilidades a la que se han apuntado algunos psicólogos sociales. En un númerodel APA Monitor del 1973 Sommer la dramatizaba espléndidamente. Eltítulo de su trabajo, a varias columnas y ocupando casi todo el ancho dela página, era:¡No, no dije investigación, dije evaluación!("No, noresearch, I said evaluation!").Debajo un ejecutivo ya maduro y de caraenérgica empuñaba el auricular de un teléfono pronunciando la frase encuestión. Su supuesto interlocutor era, cómo no, un joven y entusiastapsicólogo social a quien había encargado una evaluación y de quienobtenía un simple informe de investigación. El mensaje del trabajo deSommer quedaba, pues, meridianamente claro: la investigación ya novende, lo que vende es la evaluación. El mismo año Somrner volvía ainsistir en el tema, aunque con ciertas matizaciones (1973), y Altmancoincidía también con sus tesis. La posición de este último difiere sólode la de Sommer en que considera la dicotomía investigación-evaluacióndentro de una distinción de carácter más general, como es sabido, la queexiste entre el investigador de la conducta y el que realiza el trabajoaplicado o "practitioner". El hecho de realizar o no la evaluación delimpacto de un programa determinado es una de las tres diferenciasimportantes entre teóricos y prácticos, según Alunan (1973).

Pero, ¿son realmente tan opuestas la investigación y la evalua-ción?. La expresión "evaluation research" predotnina hoy claramente enla literatura y así lo confirman los capítulos que le dedica el AnnualReview of Psychology (para ser más exactos en un primer momento elARP prefirió la expresión "program evaluation": véase vol. de 1976;pero luego la sustituyó por la de "evaluation reseach": véase vol. 31 de1980 y vol. 34 de 1983), el Annual Review of Sociology de 1984, las

218

publicaciones de autores importantes, como el trabajo ya citado deGuttentag de 1977 o el de Carol Weiss de 1975, y manuales de ampliadifusión como el de Oskamp de 1984. Finalmente, la sociedad queagrupa a las personas interesadas en la evaluación lleva el nombre de"Evaluation Research Society" . Pues bien, esta expresión, cuyo sentidoestá razonablemente fijado en la literatura especializada, establece unestrecho vínculo entre ambas actividades, puesto que su traducciónliteral es "investigación de evaluación".

De eso se trata, precisamente, no de cualquier tipo de evaluaciónsino de una evaluación que garantice científicamente la validez de lasconclusiones obtenidas. No otra cosa pretendían, a mi juicio, losprimeros psicólogos sociales que se preocuparon por desarrollar losmétodos y las técnicas que permitiesen llevar a cabo una evaluacióncientífica. Que para ello sea o no imprescindible el uso de unametodología experimental estricta o, en su defecto, cuasi-experimentales algo que se ha debatido intensamente en el curso de los últimos años(véase Alvira, 1983), pero que no es el punto crucial. Lo realmenteimportante es que la evaluación, pese a perseguir objetivos que nocoinciden con los de la investigación básica tradicional, no renuncia porello a su carácter de disciplina cientifica. En la páginas que siguen setrata de demostrar cómo se consigue en la práctica que ello resulteposible.

No hace mucho un psicólogo solicitó de quien firma estas líneasel "cuestionario de evaluación"(sic). No pudiendo, obviamente, satis-facer su petición, se le preguntó cuál era el objetivo que pretendíaevaluar. Contestó que cómo iba a saberlo si no tenía acceso a dichocuestionario. Confío en que, al finalizar la lectura de este trabajo, mislectores puedan comprender por qué ese cuestionario "talismán" nopuede existir.

2)CONSIDERACIONES GENERALES

Hecha esta breve, pero necesaria, aclaración respecto al tópicoque acabamos de presentar, conviene ahora, a efectos de entrar enmateria, precisarlo un poco más y dejar constancia, aunque sólo sea depasada, de su situación actual, conceptualización, funciones que le hansido asignadas y la metodología frecuentemente utilizada en el campo.En el próximo apartado trataré de completar toda esa informaciónpreliminar con la exposición ordenada del contenido de los artículos quehemos revisado y en el último de ellos ofreceré una visión global de lo

219

que ha supuesto la publicación de esta serie señalando sus méritos masrelevantes.

Panorámica histórica

Aunque la investigación social y las actividades tendentes ademostrar su eficacia recibieron en los comienzos de siglo una atenciónespecial en los EEUU (Seidman, 1983), ciertamente no puede hablarsede investigación de evaluación de modo sistématico hasta bien entradoslos años 60 merced a dos hechos singulares y concurrentes quepropiciaron, entre otros muchos, su nacimiento. En primer término, ysobre todo, el énfasis de la época en la investigación aplicada socialmen-te útil y teóricamente significativa -aproximación que se vería susten-tada por los psicólogos sociales seguidores de K. Lewin y, en general,por la creencia pública de que los problemas sociales eran resolublesmediante intervenciones científicas adecuadas (Liedman, 1974)- siendola evaluación un mecanismo esencial para fundamentar el cambio ydemostrar la eficiencia de un amplio abanico de programas y deestrategias de ayuda dirigidas a combatir los efectos de la miseria ypobreza (Mental Health Act, 1963; Civil Rights, 1964; CommunityMental Health Centers y Act 1965; Elementary and Secondary Educa-tion Act, 1965; Open Housing Act, 1968; etc.). Y en segundo lugar,pero con igual fuerza y poder de convocatoria, la difusión de los textosde Campbell y Stanley (1966) y de Suchman (1967), de gran impactoen la conceptualización y metodología de una evaluación comprensivade la efectividad de las soluciones intentadas.

En los años que siguieron a esta década de confianza en lasolución científica de los problemas que planteaba la guerra contra lapobreza, hubo un periodo intensivo de aplicaciones experimentales(Abt, 1980; Greenberg y Robins, 1985; Rossi y cols., 1979) y deverdadera oportunidad para la empresa evaluativa, en su mayor partepatrocinada, financiada y estimulada por la llamada hasta entonces"oficina de oportunidad económica", que dio como resultado el que lainvestigación de evaluación cobrara auge, se extendiera a otros países(Levine y Solomon, 1981) y comenzara a institucionalizarse. El primertestimonio en este sentido tuvo lugar en EEUU, cuando el gobiernofederal creó la "oficina general de cuentas" y su brazo ejecutor, el"instituto de evaluación de programas", con la finalidad de efectuaractividades contables (auditorías) y de evaluación y de impulsarenfoques y matices variados para la futura investigación. De otro lado,

220

los especialistas empezaron a agruparse en organizaciones profesionalesformales ("Sociedad de Investigación de Evaluación" la "Red deEvaluación" y el "Consejo de Investigación Aplicada", posteriormenteintegrada en la Sociedad antes mencionada), activando con sus aporta-ciones una literatura influyente (Cook y cols., 1978; Guttentag yStruening, 1975; Perloff y cols., 1976; Rossi y cols., 1979; Rutman,1977; Scriven, 1967; Weiss, 1972) y los primeros órganos de divulga-ción consagrados a esta materia ("Evaluation", "Evaluation Quarterly",más tarde retitulado "Evaluation Review", "Evaluation Program Plan-ning", "Evaluation Studies"). Los estudios de la época reflejaron insis-tentemente los esfuerzos para formar lazos y crear una identidad común(Conner y cols. 1984) y los debates en torno a una profesión emergentebasada en una "amalgama de disciplinas y habilidades técnicas"(Freeman y Solomon, 1981).

Desde entonces, y como consecuencia lógica del intento defundamentar teóricamente a la nueva actividad y dar respuestas a lasnumerosas críticas que la empresa evaluativa ha suscitado (deficienciade herramientas, métodos y medidas de evaluación, uso inadecuado dediseños, resultados ambiguos o negativos, escasa utilidad para lacomprensión de los problemas reales estudiados, falta de empleo en latoma de decisiones, etc.), el interés se ha centrado más en examinar losesquemas intelectuales que encorsetan a la disciplina (Rich, 1979) y laforma de mejorar la calidad de los trabajos realizados en el pasado, queen desarrollar nuevos programas carentes de soluciones creativas.

Si estas críticas que afrontó la investigación de evaluación en unperiodo de gestación y desarrollo no han desaparecido en la actualidadtotalmente - y tan esto es así que algunos califican al momento presentecomo de una época escéptica (Aiken y Kehrer, 1985), lo que no significaque la evaluación esté en vías de extinción sino únicamente que atraviesapor una fase difícil y controvertida (véase la opinión de Schwartz, 1983,frente a la de Murray, 1984), aunque también esperanzadora (Nathan,1985) - , sí puede afirmarse que han descendido en número y perdidovirulencia conforme el perfeccionamiento se ha ido produciendo en elárea. Hoy día se observa un merecido reconocimiento, tanto por lo quelas evaluaciones han supuesto en el estudio sistemático de la eficacia delos programas públicos y sus efectos en las decisiones política como enla conceptualización y conocimiento básico de los problemas sociales.Precisamente en este punto no quisiera pasar por alto la distinciónseñalada por Weiss (1982) entre los usos "instrumental" y "conceptual"pues, además de ser útil para comprender las posibles formas o

221

direcciones que toma el uso de la investigación, aclara la visión de susefectos o consecuencias, bien en los casos en que sus resultados seaplican directamente y se traducen en decisiones específicas (usoinstrumental) o cuando los hallazgos quedan preteridos pero la comu-nidad se impregna de sus conceptos e ideas (uso conceptual). Introduzcoaquí este elemento de análisis porque se ha llegado a decir que lasevaluaciones fracasan si los datos no tienen una aplicación inmediata enla toma de decisiones (Guttentag, 1977). Y, sin embargo, como handemostrado otros (Caplan, 1977; Caplan y cols., 1975; Patton y cols.,1977; Pelz, 1978), el uso conceptual es más prevalente y puede que hastamás significativo que el instrumental, dado que a la larga y gradualmenteconduce a mayores cambios en el estado de conocimiento y reorienta-ción de las perspectivas básicas.

Dicho en términos más generales, se trata de reconocer que si elstatus de la investigación de evaluación lo ha fijado en cada momentoel grado de progreso alcanzado en la teoría y en la indagación empírica,no es sólo el nivel de cientificidad y la relevancia de los trabajosrealizados, sino también determinados factores ajenos o externos a ladisciplina, tales como objetivos de legisladores, decisiones políticas,expectativas creadas sobre los programas, tamaños de los gastos y otrospor el estilo, los que algunas veces, quizás con mayor frecuencia que ladeseada, han determinado su importancia y aplicación (Leviton yHughes, 1979; Paulston, 1980; Wortman, 1975; Wurzburg, 1979).Creer que la verificación empírica de las ideas teóricas, la bondad de lametodología o el perfeccionamiento de la tecnología es la verdaderarazón de ser de la implementación de la mayor parte de los programassociales, implica tener una comprensión demasiado académica, cuandono simplista, del asunto e ignorar el enjundioso campo de intereses enjuego (orientaciones políticas de las entidades patrocinadoras, rivalida-des entre agencias, política burocrática, presiones grupales, aceptaciónpública del programa, etc.), las sutiles maneras con que la propiainvestigación afecta y legitima las posiciones particulares de laspersonas que en ella intervienen y el hostigamiento y ataques que sufrepor parte de los que no la comprenden o son sus detractores ideológicos.Todo ello explica la complejidad y vigencia del problema de la utilidadde los estudios de evaluación (Nachmias y Felbinger, 1982; Suchman,1972) y el por qué no hay una respuesta simple al modo cómo se utilizala información. En efecto, en diferentes situaciones puede emplearse devarias .,:rmas distintas y con matizaciones y énfasis también diversos;y en algunas de ellas puede incluso hasta no usarse (Captan, 1977;

222

Caplan y cols., 1975; Lynn, 1978; Weiss, 1978).Las nuevas propuestas y desarrollos metodológicos surgidos a

finales de los setenta y comienzo de los ochenta han marcado latransición de la investigación de evaluación a su estado adulto yfavorecido el traslado del debate académico y político social a centrosde interés sustancialmente diferentes de los de hace veinte años. Ahora,como campo de estudio firmemente establecido, la evaluación posee unenfoque conceptual y simbólico más que instrumental, procesual másque causal y multidisciplinar más que interdisciplinar. Con todaseguridad, los nuevos puntos de vista han contribuido significativamen-te a que el foco de atención ya no se centre en el incomprensible ydesafortunado debate entre metodologías y el intento de expandir elcampo relacionando la relevancia y aplicación de los estudios con lasdivergencias y fracasos de las dos comunidades (científica y política) enla identificación de objetivos, operacionalización de valores, criteriosde ejecución y estrategias y formas de realizar la evaluación. En estenuevo contexto han aparecido junto a los viejos problemas, por ejemplo,los que se refieren a la validez, otros más recientes previamente noreconocidos o ignorados, por ejemplo, la toma de decisiones y el usode los resultados que están siendo abordados desde nuevas concepcionesy, al igual que otros muchos aspectos de la evaluacióbn, comoproblemas complejos que requieren un planteamiento y planificaciónadecuados. Parafraseando a Conner y cols. (1984), creemos sincera-mente que si el pasado puede utilizarse para predecir el futuro, lainvestigación de evaluación continuará avanzando en los próximosaños, dejando siempre abierta la posibilidad de que el ingenio creativode los evaluadores produzca nuevos modelos con los que apreciar másobjetiva y democráticamente la efectividad de las intervencionessociales.

Reflexiones acerca de la conceptualización

En evitación de interpretaciones sesgadas y particularistas, loprimero que habría que decir de la investigación de evaluación es queno se trata de una actividad monolítica a la que fácilmente puedaponérsele límites mediante una definición. En opinión de algunos "laevaluación es lo que la gente dice que es; y la gente corrientemente diceque es muchas cosas diferentes" (Glass y Ellen, 1980, p. 211). Por ello,ante el amplio repertorio de formas vigentes para decirlo y la variedadde significados que encierra dicho término - y que oscila desde la noción

223

de valorar tan objetivamente como sea posible los efectos a corto plazode una intervención hasta la idea de llegar, a través de averiguacionescomplejas y a menudo subjetivas, a un proceso de decisión (Edwards yGuttentag, 1975)- sea adecuado tener presentes distintos aspectos quelos especialistas le han asignado. A mi modesto entender, no creo quetenga fundamento alguno, pese a ser un rasgo esencial de la investiga-ción científica, dar por sentado que la evaluación responde exclusiva-mente a un plan técnico monista positivista o de control. Su naturalezaviene impuesta fundamental e inexorablemente por la de la mismaintervención en la realidad social y de todos es conocido que lasactividades necesarias para conseguir los objetivos de esta clase deintervenciones, y a la que la evaluación podría aplicarse (Wortman,1983), son diversas y difíciles de integrar en un Único e irrefutableparadigma de investigación. Como escriben Cronbach y cols. (1981, p.37), "la calidad científica no es el principal estándar; la evaluacióndebería aspirar a ser comprensible, correcta y completa y verosímil alos partidarios de todos los enfoques". En definitiva, que la tareaeducativa no conlleva necesariamente la utilización de un particulardiseño de investigación o metodología, pues su singularidad o "unicidadno descansa precisamente en sus métodos de investigación, sino en suobjetivo, que es determinar la eficacia con que opera un determinadoprograma social" (Oskamp, 1984, p. 126).

Ahora bien, en un terreno donde no existe acuerdo unánime sobrela mejor manera de efectuar la investigación de evaluación y es frecuenteencontrar motivaciones ocultas que conducen a "pseudoevaluaciones"(Suchman, 1972) abundan los moedlos indicativos de cómo debería sery de los principios, estrategias y procedimientos metodológicos quetendrían que regir su ejecución. Se pueden enumerar siete enfoques al-ternativos, a saber, (1) la evaluación como ciencia aplicada: Demming,1975; Guttentag y Struening, 1975; Riecken y Boruch, 1974; (2) comosistema de dirección: Alkin, 1969; Atkinson y Broskowski, 1978;Provus, 1971; (3) como proceso de decisión: Edwards, Guttentag yStruening, 1975; Jones, 1982; Raiffa, 1968; Davidson, 1978; Kiresuky Lund, 1976; (5) como sistema de descripción: Stake, 1975; (6) comosistema jurídico: House, 1976; Madaus, 1982; Phillips, 1973; Toulmin,1958 y (7) como empirismo racional: Scriven, 1966, 1967, 1974 y 1976.Las ventajas e inconvenientes que presentan han sido discutidos porGlass y Ellett (1980) desde presupuestos científicos, lógicos y éticos conánimo comprensivo e integrador. Omitiendo de este conjunto al modelodescriptivo, que no es evaluativo en sí mismo (Oskamp, 1984) y al de

224

jurisprudencia, que entra muchas veces en contradicción con el análisisfilosófico de la justicia (Rawls, 1971) y plantea con demasiada frecuen-cia problemas de todo tipo, particularmente organizativos y económicos(Popham, 1982), los demás puntos de vista enfatizan, a mi juicio,aspectos útiles para ciertos propósitos y situaciones esencialmenterelevantes en la construcción de una disciplina intelectual aplicada. Estadiversidad de planteamientos en los que se refleja, sin lugar a dudas, lapluralidad teórica, ideológica y política de sus simpatizantes, ha llevadoa la elaboración de definiciones y tipologías diferentes de evaluación(Alkin, 1969; Cronbach y cols., 1981; House, 1981; Legge, 1984;Rossi, Freeman y Wright, 1979; Rutman, 1977, Stufflebeam y Webster,1980) y a que se plantee el problema de cómo sintetizar y armonizar elconjunto de actividades y hechos que contiene, logrando una visiónúnica equilibrada (Scriven, 1984) y sin que la interpretación de los datosesté mediatizada por las asunciones y marcos de referencia de susdefensores (Dunn, 1982; Suchman, 1972).

Conceptualmente, con la expresión investigación de evaluaciónse pretende aludir a un proceso científico constituido por accionesdiversas dirigidas a la consecución de un objetivo común, cual esapreciar la oportunidad y efectividad de los programas de acción socialdiseñados para mejorar las condiciones y calidad de vida de las personas(Rossi y cols., 1979). En esencia, la finalidad es "evaluar los efectos deuna acción o programa social" (Hornstein, 1975) lo que, en palabras dePerloff y cols. (1976, p. 570) se traduce en "determinar la amplitud conque un programa ha logrado uno o más de sus objetivos, las razones porlas que no han sido alcanzados y las relaciones entre los efectos que haproducido y una variedad de variables 'inputs' y las características delprograma" o, como expresa Weiss (1972, p. 25), en "medir los efectosde un programa como medio de contribuir al subsiguiente proceso dedecisión acerca del programa y mejorar la futura programación". Ladefinición ampliamente aceptada de Rutman (1977, p. 16) iguala laevaluación al "proceso de aplicar procedimientos científicos paraacumular evidencia válida y fiable de la manera y grado en que unconjunto de actividades específicas produce resultados o efectos concre-tos"

Sea como fuere, la investigación de evaluación no puede obvia-mente identificar necesidades sociales, establecer prioridades para laacción y, muhco menos, crear los recursos necesarios para llevar a feliztérmino las intervenciones. Tal y como los entiende Wholey (1981), elsignificado del programa (conjunto de recursos organizados y acciones

225

dirigidas hacia objetivos comunes) y la ejecución de éste (incluyendo losrecursos, las actividades y los resultados de estas actividades), laevaluación tendría que contemplar la planificación de las accionesdurante el transcurso de la aplicación; en segundo lugar, el contraste delos efectos producidos por la intervención y, finalmente, el uso de lainformación obternida en la toma de decisiaones y dirección delprograma. Dicho de otra forma, su finalidad sería la de fortalecer elproceso inicial de planificación y desarrollo de los proyectos aseguran-do con ello, de alguna manera, su éxito; la de comprobar hasta qué puntolas medidas planificadas y ejecutadas fueron efectivas; y, por último, lade mejorar con el conocimiento resultante la toma de decisiones acercade la conveniencia o no de continuar con el programa. Wholey proponedirigir las evaluaciones principalmente a los directores, con el fin deayudarles en las decisiones sobre reglamentaciones, guías y asistenciatécnica, y a los poderes públicos, con objeto de prevenirles a la hora deestablecer providencias legislativas y presupuestarias.

Y es que, en verdad, si la sensibilidad actual hacia las accionesde mejora social obliga a ejercitar la evaluación como medio de asegurarsu implementación y desarrollo, maximizando con la integración de lasdiferentes estrategias y técnicas de investigación su aplicabilidad y logrode objetivos (Rutman, 1980), la escasez de recursos económicos(Legge, 1984) la impone como una necesidad para facilitar las conce-siones de ayuda y justificar las inversiones realizadas. La búsqueda deuna investigación de evaluación que permita no sólo alcanzar el cono-cimiento necesario sobre los problemas sociales, sino también dirigirrazonablemente los recursos para promover el bienestar humano,explica muchos de los cambios de orientación habidos durante losútlimos veinte años.

Propósitos y funciones de la evaluación

En este apartado pasamos a tratar dos puntos que dan pie paraenlazar con el resto de la exposición y que, de momento, se ofrecen paraestructurar y/o clarificar las funciones y componentes de la evaluación.El primero se centra en el objeto que va a ser evaluado y el segundo enlas fases de evaluación, que en la génesis, implementación y desarrollode una intervención pueden distinguirse. El tratamiento de estos doseslabones conceptuales suministrará una perspectiva de las diferenciasen los componentes y tipos de evaluación, contribuyendo además, a laintención más general de despejar algunas fuentes de contusión que se

presentan siempre que se discute un proyecto de evaluación.En lo que se refiere a la realidad que va a ser investigada, la

evaluación ha tenido tradicionalmente como objeto a personas, institu-ciones, productos y programas. La evaluación de personas (candidatospolíticos, aspirantes de un puesto de trabajo, alumnos de un colegio,pacientes de un hospital, etc.) y la de productos materiales (artículosu objetos de cualquier clase, instrumental psicológico o científico, etc.)o productos humanos (habilidades o capacidades, bienestar físico,calidad de vida, etc.) constituyen una de las formas más comunes deevaluación y de más larga historia en la investigación psicológica ydesarrollo y uso de instrumentos psicométricos para poder realizar esteproceso. En contraste, la evaluación de instituciones (fundaciones,colegios, hospitales, centros de investigación, etc.) y la de programasson; como objeto de atención consciente y con respecto al estudio de sumetodología, más recientes en el análisis de la evaluación científica ypública.

Siguiendo con esta línea de distinciones, hay que significar quelas instituciones o programas pueden fijarse frecuentemente comoobjetivo primario la elaboración de productos. En este caso, si elproducto es humano, puede verse como personas que poseen ragos oatributos y su evaluación como una forma de evaluación personal. Loimportante a señalar es que la evaluación de instituciones y deprogramas, aunque incluya la de productos, es diferente y de ningunamanera significa que sea equivalente a este última. Igualmente laevaluación de un programa puede solaparse con la de la institución quelo patrocina, aunque tampoco y por muy diferentes razones (objetivosmás reducidos, facilidad en la réplica, menos complicación metodoló-gica, etc.) es sinónima de la evaluación de la organización, institucióno agencia que hizo posible su realización. En este terreno de conoci-miento instrumental concreto conviene tener asimismo en cuenta quebajo el nombre de evaluación de programas se encubre un amplio rangode clases que oscila desde los macroprogramas, como los planes oproyectos nacionales de defensa, salud, educación, etc., hasta otros demenor alcance, cuyos resultados, a diferencia de los generalmenteacumulativos y múltiples de los programas a gran escala, se evalúa deacuerdo con criterios menos complejos y en periodos de tiempo másreducidos.

Con independencia del objeto de la evaluación, existen igualmen-te diferencias de propósito según el nivel elegido de actuación. Losniveles resultan de concebir a la práctica evaluativa como parte de un

227

proceso de cambio planificado, así como de la consideración del uso delos resultados en la toma de decisiones. Para referirse a ellos los autoreshablan de aspectos o fases de evaluación (Rossi y cols., 1971), de pasosdela investigación de evaluación (Rutman, 1977) o simplemente deciclos evaluativos (Bennett y Lumsdaine, 1975; Caro, 1971). Siguiendolas taxonomías de éstos y otros destacados especialistas (Scriven, 1967,1977; Stufflebeam, 1971) proponemos un modelo de evaluación quecontempla cinco fases principales:

- la evaluación de necesidades o de las deficiencias producidas aliniciar el programa, lo que clarifica la fijación de fines y objetivos.

- la evaluación de planes que posibilitan la dirección delprograma, lo que hace los procedimientos de conducción más efectivos.

- la evaluación de las operaciones practicadas para ejecutar elprograma (evaluación formativa), lo que sirve para comprobar el ajusteentre el marco teórico y el real, y para controlar el proceso por el queel programa opera.

- la evaluación de los impactos o efectos del programa (evalua-ción sumativa), lo que permite apreciar las consecuencias producidas enlas fases operativas, y

- la evaluación comparativa o contraste con las evaluaciones deotros programas, lo que facilita la toma de decisiones respecto a lamarcha y futuro del programa que está siendo evaluado, de acuerdo conla efectividad mostrada y las presiones que sobre él se hayan ejercido.

Las fases mencionadas coinciden en líneas generales con las queintegran los modelos de evaluación presentados de forma consistente enel cuerpo doctrinal al uso, si bien algunos hablan de evaluaciones"comprensivas" (Rossi y cols., 1979), "libres de objetivos" (Scriven,1972), "sistémicas" (Arrow, 1976, Alvira, 1983), "sin límites demetas" (Deutscher, 1976), "multicampo/multidisciplinaria/multinive-les" (Scriven, 1984) y "multiobjetivo y dirigidas por la teoría" (Cheny Rossi, 1981, 1984), por mencionar unas cuantas denominaciones re-presentativas de soluciones diferentes.

Dentro de los modelos evaluativos cobra un singular interés tantola evaluación formativa y sumativa como la "evaluación de la evalua-bilidad" (Wholey, 1977) que constituye, aun en el peor de los casos, esdecir, cuando el problema es muy complejo y está mal estructurado oes confuso (Ackoff, 1974; Suchman, 1979; Mitroff, 1974, 1983;Strauch, 1976), una investigación en sí misma, aunque indirecta del

228

programa, que requiere la capacidad de preguntarse a priori si lasacciones en él expresadas son evaluables y contrastar el modelo teórico(retórico en la concepción de Wholey) con el de su posible funciona-miento en la realidad. Una vez vista la posibilidad de la evaluación ydefinida la nueva aproximación supuestamente evaluable, el modeloencontraría su validez en la medida en que se lograra el consenso entretodas las personas implicadas en la negociación (directores, expertos,políticos y usuarios). La aspiración de Wholey de construir un conoci-miento compartido sobre los programas, a fin de integrar intervencionescomplejas, solapadas y con múltiples objetivos, requiere la elaboracióntécnica de procedimientos estandartizados para llevar a cabo lasactividades preevaluativas -hasta el momento a expensas, por un lado,de la habilidad de los investigadores para establecer contacto y obtenerinformación y, de otro, de la sensibilidad y características de laspersonas que intervienen en la evaluación (Freeman y Solomon, 1981).Las actividades claves de la evaluación de la evaluabilidad son intercam-biables con las de la "evaluación exploratoria" (VVholey, 1977) y tienencierta conexión con las contempladas en los diseños idiográficos deMitroff (1983), con las subyacentes en el modelo que ha sido etiquetadocon el nombre de "investigación de la implementación" (Leithwood yMontgomery, 1980) y con las que integran los estudios llamados de"proceso" o "dirección" (véase Wholey, 1981). A grandes rasgos, estainvestigación involucraría: "(a) la delimitación del problema y delprograma, con la determinación de las actividades a realizar, objetivosa cubrir y la unidad que debe ser analizada; (b) la recogida de lainformación que define las actividades, los objetivos y las asuncionessubyacentes y (c) el análisis de si el programa es suficientemente claroy la evaluación factible y útil, con inclusión de los estudios de evaluaciónpotencialmente ejecutables" (Wholey, 1977, p. 43). Después de que elevaluador ha analizado la retórica del programa y comprobado que losobjetivos están formulados en términos operacionales, la investigaciónde evaluación sigue los pasos de cualquier otro proyecto de investiga-ción empírica.

Con fundamento en el concepto de evaluación como parte de unproceso de feedback, Bennett y Lumsdaine (1975) han subrayado la im-portancia de tres ciclos de retroalimentación, correspondientes a lostipos de evaluaciones formativas (proceso inmediato de control) ysumativa (cambios planificados basados en la medida del impacto) y dedecisión política sobre la continuidad del programa. En el primer cicloel criterio de evaluación se sustenta en la verosimilitud del funciona-miento, en la exactitud de los fines y en la adecuación de las actividades

229

a la planificación original. Aquí el feedback, repetible a voluntad hastaconseguir fijar los objetivos, es relativamente inmediato y permite lamejora de la correspondencia entre los planes operacionales y lasacciones desarrolladas o, de otra forma, el cambio de las operacionesen el curso del programa. Sin embargo, con toda la importancia de lafunción de control, el verdadero proceso de evaluación tiene lugar,según Caro (1971), cuando el investigador se ocupa de los resultados(evaluación sumativa) y no tanto de la medida en que los inputs han sidoefectivos. Por su parte, Astin y Panos (1971) sostienen una posiciónecléctica al defender que la evaluación debería ocuparse de ambosregistros (inputs y outputs), señalando el tratamiento operacionaldiseñado para producir el cambio y el punto hasta el cual éste interactúacon los cambios que podían haber .tenido lugar en ausencia delprograma. Estas aproximaciones reflejan la consideración de un amplioy segundo feedback basado en la medida del output y en la relación deese output con las actividades del programa. La importancia de ladeterminación previa (teórica o empírica) de la naturaleza de lamodificación requerida para producir la mejora de la calidad del impactodel programa, así como la conveniencia de una aproximación evolutivapara evaluar correctamente el feedback de los programas sociales, hansido subrayadas por Gilbert y cols. (1975) y Bennett y Lumsdaine(1975), respectivamente. Poteriormente, en la tercera fase, el evaluadorcontempla si el proceso entero "planificación/acción/evaluación" con-duce a una buena utilización de los recursos y es, por tanto, socialmenteútil y económicamente rentable. Esto requiere la evaluación de losresultados de un amplio campo de problemas (producción, calidad,diseño, costes, satisfacción de usuarios, etc.,) y tomar decisionesdespués de haber contrastado la efectividad del programa con la de otrosque aplican, para alcanzar objetivos idénticos, métodos y procedimien-tos diferentes.

En resumen, que la evaluación tendría que contemplar, para sercompleta, no sólo si las actividades del programa están siendo desarro-lladas tal y como fueron proyectadas en un principio, sino además si seprodujeron los resultados deseados y el precio a que se lograron. Enrigor, no es suciente comprobar si un programa ha cumplido o no susobjetivos sociales. Hay que dar necesariamente un paso más y compararsu coste con los de programas alternativos que hayan producidosemejantes o parecidos beneficios. Para paliar la falta de conocimientocomparativo de los beneficios y costes de los programas sociales, Rivl in(1971) aconseja diseñar las intervenciones de forma que se pueda

230

obtener este conocimiento, es decir, con experimentos naturales oexperimentos sistemáticos con variaciones planificadas, y Wholey(1979) aconseja, a su vez, que se especifiquen con detalle y sinambigüedades las medidas de ejecución del programa. Incluso cuandono resulta posible la investigación estrictamente científica (estudios pre-experimentales, cuasi-experimentales, observacionales), la evaluación,como proceso continuo circular, suministra un inmediato y útil feedbackque aumenta la certeza de si merece o no la pena continuar con el apoyoeconómico prestado a un determinado programa.

3) NOTAS METODOLOGICAS

Que los estudios de evaluación presentan la pluralidad de métodosexistentes en las ciencias sociales es algo que se comprende fácilmente,dadas sus diversas finalidades y objetos de estudio y, por ende, elcarácter englobante del crisol en el que la disciplina se fraguó(Wortman, 1975). De hecho, la casuística investigativa ejemplifica laidea de que en cualquier circunstancia es siempre posible alguna formade evaluación y de que se podrían practicar, con una cuidadosaplanificación, mejores evaluaciones en casi todas las situaciones (Sech-rest y cols., 1979). Seguidamente nos ocuparemos de tres métodosseñalados por Wortnian (1983) que resultan adecuados para darrespuesta a las preguntas que habitualmente se formulan los investiga-dores: ¿cómo debe ser la evaluación?; ¿cómo obtener los datos? y ¿cómodeben ser analizados?. Los métodos a los que nos referimos son: (a) laexperimentación social, válida para la recogida y análisis de los datos,(b) el meta-análisis, de utilidad para inventariarlos y obtener informa-ción de lo que se sabe o ignora en un dominio determinado y (c) elanálisis coste-efectividad, de interés para lograr una síntesis a laplanificación, implementación y modificación de los programas.

Experimentación social

Entre los metodólogos es frecuente creer que el experimentoaleatorizado es el medio superior de conseguir información válida(Campbell, 1974; Campbell y Stanley, 1966; Riecken y Boruch, 1974)e incluso que los resultados que proporciona pueden ayudar a la cons-trucción de programas (Pillemer y Light, 1979). Aunque las encuestas,estudios correlacionales y los cuasi-experimentos tienen reservado unlugar en la metodología científica social, "sin duda que bajo circunstan-

231

cias reales un experimento verdadero, incluyendo la aleatorización delos casos a las condiciones del tratamiento, sería el diseño de investi-gación preferido para evaluar casi todos los programas" (Sechrest ycols. 1979, p. 175). Posición que también ha defendido Faerweather(1980), al insistir en que el cambio social debe estar sustentado por unesfuerzo científico o, lo que es igual, experimental, siendo esencial paralograr una exacta evaluación que el experimento se realice con laasignación aleatoria de los participantes.

El valor de la experimentación descansa en la idea de manipula-ción de variables y de experimentación de los efectos como consecuen-cia del control y de la manipulación. La validez del experimento esadmitida, si se descubren las relaciones funcionales existentes entre lasvariables (validez interna) y los resultados pueden extrapolarse (validezexterna). Pero, así como las amenazas de la validez interna puedensolucionarse con relativa facilidad aplicando el diseño estadísticoadecuado, las amenazas de la validez externa son casi imposibles deanular, ya que siempre se corre el riesgo de generalizar a una realidadno presente en la muestra estudiada (Campbell y Stanley, 1966).Eninvestigación de evaluación donde la palabra experimento se utilizaalgunas veces con el significado de innovación o tentativa de tratamien-to y la investigación científica tiene su traducción en el ensayoaleatorizado o en su defecto, cuando no es posible la aleatorización, enel ensayo de campo y comparaciones controladas, el problema de larepresentatividad y aleatorización de la muestra ha hecho necesario queel esfuerzo metodológico se haya ido desplazando desde los diseñosexperimentales clásicos (Bock, Cochran y Cox, Winer, etc.) a lasdiferentes técnicas que permiten aproximarse al rigor y justeza delexperimento aleatorizado. Boruch (1976), Cook y Campbell (1976,1979) y Kish (1979) ofrecen procedimentos de uso corriente (técnicasde igualación de grupos, ecuaciones estructurales, diseños cuasi-expe-rimentales) que aumentan, hasta cierto punto, la validez de los ensayosno aleatorizados. En cuanto ala validez externa, el problema se agudizaal aplicarse los programas en diferentes condiciones locales y variar losprocedimientos conforme se desarrollan en el tiempo (Cronbach, 1977,1982). Algunas de las amenazas de la validez más comunes en investi-gación de evaluación pueden verse en Bemstein, Etohrnstedt y Borgatta(1976).

Las críticas y controversias originadas por el empleo de laexperimentación, especialmente centradas en los aspectos epistémicos(Habermas, 1971; Mc Rae, 1976; Von Wright, 1979), metodológicos

232

(Campbell, 1982; Wortman, 1975) y éticos (Gilbert y cols., 1978; Glassy Ellett, 1980; Smith, 1976; Tukey, 1978) han potenciado la creaciónde métodos alternativos, entre los que destacan la investigación natura-lista (Guba y Lincoln, 1981) y la investigación cualitativa (Guba, 1978;Partlett y Hamilton, 1976; Weiss y Rein, 1972), la cual pese al sesgoque pueden introducir los datos descriptivos (Tversky y Kahneman,1974), o los intuitivos (Sadler, 1982), y no estar tan formal ysistemáticamente incorporada al repertorio metodológico como laexperimentación social (Dunn, 1982), presta una ayuda especial a lacomprensión de los fenómenos (Nisbett y Ross, 1980; Young, 1982) alcaptar el significado de lo individual y singular que los datos cuantita-tivos no pueden ofrecer. En la actualidad son cada vez más numerososlos que, ante estas dos opciones metodológicas (cuantitativa y cualita-tiva) defienden la integración (Davis, 1982; Nathan, 1985; Patton,1982;Smith y cols., 1976) pues el problema no es para ellos determinarqué aproximación parece mejor, sino cómo se puede capitalizar la com-plementariedad de los enfoques para efectuar estudios más sensibles. Laevaluación social requiere la inclusión de otros métodos que no sean losestrictamente científicos. De ninguna forma debe entenderse que éstosno sean válidos y que incluso no sean, tal vez en la mayoría de lasocasiones, los más apropiados; únicamente que existen situaciones enel mundo real en las que los investigadores realizarían mejor su trabajocon diferentes métodos o combinaciones de ellos (Campbell, 1975;House, 1982; Light y Pillemer, 1983; Reichardt y Cook, 1979). ParaSmith y cols. (1976), el evaluador podrá utilizar métodos cuantitativoscuando sea capaz de anticipar las cuestiones que desea responder, y loscualitativos en los demás casos. Fuera de estas coordenadas hay tambiénquien, oponiéndose abiertamente a la metodología científica, defiendela evaluación humanística y con ello la posibilidad tanto de analizarhechos únicos imponiendo un cierto orden a la experiencia (Scruton,1980), como de establecer distinciones de valor incluyendo las distin-ciones morales (Olafson, 1979). El planteamiento de Von Wright(1971), abogando por el uso del razonamiento práctico y ético, segúnél altamente apropiado para llegar a descifrar la conducta propositivasocial, contribuye a aumentar nuestra comprensión acerca de que losmétodos científicos no son el único camino para alcanzar el conocimien-to de la realidad.

Meta-análisisCreado por Glass (1976), el meta-análisis, o análisis de análisis,

tiene como finalidad sintetizar los resultados de la investigación

233

procedentes de muchos estudios. El método es aplicable a la casitotalidad de áreas de la investigación y es el que con más frecuencia seha empleado últimamente (Glass y cols., 1981; Hunter y cols., 1982)para dar soluciónh a los problemas que presenta la revisión de lainvestigación que incluye estudios con tamaños de muestra desigualesy resultados que en apariencia son conflictivos y han sido obtenidos demanera diferente (Cooper, 1971; Jackson, 1980, Light y Smith, 1971;Rosenthal, 1978; Walberg y Haertel, 1980).

Dicho en pocas palabras, el meta-análisis consiste en combinarestadísticamente los datos de diferentes investigaciones (Cook y Levi-ton, 1983) e interpretar los resultados, una vez encontrado el efectopromedio, siguiendo una aproximación por juicio o utilizando unreferente normativo. En la aproximación por juicio, la magnitud delefecto queda fijado por el dictamen de jueces o expertos, residiendo laidea en que, al poseer estos profesionales un cuerpo común deconocimiento y compartir un fondo común de experiencias, usan unamétrica similar implícita. El problema está en que por haberse empezadoa estudiar recientemente este asunto aún no se han descubierto losfactores que pueden influir en los juicios (véase De Prospero, 1976;Jones, Weinrott y Vaught, 1978). En la aproximación normativa lamagnitud del efecto se interpreta según normas obtenidas en estudiosprevios. Si la distribución de resultados se ajusta a las propiedades dela curva normal, la interpretación se realiza a través del valor "z"asociado a cada puntuación. Sechrest y Yeaton (1981) critican lainterpretación ajustándose a la categorización establecida por Cohen(1962) de efectos grandes, medianos y pequeños, basada en el valorabsoluto de las cifras.

Desde la óptica de la validez interna, el método tiene el principalinconveniente de realizar la síntesis de resultados con investigacionesque poseen diversos grados de calidad en los diseños (Eysenck, 1978;Jackson, 1980; Marshall, 1980). Algunos autores como Mansfield yBusse (1977) apuntan como solución eliminar los estudios contamina-dos y con graves errores metodológicos y dividir el resto en doscategorías (estudios bien y mal diseñados) con el fin de ejecutar meta-análisis por separado y verificar la convergencia de resultados. Por suparte, Glass (1977, 1978) no se muestra partidario de excluir a ningúnestudio dado que el efecto de la calidad del diseño puede ser detectadoa posteriori (Bryant y Wortman, 1985), y Glass y cols. (1981) y Straw(1983) defienden que este efecto, realmente central en el procedimiento,es un asunto empírico, y no estrictamente metodológico que apenas tiene

234

repercusión en la variabilidad de los resultados. Al margen de estacontroversia, son críticas bien fundadas el tipo de control y las técnicasde análisis de datos empleados en las investigaciones inventariadas(Light, 1983). Los puntos interesantes dentro de la validez estadísticason la comprobación de la homogeneidad de los resultados (Gilbert ycols., 1977; Hunter y cols., 1982), el ajuste de las diferencias en losdiseños cuasiexperimentales (Wortman y cols., 1982) y si el análisis delas medidas ha de ser univariado o multivariado (Glass y cols., 1981;Landman y Dawes, 1982).

En cuanto a la validez externa, la principal objeción ha sidoformulada pintorescamente con la expresión de tratándose de frutas,"mezcla naranjas y manzanas"; más formalmente, que mezcla cosasdiferentes. En general, las críticas hacen hincapié en la arbitrariedad enla selección de los trabajos (Eysenck, 1978), en la acumulación degrupos distintos en una sola categoría, con la consiguiente imprecisiónen la categorización (Presby, 1978), y en la integración de trabajos convariables no controladas, tales como distintos tipos de control (Eysenck,1978), tiempo de duración de los tratamientos (Gallo, 1978) o el propioefecto del lugar de aplicación o el formato del programa (Light, 1983).Entre las sugerencias que arrojan alguna luz para incrementar la validezexterna de esta técnica analítica de revisión de investigaciones destacanel perfeccionamiento metodológico para descubrir los efectos de lostratamientos (Hedges, 1983; Rosenthal y Rubin, 1983; Bloom, 1982),la comprensión de las limitaciones de los diferentes diseños de inves-tigación, requisito conceptual que, según Wortman (1983), deberíapeceder a cualquier intento de generalización, y el enriquecimiento delos datos cuantitativos con la inclusión de la información cualitativa(Cook y Leviton, 1980; Reichardt y Cook, 1979; Light y Pillemer,1983).

Análisis coste-efectividad

El último método de evaluación formal de la investigación quetratamos, tiene como objetivo primordial precisar la eficiencia en el usode los recursos económicos (McKinlay, 1981). Con este fin se handesarrollado dos procedimientos que en la práctica funcionan comocomplementarios: el análisis coste-beneficio y el análisis coste-efectivi-dad. El primero, ejecutado principalmente cuando la investigación esrealizada por economistas (Andrieu, 1977; Thompson, 1980) evalúa lasdos variables de la relación en términos económicos o monetarios de

235

forma que el evaluador o el que toma decisiones puede compararintervenciones o programas diferentes, mientras que en el segundoanálisis el criterio de valoración es económico en la primera variable yla efectividad se aprecia con alguna otra "unidad", tal como años de vidasalvados, aumento de rendimiento, de la moral, de la calidad de vida,etc., evitando así el problema de reducir a términos económicosdeterminados aspectos de la vida humana (Kelman, 1981). Puesto queel análisis coste-efectividad no autoriza a fijar los resultados restandolos costes de los beneficios, ya que lo que proporciona es el dato de lacantidad de dinero invertido en conseguir un objetivo, el que toma lasdecisiones únicamente puede comparar intervenciones o aplicacionesque tengan idénticas finalidades. Good (1971) y Williams (1973)definen el análisis coste-efectividad como un análisis coste-beneficiossin la evaluación económica de los beneficios.

Con cualquiera de los dos enfoques, el estudio de la asociaciónrecursos económicos/resultados de la investigación, expresado en la"función de producción", requiere análisis matemáticos que pueden irdesde los cálculos más simples hasta los más sofisticados y complejos(series temporales, ecuaciones diferenciales, etc.). Se aconseja especi-ficar en el capítulo de resultados los costes directos, los que indirecta-mente pueden influir en los productos de las intervenciones o programas(costes de oportunidad); y en el análisis coste-efectividad, el coste porunidad de efectividad, los costes marginales y los beneficios. "notangibles", como ocurre, por ejemplo, cuando en los programas deintervención sanitaria se habla de la reducción del dolor o del sufrimien-to. En el supuesto de que en un análisis no fuese viable ofrecer losresultados en una sola medida (irreductibilidad), se recomienda presen-tarlas todas comparando el efecto que tuvo el programa en cada una deellas, siendo a todas luces importante que en conjunto representen lasdimensiones características del problema. El investigador apreciará másjustamente la relación entre variables si no minimiza y tiene en cuentalos cambios de valor que sufren las monedas en el tiempo (Warner yLuce, 1982).

Finalmente, los "análisis sensibles", como el análisis del peorcaso (Yeaton y cols., 1984) y los análisis comparativos (Thompson yFortess, 1981), funcionan como medida de seguridad para corroborarla robustez de los resultados, a arbitrar procedimientos que determinansi diferentes asunciones orn- an resultados también diferentes. Laaplicación de estos análisis .1cilitaría al investigador la tarea deaveriguar: (a) si los resultados dependen de una particular asunción; (b)

236

para qué amplitud o recorrido de valores en una variable se considerael coste efectivo y (c) los problemas que necesitan posterior investiga-ción. Aunque idealmente los estudios de evaluación que incluyenanálisis sensibles son bastante objetivos, en algunas ocasiones serequieren juicios subjetivos para apreciar las pequeñas diferencias quehacen que un programa sea superior a cualquier otro alternativo. Bienentendido que, cuando se advierte que el punto de vista particular delanalista puede influir en la imparcialidad de los resultados, habría quecomprobar, como recomienda Fischoff (1977), que la perspectivasocietaria no está subvertida por un especial interés.

4) EXAMEN DE LOS ANNUALS

Salvando la inclusión de algún que otro material bibliográficoprocedente de otras fuentes, la información hasta aquí expuesta reflejafielmente el contenido de los Evaluation Studies, constituyendo la mejorprueba de que esta serie posee, en su totalidad, la virtud de hacerreferencia a todas las cuestiones prácticamente de interés en materia deinvestigación de evaluación. Sin embargo, dicho esto, es necesariopuntualizar el significado de esta generalidad, ya que la mayoría de losartículos de que constan fueron doblemente seleccionados. Primero, porlos editores de las revistas en que inicialmente fueron publicados y,posteriormente, por los respectivos volúmenes de esta serie que losconsideraron como ejemplos o como piezas maestras en cuanto a rigorconceptual o metodológico (Freeman y Solomon, 1981) o que losencontraron idóneos para dar una imagen completa de las tendenciasteóricas y metodológicas (Conner y cols., 1984) así como del espíritucreativo que penetraba en cada momento en el área (Sechrest y cols.,1979). En consecuencia, si bien es cierto que no puede decirse que elmaterial revisado sea por estas razones, en el sentido más puro yestadístico del término, una muestra representativa del esfuerzo desple-gado, sí que puede afirmarse que es representativo del trabajo de másalta calidad realizado sobre un número importante de aspectos yproblemas de la investigación de la segunda mitad de la anterior década(Glass, 1976) hasta la primera de la presente (Aiken y Kehrer, 1985).

Estructura y contenido

La producción que aparece en las sucesivas selecciones, en total392 artículos, sin contar los que figuran en cada volumen a modo

237

introductorio o de preámbulo, se encuentra repartida en secciones cuyostítulos dan en principio idea de la temática abordada. Estos títulos y elnúmero de artículos que los integran quedan reflejados en el cuadro dela página siguiente.

Apoyándose en una simple aritmética, el lector podrá comprobarque el grueso de la información se centra en cuestiones teóricas ymetodológicas con un 14% y un 20% de artículos, respectivamente. Arenglón seguido, se encuentra un importante bloque de investigaciónaplicada en diversas áreas: salud (22%), educación (13%) y derecho(8%), estando representado el resto del contenido por una extensa yvariada gama de temas (política, trabajo, problemas profesionales,utilización, ética, etc.) de tratamiento discontinuo y desigual en eltiempo. Esta falta de regularidad informativa no mantiene, al desglosarel contenido por volumen, el carácter de generalidad del que hablába-mos antes, echándose de menos la cobertura del amplio rango posiblede cuestiones teóricas y de evaluaciones de programas seriales.

Por otra parte, y en relación con los porcentajes expresados,hemos de aclarar que el examen detenido y crftico de los artículos nosaconsejó algunas veces que, para el cómputo final, se atendiera más alcontenido real que al significado del título de la sección que losencabezaba. Así, en el apartado "teoría" se han contabilizado no sólolos trabajos que se hallaban bajo el título de este nombre (volumen 7),sino también los que se encontraban en secciones con textos añadidos(volumen 1 y 4) o con otras denominaciones (volumen 2,6 y 9), siemprey cuando tuviesen como objetivo facilitar la comprensión y el acerca-miento a los problemas generales de la investigación de evaluación. Enaquellos volúmenes donde no figuraba apartado teórico expreso (volú-menes 3, 5, 8 y 10) fueron contabilizados los que, incluidos en otrassecciones, aportaban con la misma finalidad anterior datos y comenta-rios altamente significativos. Al efectuar el recuento de la secciónmetodológica, sorprende tanto la consistencia en el uso del nombrecomo la regularidad de la frecuencia de los artículos publicados. Loseditores del volumen 6 no incluyeron el apartado metodología porqueestimaron, razonablemente, que el número anterior había proporciona-do una visión actualizada del tema y que ello justificaba su omisión. Noobstante, con un criterio idéntico al que arbitramos en la sección teórica,algunos trabajos resultaron desde este punto de vista evaluables. Deidéntica forma fueron tratados los artículos de las partes 3, 5, 6 y 7 del

238

CUADRO 1: Resumen de los evaluation studies review annual, indicando autores,año, volumen, títulos de las secciones y n° de trabajos por área

GLASS GUITENTAG YSAAR

COOK y cols. SECHREST y cols STROMSDOR-FER Y FARKAS

1976Volumen 1

1987Volumen 2

1988Volumen 3

1989Volumen 4

1990Volumen 5

T• y Método deEvaluación (8)

Estudio de Educ.(5)

Estudio de Saludmental y servicio desalud públ. (6)

Estudio de Bienes-tar y serv. soci. (4)

Concepto de Eval.(4)

Método de Eval. eInteg. de datos (9)

Eval. de la Polí -tica (5)

Eval. en Educa-ción (4)

Estudio sobredeli-te y just. (4)

Estudio en serv.Humanos: salud ytrabajo (6)

TOTAL: 32

Pol. y contextoPol. de la Eval.(6)Metodo (8)

Salud (7)

Renta (7)

Justicia (6)

Educación (6)

Salud Mental (6)

Eval. sobre"Interés Públ* (4)

TOTAL: 50

T y r de Eval.(8)

Met. Alternativasy Estrat. (8)

Tecnol. deEvalua-ción (7)

Estudio de Evalue-ción (12)

Resultados noanti-cipados (5)

Utilización (5)

TOTAL: 45

Metodología (7)

Prog. Laborales:Exp. diseñados (5)

Pros. Laborales:Exp. naturales (4)

Prog. Educativos:Exp. diseña. ynatur. (2)

Prn8• de ViviendaExp. diseñados (4)

Prog. de Salud ySeg.: Exp. dis. ynat. (3)

Prog. de Energíay Rec.: Exp. dis.y Naturaleza (4)

Eval. de PolíticaRlb. y Finan. (6)

TOTAL: 35

239

CUADRO 1: Continuación

FREEIVIAN YSALOMON

HOUSE y cola. LIGHT CONNER y cola. ADCEN yKEHRER

1981Volumen 6

1982Volumen 7

1983Volumen 8

1984Volumen 9

1985Volumen 10

Concepto y Ea.(7)

Educación (6)

Rec. Humanos yServ. Sociales (5)

Ley y SeguridadPública (3)

Salud (6)

Salud Mental yAbuso de drogas(4)

Ambiente (4)

Utilización (3)

TOTAL: 38

Teoría (8)

Metodología (8)

Etica (5)

Educación (7)

Salud (6)

Comun. y Soc. (6)

Política (6)

TOTAL: 46

Problemas Metod.y Procedimiento(15)

Ejemplos deRevisiones (21)

TOTAL: 36

1" e Ideol. de laEvaluación (4)

Contexto circuncl.de la Eval. (5)

Bloquea aeleccion.de Evaluación (6)

Modelamiento delProgr. (4)

Consideración sobrevalid. en diseño deEval. (5)

Muestreo y Prob.de Med. en Evalua-ción (4)

Análisis e Interp.de datos en Eval.(6)

Prob. Profesion. ydirecc. futuras (5)

TOTAL: 43

Cuidado de la as-lud (10)

Educación (5)

Empleo y Manteni-miento de la Renta(4)

Vivienda (3)

Transporte (3)

Justicia Penal (4)

Probl. Meted, enE,st. de Evaluación(6)

Est. de Evaluación:Implic. para la Po-lítica Pub. (5)

TOTAL: 40

240

vol. 9 que estudian extensamente diversas aproximaciones y aspectosdel método.

En lo que atañe a los trabajos en campos concretos de aplicación,dos observaciones son pertinentes. En primer lugar, que la impresiónde cambio en la estructura temática de los diferentes volúmenesresponde casi con exclusividad a la composición en cada momento delequipo editor, y no tanto a la falta de interés de los investigadores opatrocinadores de los programas por las áreas de investigación empíricaomitidas en cuestión. Y, en segundo término, y en virtud de lo anterior,que la magnitud de los porcentajes que hemos asignado a estas áreas esrelativa, por lo que no puede ser estimada como un indicador fiable dela importancia de la investigación efectuada. Por tanto, aunque acepte-mos que la finalidad de la serie es dar a conocer el estado general de lainvestigación de evaluación y de su ejecución en múltiples asuntospsicosociales y de política social, ello no significa que estemosobligados a renunciar al señalamiento de que la composición de losvolúmenes representan en buena medida un muestrario de investigacio-nes que varían en la dirección de las diversas identidades académicas eintereses profesionales (investigadores) de sus editores. Desde luego,no tendría mucho sentido listar las preferencias de los equipos editoresy, a continuación, mostrar su relación con la estructura y frecuencia deartículos aparecidos en cada una de las secciones de los Annuals. Peropara apoyar nuestra afirmación, permítasenos hacer brevemente refe-rencia al contraste, por ejemplo, del contenido metodológico y aplicadodel Volumen 5 -estrechamente ligado al interés de los programaslaborales, de entrenamiento y de bienestar social de Farkas y Stroms-dorfer- con el correspondiente al Volumen 3 -coincidente con laspreferencias académicas e investigadoras de Cook (metodología, dere-cho y política), Hennighan (salud y derecho) y Del Rosario (metodolo-gía). Con excepción del carácter más o menos general de los dosprimeros volúmenes, los demás exhiben sesgos que obedecen a inten-ciones específicas: el Volumen 4 refleja básicamente las preferenciasteóricas y metodológicas de Cook y Phillips, así como la especializaciónde Yeaton en la validación empírica de procedimientos y análisis esta-dísticos de datos; el Volumen 6 el bagage investigador en las áreas dela salud, promoción social y educación de Freeman y Solomon; elVolumen 8 la vocación metodológica (meta-análisis) de Light; elVolumen 9 la preocupación conceptual de Conner, Altman y Jacicson,hasta el punto que los principales pasos del marco teórico de evaluaciónque desarrollan estos autores sirven de armazón organizativo de la

241

estructura de los Annuals; y el Volumen 10 la dedicación de Aiken yKehrer a los temas metodológicos y de medicina clínica y políticasanitaria.

Con todo, junto a esta influencia que conduce a los autores a darprioridad a los artículos que ellos creen que ejemplifican perspectivasy opiniones fundadas del estado de la investigación de evaluación, existeel esfuerzo para describir imparcial y honestamente otras tendenciasmenos frecuentes en el trabajo realizado. Evidentemente, se puedecriticar el sesgo de la composición de cada volumen pero, tomada en suglobalidad, la serie constituye un testimonio impresionante del nivel deactividad desplegado para superar los problemas multifacéticos yconflictivos que de ordinario plantea en los planos conceptual, metodo-lógico y contextual la práctica de la evaluación.

Análisis del contenido

Yendo más allá de este simple recuento y descripción, el análisisde contenido revela la riqueza y complejidad del material incluido. Enausencia de categorías previamente establecidas, el procedimiento quehemos seguido exigió la lectura reflexiva de la documentación y, una vezfamiliarizado con ella, la elaboración de un sistema de categorizacióna fin de agrupar y clasificar artículos según afinidades. Por entender quelas categorías elaboradas por nosotros coincidían con las que reciente-mente han propuesto Morales y cols. (1986) para la catalogación detrabajos de Psicología Social Aplicada, y que era preferible presentarel análisis dentro de un sistema conceptual conocido que de uno nuevoregido por la intuición, hemos adoptado sin reservas y laxamente loscriterios de clasificación de estos autores.

Idealmente cada trabajo debería haber quedado inscrito en unasola categoría, pero, si tenemos en cuerr.: que los autores justifican susinvestigaciones desde muchos puntos . asta e intentan alcanza múlti-ples objetivos, no siempre el encasillanuento único es la mejor soluciónpara mantener intacto este contenido plural. No obstante, los artículosque referenciamos han quedado encuadrados en las categorías másconcordantes con su objetivo o intención principal. Debe advertirse queen la presente revisión se ilustran las categorías con los trabajos que, anuestro modo de ver, mejor la representan, importando dejar a .aradoque en cada una de ellas hay artículos de extraordinario mérito porrazones de espacio obviamente no se han mencionado.

242

a) Fijación de objetivos y propuestas de aplicación: se incluyenlos artículos que, mostrando descontento con el estado actual de lainvestigación, sugieren planes o proponen metas u objetivos por elmomento inalcanzables, con ciertos intentos de superación.

Consideramos prototipo del carácter ejemplar o ideal de laspropuestas ofertadas el trabajo de Croñbach y cols. (1981), "Our ninety-five theses" en el que el autor principal del Consorcio de la Universidadde Stanford, después de manifestar su descontento e insatisfacción porla forma escolástica de conceptualizar la evaluación, por la forma derealizar las actividades evaluativas siguiendo los deseos de los queostentan el poder y sometiéndose a los calendarios de entrega deresultados, y por la de comprometerse con la ejecución de tareas queexceden la capacidad de los propios equipos de evaluación, propone unareforma de ésta enunciada literalmente a través de noventa y cinco tesis.La idealidad de las enmiendas se advierte en todo el texto y muyespecialmente en los puntos que tratan de la participación y contribuciónde la política en los programas de intervención social, de la evaluaciónde los resultados y de la forma en que los hallazgos podrían utilizarsepara servir de ayuda a la sociedad. Más factibles, aunque difíciles dellevar a la práctica bajo las actuales restricciones económicas que hanimpuesto casi todas las administraciones, son las propuestas relativas ala preparación de evaluadores, patrocinio de programas, obtención derecursos y el enfoque y frecuencia con que deberían efectuarse lasrevisiones de investigación. El objetivo último de la evaluación no es,para Cronbach, eliminar la falibilidad de la autoridad ni tampocoauxiliar su credibilidad, sino facilitar un proceso democrático y plurala través de la instrucción de todos los participantes. Su posición le llevaa decir que las evaluaciones deberían juzgarse según el grado de ayudaprestado a la comunidad política para que consiga sus fines, con lo que,en este sentido, la lógica de la ciencia tendría que coincidir con la lógicapolítica.

Si en el artículo anterior no se detalla un modelo ni los requisitosque exige el trabajo del evaluador, no sucede igual con el de Tharp yGallimore (1979), en donde se presenta una aproximación obtenida poranalogía de la ecología, para evaluar el desarrollo y cambio de losprogramas sociales (evaluación sucesiva). Sin embargo, como en el casode Cronbach, se trata más de una orientación que clarifica lo que deberíaser la evaluación, que de un modelo concreto de actuación. Laaportación puede calificarse de ideal porque las situaciones que descri-ben, como afirman Sechrest y cols. (1979, p. 39) parecen "demasiado

243

buenas para ser verdad ... Reconocemos que las condiciones bajo las queTharp y Gallimore trabajaron fueron extraordinarias y no puedenfácilmente alcanzarse de nuevo; puede que ni siquiera sean alcanzablesen algunos campos".

Con el mismo o parecido grado de abstracción, dos trabajosrecientes describen críticamente el estado general de la investigación deevaluación y formulan deseos respecto al porvenir de ciertas aproxima-ciones consideradas ideales. Palumbo y Nachmias (1982) analizan la"crisis de identidad" por la que atraviesan los evaluadores, ahora queel paradigma tradicional (modelo basado en objetivos) está siendosustituido por una variedad de aproximaciones altemtativas, tratando deajustar el concepto de evaluación a su ejecución. En este artículo sediscute el rol ideal de la evaluación de la toma de decisiones y lacongruencia, o más frecuentemente, incongruencia, entre las metodo-logias de evaluación y la conducta actual de los sistemas organizativos.En la misma dirección Weiss (1984) examina la evaluación orientada alusuario, aproximación que idealmente considera tanto los intereses delas personas afectadas por las intervenciones sociales como los deaquéllos que toman decisiones sobre los programas, a fin de lograr elfeedback comunicativo e incrementar la imparcialidad del progreso deevaluación. Las ideas expresadas en estos dos estudios aluden claramen-te a la necesidad de cambiar la forma estándar de pensamiento positivistay urgen a los investigadores a que examinen con atención la situaciónde evaluación antes de decidir la aproximación y metodología. Pero,mientras en el artículo de Weiss el análisis crítico de los supuestossubyacentes no verdaderos de la evaluación orientada al usuarioconstituye en sí mismo una estimación imparcial y una mejora de lapráctica de esta aproximación, en el de Palumbo y Nachmias no sedetectan esfuerzos para sugerir o desarrollar un paradigma y sí, encambio, un deseo ferviente de que otros lo hagan con un enfoque idealya que, según estos autores, merecería la pena trabajar en ello.

b) Intentos de delimitación de lo aplicado: esta categoría abar-ca el material científico que presenta elementos de información sobre lanaturaleza del trabajo de los evaluadores, con la finalidad de diferenciarlo básico de lo aplicado o, por el contrario, de superar dicha dicotomía.

La idea de una separación estricta entre lo básico y lo aplicado ode que el conocimiento derivado de la investigación de laboratorio esradicalmente diferente del trabajo científico tenido fuera de él,pertenece al pasado y ya casi nadie la sostien _ A lo sumo, algunos

244

muestran sus preferencias por una u otra clase de actividad, pero sin queello afecte a las necesarias implicaciones de ambos aspectos en lainvestigación, y por extensión en la investigación de evaluación. Porejemplo, son paradigmáticas las posiciones que Cronbach y Campbellmantienen respecto al método. De todos es conocido que el primero(Cronbach, 1976, 1982) sustenta una postura aplicada, acusando almétodo de causalidad lineal de ineficaz para estudiar los problemassociales, al mismo tiempo que se siente atraído por la investigación delos problemas teóricos de los métodos convencionales. Por contra,todos los escritos de Campbell (1966, 1969, 1971, 1975, 1979, 1982,1984) conciernen a la ciencia básica, lo que no implica que renuncie ala elaboración de procedimientos técnicos aplicables a toda clase deobjetos incluyendo los de contenido y significado social. Es decir, quelos escritos de Cronbach son propios de un psicólogo aplicado intere-sado en mejorar las investigaciones e interpretaciones de los datosmediante la aplicación de principios teóricos, mientras que los deCampbell constituyen un método de hacer ciencia básica con la intenciónsobreañadida de que también puede ser llevada a la práctica.

Estas relaciones entre lo básico y lo aplicado se expresan másextensamente en el trabajo de Dunn (1982). Totalmente en contra de lademarcación establecida entre ambas clases de investigación y delparadigma campbelliano (Campbell, 1971, 1975; Cook y Campbell,1979). Dunn retorna la vieja idea lewiniana de que la investigación quese necesita no es precisamente la "libresca" o abstracta y propone lainvestigación en acción. Le queda claro que en el dominio social noexisten teorías básicas bien establecidas y de ahí que, por influencia deLewin (1946), llegue a decir que en buena parte este conocimiento seha ido forjando gracias al estudio de problemas en campos aplicados de-terminados. El discurso doctrinal del sociólogo americano gira en tornoa clarificar la especificidad del conocimiento social -el cual no depende,como el de las ciencias de la naturaleza, del avance teórico ni delparadigma experimental para su desarrollo tecnológico- y a demostrarla productividad para la teoría social del trabajo realizado cooperativa-mente en problemas prácticos complejos. En su réplica a Dunn, en estemismo año, Campbell reconoce la ausencia de una ciencia socialvalidada (de la que se hayan derivado principios para la ingenieríasocial) y la necesidad de un paradigma epistemológico más amplio parala ciencia social aplicada. En realidad, tanto Dunn como Campbell semuestran favorables a mantener indefinidamente abierta la dialéctica dela práctica a través de esfuerzos intencionales para cambiar el orden

245

social acompañados de una crítica abierta de estos esfuerzos, aunque elpunto de desacuerdo está en el papel asignado por ambos a la ideologíade la "experimentación social" para promover esta dialéctica. Lacondición experimental ista de Campbell queda subrayada al decir: "Paramí la experimentación social denota un proceso continuo interactivo,una tentativa autoconsciente que prejuzga las pretensiones de haberlogrado la finalización. Pero coincido con Dunn y con Lindblom yCohen (1979) en lamentar la imagen de la experimentación social en laque un único y gran programa de evaluación nacional o experimento dedemostración hace firme la decisión política de una vez por todas.También son de lamentar los descarríos que ocurren cuando losmovimientos sociales supuestamente comprometidos con las dialécticasde la praxis intentan detener esta dialéctica mediante el control político"(Campbell, 1982, p. 121). En su trabajo de 1984, Campbell admite unaextensión de la categorización experimental/cuasiexperimental con lainclusión de los "experimentos delicados" (queasy experiments) de'clara orientación social aplicada con fines polfticos. Este uso de laexperimentación social como herramienta para encontrar respuestas ysoluciones relevantes a las cuestiones políticas ha sido comentado porGreenberg y Robins (1985) al referirse al rol cambiante de losexperimentos sociales en los análisis de decisión pública. En lasconclusiones de este último trabajo se enfatiza el hecho de que aún quedapor descubrir la manera en que los experimentos sociales pueden serestructurados para producir decisiones políticas socialmente óptimas,admitiéndose que el problema podría ser potencialmente solucionablecon la práctica de experimentos a gran escala y el fortalecimiento de laestructura comunicativa entre investigadores, y entre éstos y losdiversos sectores de la política general comunitaria.

Por último, no podemos cerrar este apartado sin hacer menciónde Chen y Rossi (1981), quienes cercanos a Campbell en su interés porlas reformas sociales consideran que la principal debilidad de lasintervenciones es la de no estar basadas en una teoría social de losproblemas sociales. El divorcio ocurre, en parte, porque los políticosy diseñadores de programas no acuden a los científicos en la fase inicialde los programas y, en parte, porque las ciencias sociales no handesarrollado a tal efecto un conjunto de teorías relevantes. Debereconocerse, además, que son necesarias dos clases de teorías, las quemodelan el problema social en cuestión y las que modelan los progra-mas, así como que. a pesar de la consistencia entre los dos conjuntos deteorías, los tratamientos no se pueden deducir directamente de la

246

comprensión de los problemas y viceversa. Con estos presupuestos eslógico, pues, que Chen y Rossi subrayen las diferencias de losprogramas carentes de fundamento teórico y propongan para subsanartan seria limitación realizar los estudios desde su aproximación "multi-objetivo y dirigida por la teoría". Su argumento es que el evaluador nodebe aceptar pasivamente los objetivos que le son marcados, sinoinvestigar de forma activa otros objetivos "derivados del conocimientocientífico social y de la teoría de conocimiento social disponible, enseleccionar el conocimiento teóricamente justificado del problema quese vaya a estudiar y, una vez construido un modelo apropiado, descifrar,como hace el investigador básico, las relaciones entre las variables delprograma y los resultados producidos, información que es crucial parala construcción de una teoría en cualquier disciplina. "Usando estaaproximación, los investigadores de evaluación pueden contribuir aldesarrollo de la teoría de la ciencia social tanto como cualquier otrocientífico social en investigación básica" (Chen y Rossi, 1981, p. 51).

c) Análisis teórico: Junto a la categoría de métodos y técnicas esla que contiene mayor número de trabajos, comprendiendo tanto los quese centran en asuntos macroscópicos o de fondo -es decir, los que sepreguntan por los paradigmas de investigación, si podemos ser cientí-ficos, cuál es la filosofía y forma de conceptualizar la disciplina, etc.,para optimizar la efectividad y utilidad de la práctica evaluativa.

Desde la perspectiva macroscópica, el artículo antes citado deYoung (1982) y el de Scriven (1984) y House (1984) son ejemplos delcambio en la conceptualización de evaluación sustentado por concepcio-nes antipositivistas. Sin embargo, el más profundo y ácido de todos elloses el de Young, al acusar a las teorías y métodos de investigacióncuantitativos de legitimar y perpetuar las formas opresivas de la vidasocial y subvertir los métodos de contrucción del conocimiento. Conargumentaciones típicamente marxistas aboga por el empleo de unametodología relacionada con los métodos vulgares de construcción delconocimiento (folk methods) y principalmente orientada a facilitar lainteracción democrática y el control colectivo de los hechos sociales,partiendo de la idea central de que tales métodos son, en unión de losllamados científicos, necesarios en el estudio del ser humano. Con suaplicación se puede alcanzar una visión exacta de la realidad social,logrando, por una parte, el establecimiento de las "regularidades" de lavida social, sin anular el valor de los datos cualitativos y sin reificar losobjetos desconectándolos de sus contextos de producción y estructuras

247

de dominio, por otra.En cuanto que en el planteamiento de Young se apela al cambio

metodológico propugnando un proceso dialéctico de construcción delconocimiento, da la impresión de que su posición es semejante a la deotros autores (por ejemplo, Dunn o Campbell). Sin embargo, nada máslejos de la realidad, pues su aproximación conlleva una total reorienta-ción del pensamiento lógico de la sociología clásica (aunque no se dicecómo) a través del ethos científico del "comunismo" (por el que sesostiene que "el conocimiento es colectivamente producido y colectiva-mente utilizado") y de la completa reestructuración del sistema simbó-lico del lenguaje. Campbell (1984) también sería sensible al problemasociológico de la validez científica, al discutir desde los recientesdesarrollos de la filosofía de la ciencia, sociología de la ciencia ysociología del conocimiento los problemas especiales que plantea el sercientífico en la investigación social polfticamente relevante y declararexpresamente la necesidad de crear una sociología de la validezcientífica y una disciplina social aplicada especialmente dentro de ella.

Aportan datos interesantes sobre la influencia de tipo ideológicoque ha recibido el modelo tradicional de evaluación el trabajo de Scriven(1984) al señalar los diferentes puntos de vista y finalidades quepersiguen las ideologías separatistas, positivista, relativista y directiva,y el de House (1984) ilustrando por medio del concepto de "metáfora"(instrumento intelectual central en la percepción y comprensión delmundo que nos rodea) cómo distintas perspectivas metafóricas dan lugara diferentes concepciones de evaluación. Basándose en el conocido textode Rossi y cols. (1979) "Evaluation: a systematic approach", Houseanaliza las metáforas subyacentes a la percepción de los programassocia como una "producción industrial" (los servicios son producidospor los programas y deben ser entregados a una clientela; los elementosdel programa se definen en términos de tiempo, coste, producto, etc..;los programas son como máquinas cuyos elementos actúan en consonan-cia con un diseño, pudiendo ser ajustados, comprobados, etc.; lossistemas de distribución facilitan el acceso a los servicios) admitiendoque en el futuro pueden aparecer nuevas concepciones de la evaluaciónconforme vayan concibiéndose nuevas metáforas.

Un ejemplo de estos modelos de evaluación, que concede especialatención al modo de suministrar los servicios y detectar los efectos delos programas, es el que mencionamos en el apartado anterior propuestopor Chen y Rossi (1981). La aproximación "multi-objetivo y dirigidapor la teoría" subraya, como el modelo "libre de objetivos" (Scriven,

248

1972), la frecuencia con que las intervenciones sociales suelen tenerefectos no anticipados ni coincidentes con los propósitos e intencionesde sus diseñadores y administradores; pero, a diferencia de la deS criven, que deja al investigador en completa libertad para encontrar losefectos del programa, sugiere la teorización como elemento imprescin-dible para detectar las consecuencias. Si Scriven, en un principio, noproporcionaba ningún esquema conceptual que suministrara una orien-tación de lo que debiera observarse o hacerse, en su reciente aproxima-ción llamada "multimodelo" (Scriven, 1984) ha previsto, siguiendo lasaproximaciones "Evaluation Standards" y "Evaluation Checldist" ypuesto que la evaluación es, por su propia naturaleza "multiplicidad demúltiples" o, lo que es igual, que es múltiple de muchas maneras(multicampo, multidisciplinaria, multimétodo, múltiple en funciones,en impacto, etc.) una lista de 15 dimensiones que guían el diseño yrealización de cualquier tipo de evaluación, ya sea de personas, produc-tos, propósitos o programas.

Entre las aproximaciones que acentúan las propiedades dinámicasde la producción del contenido social, ofreciendo soluciones paraelaborar una tipología de "estándares", reglas o tests que permitanevaluar los argumentos ofrecidos por los científicos sociales aplicados,políticos y otros participantes en las reformas sociales, merece unamención especial el modelo "transaccional" de Dunn (1982) adaptadodel no menos importante modelo "jurídico" de Toulmin (1958). Lasingularidad del enfoque de Dunn consiste en haber acomodado elproceso de argumentación y todas las posibles formas de argumentos auna metodología científica, incluyendo las amenazas de validez y sujustificación lógica y haber ampliado los estándares científicos y el"uso" y "utilidad" de la investigación, al contemplar la noción de marcosde referencia y los tests de verdad y utilidad con que Weiss y Buscuvalas(1981) investigaron sus componentes centrales. Por último, merecetambién destacarse el modelo "estadístico" de iones (1981) que abordael embarazoso problema de quién podría beneficiarse de los serviciosde los programas sociales, considerando los intereses, a menudoenfrentados, de políticos, administradores, directores y evaluadores.Con base en la teoría de la decisión estadística y asumiendo que lavariable discriminativa no tiene por qué ser forzosamente económica yque puede medirse con error, iones clarifica con datos importantesasociados a la necesidad (socioculturales, familiares, sanitarios, etc.)los marcos de decisión crítica de los actores involucrados en el proceso.

De otro lado, los estudios microscópicos evidencian reiterada-

249

mente el énfasis de los especialistas en la investigación de la implemen-tación. Patton (1979) nos recuerda que no todos los diseños deevaluación incluyen datos de la implementación ya que, en general, estainvestigación depende del problema particular que va a estudiarse. Loverdaderamente crucial es que durante el proceso inicial de elaboracióndel programa se haya suscitado el tema, de forma que el evaluador, ensu responsable interacción activa/reactiva con los usuarios y demáspersonas interesadas en la evaluación, explore las posibilidades de estaopción (frente a cualquier otra información) y decida su utilidad en lasparticulares circunsntancias en que se encuentra. En este campo de lainvestigación, en el que Wholey (1977) fue pionero, no existensoluciones definitivas y se requiere aún más tiempo para conceptual izardebidamente los elementos de las intervenciones, los sistemas deimplementación y los factores extraños y mediacionales que puedenafectar a todos estos elementos (Conner y cols., 1984). Sin embargo,y mientras esto ocurra, los investigadores han dictado algunas líneas deactuación que pueden facilitar y mejorar el proceso. Así, Wholey (1981)señala dos actividades básicas sugeridas por su experiencia en el trabajode investigación y como participante en la toma de decisiones: (1) la"solución táctica", dirigida a captar los objetivos del programa, lasmedidas de la ejecución y los usos de la información y (2) la "soluciónestratégica", encaminada a crear los incentivos necesarios para estimu-lar a los directores de los programas a fin de que éstos identifiquen yconsigan el nivel de acuerdo entre objetivos e indicadores de laejecución en términos de los cuales los programas han de ser valoradosy dirigidos y, a la vez, conduzcan las actividades para lograr unaejecución aceptable. Si las medidas propuestas por Wholey respondenadecuadamente al desafío que plantean los problemas derivados de lapolítica y dirección de los programas, Windle y Shaferstein (1982)recomiendan llevar a efecto las actividades de la investigación de laimplementación en tres fases, con el objetivo de identificar otrosproblemas que disminuyen la potencia y eficacia de los programas. Laprimera es la evaluación de la teoría subyacente. La segunda es laevaluación de la capacidad del sistema para dispensar los servicios. Latercera es la evaluación o verificación de si los servicios están siendodispensados. A este efecto discuten un modelo de Rossi (1978) en el quelas acti , Idades, tiempo de realización, procedimientos metodológicos yfinancu.Jión de los programas difieren según fases de evaluación.

De acuerdo con la revisión de estudios de Leviton y Boruch(1984), los datos de la implementación contribuyen a mejorar de muchas

250

formas la dirección de los programas, a la par que conducen a cambiospolíticos relevantes, facilitando la diseminación y uso de la investiga-ción. Sin embargo, como han puntualizado Scheirer y Rezmovic (1984)en una discusión conceptual y metodológica de los problemas queafectaron a un número considerable de investigaciones que usaronmedidas de implementación, la ayuda que prestan los resultados de losestudios previos es escasa al no haberse desarrollado aún los paradigmasmetodológicos estandartizados que permitan construir las medidas yhacer los resultados comparables.

d) Propuestas de aplicación: Todos los artículos que pertenecena este apartado tienen características parecidas a los que integran lacategoría "fijación de objetivos y propuestas de aplicación", radicandola diferencia en que las enmiendas y ofertas de los trabajos de estasección no son tan inalcanzables y se refieren, además, a camposconcretos de investigación (trabajo, educación, salud, etc.). Dado quelos temas de salud serán objeto de un trabajo específico de revisión,nuestro comentario se referirá en general a otros dominios queidentifican modos de actuación.

Una propuesta algo especial por afectar directamente a camposdiversos de la investigación (justicia penal e instituciones sanitaria ymilitar) es la que formuló Smith (1981), después de haber comprobadoque la mayor parte de los trabajos realizados para aumentar la calidadde los diseños y métodos de evaluación en estas áreas, estaban basadosen el paradigma científico y en la estadística convencional. Descontentopor el predominio de este marco conceptual y la escasa creatividad delos investigadores, Smith incorpora un nuevo enfoque más real de laevaluación, en el que se asume que el trabajo del evaluador varíadependiendo de las situaciones con las que puede enfrentarse (polftica,directiva, investigadora y evaluadora) las cuales, sobre la base de laspreguntas y respuestas que originan, requieren la adopción de nuevasmetodologías. En la clasificación de métodos de evaluación que esteautor asigna a la profesión, se señalan como alternativas viables el"periodismo investigativo" para la investigación (Guba, 1979) la"investigación operativa" para la dirección (Page, 1979), y el "criticis-mo artístico" para la evaluación (Gephart, 1979), estando por formularla alternativa correspondiente a la situación política. En la mismadirección, pero esta vez en el ámbito educativo, Stuffiebeam y Webster(1981) coinciden con Smith en la necesidad de elaborar modelos deevaluación distintos a los ya existentes. Del amplio rango de estudios

251

que sometieron a escrutinio lograron identificar, mediante un análisisde siete descriptores, tres tipos diferentes de estudios con importantesimplicaciones conceptuales y metodológicas tanto para el teórico comopara el profesional práctico de la evaluación: 1) estudios políticamenteorientados o pseudoevaluadores (estudios polfticamente controlados yestudios inspirados en las relaciones públicas); 2) estudios orientadosa cuestiones (estudios basados en objetivos, de contabilidad, deinvestigación experimental, de programas de prueba y de dirección dela información); 3) estudios orientados a valores (estudios de acredita-ción/certificación, políticos, orientados a la decisión, orientados alconsumidor, centrados en el cliente y basados en el experto o conoce-dor).

Por citar unos cuantos ejemplos más de propuestas en temasdiversos añadiremos la publicación del Nationa1 Council on Employ-ment Policy (1977) centrada, ante la falta de cohesión de los programasde empleo, en la evaluación de necesidades y objetivos; la de Morash(1984) que describe sumariamente las diferencias entre la investigaciónde evaluación y la valoración de los impactos sociales (SIA) aplicandola metodología del SIA a programas de justicia criminal y juvenil; la deHendricks (1982) acerca de la evaluación de la prestación de serviciossociales utilizando la observación y discusión; la de Fuller (1982) sobrelas variables que subyacen en los modelos de empleo y educación juvenil(funcionalista, psicosocial, subcultural, socialización y desarrollo co-munitario); y la de Weiss (1982) referente al estudio de uso de lainvestigación. Por su interés y posibilidades de aplicación a distintasáreas xponemos resumida y esquemáticamente en el cuadro de lapágina que sigue la metodología y posibilidades de esta última aproxi-mación.

e) Métodos y técnicas en investigación de evaluación: Tienencabida en esta categoría los artículos que versan sobre los métodos ytécnicas usados en la recogida y análisis de datos, discuten sus ventajase inconvenientes, o ejemplifican sus aproximaciones con ejemplos ocálculos pertinentes.

No por azar después de la introducción de Glass (1976) a suprimer volumen, la sección que presenta la teoría y metodología de laevaluación está presidida por el trabajo en que Cronbach plantea elproble la básico de la pretendida utilidad y validez de las explicacionesbasadas en la técnica del diseño experimental, y a continuación figurenalgunos artículos referentes a la forma de controlar los sesgos y

252

potenciar el poder de las investigaciones causales (Boruch, 1976;Scriven, 1976) junto a alternativas bastante diferentes de este tipo deinvestigación (House, 1976; Partlett y Hamilton, 1976; Zeckhauser,1976). Es bastante evidente que la investigación de evaluación tuvo enlos comienzos de la década pasada un fuerte sesgo hacia la metodologíacuantitativa, como ya notamos en nuestra panorámica histórica ynaturalmente esta tendencia se evidenció en la producción de los autoresinteresados en mejorar los diseños tradicionales de la investigación(véase Boruch, 1976; Riecken y Boruch, con Campbell, 1977; Crane,1978; Wortman y Rabinowitz, 1979; Baker y Rodriguez, 1979, etc., porreferirme sólo a los primeros volúmenes). Pero también no lo es menosque muy pronto surgieron otras aproximaciones y técnicas de análisisde datos que contrarrestaron la fuerte tendencia del uso de la experimen-tación para evaluar los efectos de los programas sociales, aunque notuvieran el tratamiento sistemático de las anteriores técnicas de estudioy hubiera que esperar a que editores, como House, Mathison, Pearsony Preskill (1982) se decidieran a presentar un balance de metodologíasalternativas, cosa que no se había hecho anteriormente (1) evaluacióncomo proceso jurídico: Madarns, Estes y Demaline; Popham; (2) evalua-ción cualitativa: Filstead; Hendricks; (3) evaluación naturalista: Sadler;(4) estudio de casos: Yin, Shapiro y Roos; (5) entrevista: McDonald ySanger; (6) estrategia del crftico-experto: Anastasiow. En los años quesiguieron a esta publicación los editores seleccionan una muestra varia-da de artículos sobre diseños y métodos que han sido típicos en el pasadode la serie, ocupándose principalmente de las implicaciones de losavances metodológicos y de los problemas que afectan a la síntesis orevisión de investigaciones. En definitiva, todo un horizonte deposibilidades demasiado numeroso para ser descrito, aunque de referen-cia obligada para dar idea, de entrada, de la diversidad de los puntos devista metodológicos adoptados en la investigación de evaluación.

En cuanto a la metodología convencional, merecen citarse losesfuerzos de la resolución de problemas de los experimentos noverdaderos. En este apartado los trabajos han seguido tres direccionesprincipales que ocupan casi el total contenido metodológico de losvolúmenes que hemos revisado: (1) los diseños estadísticos y problemasrelacionados, tales como los de muestreo, sensibilidad de las medidaspara detectar los efectos del tratamiento, selectividad de los estudioscuasi-experimentales, etc. (Baker y Rodriguez, 1979; Barnow, 1980;Berk, 1984; Boruch, 1976; Campbell, 1977; Cohen y Joreskog, 1984;Conner, 1978; Eckman, 1980; Lipsey, 1984; Riecken y cols. 1977; St.

253

CUADRO 2: Investigación del uso de la evaluación (Adaptado de Weiss, 1982)

FOCO DE ATEN-CION ESTRATEGIAMETODOLOGICA(APROX.)

PREGUNTASBIEN REspoNDI-DAS

PREGUNTAS PORRESPONDER

ALGUNAS LIMITACIDIES

Estudios

Estudio de casos (delos efectos, de La inv.y de la evaluación)

Efecto del estudioen la toma de deci-ibones en el sino con-creso

Efectos indirectos.Efectos en otros luga-res. Efectos a largoplazo

Escasa duración de la investiga-ción. Falta de conocimiento ode sensibilidad de los informan-tes acerca de los efectos de la in-vestigación.Falta de habilidad de los inves-tigadores para entrevistar a losinformadores.

Penaras

Encuestas de posiblesusuarios

Personas que usanla investigación,Cantidad de uso que

hacen de ella

Cómo interacula el usode la investigación deuna persona con losusos de otros para in-fluir ea los sucesos.Investigación disponi-ble que no deja huella

Memoria de los informantes.Habilidad para citar referencias.Recordar las consecuencias con-ceptuales de la investigación olas fases o palma del uso de la in-vestigación.

Problemas

Revisión de documen-tos. Revisión de esto-dios de investigación,(Revisión documen-tal de la resolución delos problemas)

Influencia relativa dela investigación enIs resohición del pro-blema comparadacon otra informa-ción, intereses, pro-ojones.

Personas que mediati-zan el uso. Cómo Ila-ma la atención la in-vestigación. Quién pro-mociona el uso y conqué finalidad.

Falta de evidencia del nexo ca-tre la investigación y las accio-nes oficiales. Subjetividad delinvestigador ea la asignación dela importancia a loa estudios.

Organizaciones

Observación partici-Pinte (de las utgani-zaciones)

Influencia de la in-vestigación en la coa-ducta organizativa.Canales por los quepenetra en la orga-nizacióa y conse-cuencias

Causas por las que lainvestigación tiene lasconsecuencias observa-das,Averiguar si los pro-ceso. de uso son tini-cos en la organización

Sesgo de los investigadores, in-volucrados en la organización.Falta de generalizabilidad de lapropia experiencia de la organi-ración. Existencia de sucesosidiosincrásicos. Circunstanciashistóricas

254

Pierre y Cook, 1984; etc.) (2) el análisis de datos y la inferencia ysignificación estadística (Ainer y Hausman, 1980; Berk y Brewer,1978; Campbell y cols., 1977; Cohen, 1984; Cook y Leviton, 1983;Cooper y Rosenthal, 1983; Chen, 1984; etc.) y (3) los estudios sobrela validez, punto crucial en investigación de evaluación y que ha sidoobjeto de examen constante por todos los especialistas, tal vez, comosugieren Conner, Altman y Jackson (1984), porque la evaluacióncomienza como una mezcla de investigación básica y aplicada y, comoparte de la empresa científica, aspira al objetivo de descubrir verdadesválidas.

Nos asisten razones, que el lector fácilmente adivinará, para nohablar aquí de los aspectos técnicos involucrados en los primerosapartados. En su lugar haremos unos breves comentarios sobre doscuestiones significativas para el psicólogo social interesado en laevaluación. La primera compete a la determinación de la magnitud delimpacto necesario para considerar efectiva una determinada interven-ción y, a la postre, al por qué tenemos que evaluar la efectividad de lainvestigación. Sechrest y Yeaton (1982) contestan a esta preguntaaludiendo a la necesidad del investigador de demostrar su comprensióndel fenómeno y al hecho de que una medida efectiva puede serparticularmente conveniente. De su revisión de diferentes aproximacio-nes estadísticas -aproximativas unas (entre las que influyen datos de dosmeta-análisis) y aproximaciones cuantitativas vs. cualitativas otras-llegan ala conclusión de que incluso la demostración más potencialmen-te convincente de nuestra compresión racional del problema puede queno se perciba de magnitud suficiente por el público relevante (adminis-traciones, políticos, etc.), quedando en este caso la cuestión reducida aun simple asunto de presentación de datos y retórica de resultados o ala falta de comprensión de ese público de la lógica de la pregunta y dela respuesta científica. En este sentido los autores asemejan la tarea delevaluador a la del artista que se esfuerza en producir un trabajotécnicamente perfecto que exprese una belleza visible a todos susadmiradores.

La segunda cuestión está tratada con extensión en el volumen deConner y cols. (1984) cuyas partes quinta y séptima versan sobrediferentes aspectos de la validez. La razón de la elección de estosartículos para el comentario reside en mostrar cómo a partir del trabajode Campbell y Stanley (1966) (véase Cook y Campbell, 1979), cuantomás han profundizado los teóricos en el estudio de este problema, máscomplejo y multifacético se han vuelto. La validez que hemos aprendido

255

la mayoría de nosotros relaciona dos factores en una determinadasituación (validez interna) y generaliza esta relación a otros contextos,poblaciones y variaciones de tratamientos (validez externa). Con elcatálogo de diseños de Campbell y Stanley en mano parece que,seleccionado el diseño adecuado, se resuelven todos los problemas devalidez que tengamos planteados. Sin embargo, también sabemos, amenos que se nos haya olvidado, que el desplazamiento hacia lainvestigación cualitativa y su auge en la década de los setenta se debe,en gran parte, a esta frustrante experiencia. El riesgo principal deutilizar, sin más, el listado de los tipos de validez, amenazas y solucionesde Campbell y Stanley es el de asumir que el investigador puede hacerajustes en sus diseños sin considerar una planificación racional de lanecesidad o propósito de los cambios. Los autores que mencionamos eneste apartado desarrollan soluciones no contempladas en el pasado,preocupándose ante todo más del "cómo" y "por qué" un producto,programa o intervención funciona, que del hecho de "si" simplementefunciona.

Al revisar los resultados de varias investigaciones realizadassobre el tratamiento del alcoholismo, Emrick y Hansen (1984) ilustranlos tipos de confusión que ocurren en la asignación de los porcentajesde éxito a los tratamientos, cuando los problemas de la validez no seconsideran ampliamente. Así, en validez interna, se señalan y discutenlas fuentes de error conocidas como el sesgo del investigador, lascaracterísticas de la demanda y el uso de datos procedentes de fuentesmúltiples. Por lo que respecta a la validez externa, las diferencias en la

c -"posición de las muestras, en la definición y medida del criterio, ene empo de las medidas de evaluación, en la aplicación de tratamientos,en la pérdida de pacientes en los estudios de seguimiento y en losprocedimientos de análisis de datos. Los autores recomiendan que todaslas evaluaciones de esta clase utilicen el listado de índices que presentanal final del artículo para aumentar su validez.

Un planteamiento comprensivo de todos los tipos de validezinvolucrados en la investigación social se presenta en tres escritos(Lynch; Calder y cols. ; McGrath y Brinberg) que abordan desdedistintas perspectivas la urgencia de validez externa que tiene lainvestigación de evaluación en el campo del consumo y marketing. Loscomentarios de los autores resultan perfectamente generalizables y, enconsecuen. ia, ap Mes al área que analizan"( - porque los tres trabajosrelacional el pr ria con la investigación oásica y aplicada y en lainvestigación de amación frecuentemente hay que atender a ambos

256

aspectos. Los artículos protagonizan las afirmaciones más recientes deestos autores en un debate que comenzó hace varios años con la únicapretensión de que los evaluadores pusieran más atención a las amenazasde validez y supieran cómo resolverlas en un particular estudio. Lasdiferencias críticas de opinión pueden verse reflejadas en las tesis de losdos primeros autores. Así, mientras Lynch (1984) cree que la validezexterna concierne a la investigación teórica y defiende dos métodos paraasegurarla, el "muestreo deliberado" (para la heterogeneidad) y la"aproximación selectiva" (para la elección de un pequeño número defactores ambientales que serán variados ortogonalmente con respecto alos principales tratamientos), Calder y cols. (1984) no encuentranrazones para preocuparse de la validez externa durante la fase deinvestigación básica puesto que el proceso científico, y en especial elprincipio de falsación de este proceso, son suficientes para desarrollar.teorías aplicadas, siendo importante la validez externa únicamentecuando el interés del investigador sea aplicar teorías ya existentes, comosucede en la investigación de evaluación. Por su parte McGrath yBrinberg sintetizan las opiniones de Lynch, Calder y cols. afirmandoque la investigación básica y aplicada son claramente interdependientes.En la extensión que hacen estos dos autores de los esquemas conceptua-les previos, se contempla la variedad de significado de la validez durantelas principales fases del proceso de investigación, a saber: (1) estadiode desarrollo, clarificación y selección de elementos y relaciones en loscampos conceptual, metodológico y sustantivo (validez como "valor"),(2) investigación propiamente dicha, incluyendo la combinación y usode los elementos y relaciones de cada uno de los dominios anteriores alo largo de tres vías diferentes: experimental, teórica o empírica (seseñalan doce tipos diferentes de validez) y (3) fase de comprobación dela verificación, extensión y delimitación de los resultados obtenidos enla fase anterior (validez como "robustez").

El último artículo de la sección constituye una crítica de laobsesión de los investigadores de evaluación por los problemas de lavalidez externa y una defensa, en última instancia, de la falta de validez(external invalidity). En efecto, proporcionando algunos ejemplos deinvestigación criticables desde este punto de vista, pero que habíanproducido un importante y útil conocimiento, Mook (1984) se preguntahasta qué punto la validez externa sería un asunto importante, si losinvestigadores se dirigieran una serie de preguntas antes de comenzaruna investigación y la planificaran con más cuidado y detalle.

257

t) Contexto de las aplicaciones: La presencia de esta categoríatiene que ver con la abundancia de trabajos que aluden al objetivoprincipal de la investigación de evaluación y la exigencia de explicar,tanto como sea posible, el ambiente causal en el que las intervencionessociales operan. Es un hecho que la evaluación no tiene lugar en un vacíosocial, en un contexto neutro, y que su éxito no depende sólo de lacalidad de los procedimientos técnicos usados sino también del gradode consenso alcanzado entre el rigor científico y los condicionamientosambientales, abarcando los derivados de las relaciones interpersonales,situaciones económicas, presiones políticas y otras variables contextua-les.

El fracaso de muchos estudios de evaluación para descubrir laefectividad de las intervenciones sociales condujo, desde antiguo, alinterés por investigar la causalidad circular establecida entre la inves-tigación de evaluación y los condicionamientos ambientales, especial-mente los que se derivan de los marcos de decisión política. Uno de lostópicos más reiterativos en este contexto ha sido el reconocimiento deque las investigaciones fracasan o producen resultados nulos porque condemasiada frecuencia se efectúan sin el conocimiento de un ciertonúmero de variables intrínsecas a la evaluación (ideológicas, políticas,administrativas, etc.) que condicionan el diseño del programa y el usode los resultados de la investigación. Para muchos (Leviton y l3oruch,1984; Patton, 1979; Rossi, 1978; Windle y Shaferstein, 1982; Wholey,1981) la puesta en práctica de las actividades preevaluativas mejoraríala evaluación potencial de los programas ya que permiten captar laspeculiaridades del ambiente, compatibilizar los desacuerdos, en el casode que éstos se presenten y, si el evaluador es reacional y flexible,convertirlos positivamente. En consecuencia, enfocaríamos con verda-deros ojos de miope el problema de la efectividad y el uso de lainvestigación de evaluación si lo redujésemos al ámbito puramentetécnico o metodológico y no ampliásemos el punto de mira con laconsideración del amplio juego de intereses políticos o ideológicos queafectan tanto a la práctica inmediata como a la futura utilización de lainvestigación (Cook, 1984). Así pues, aunque reconozcamos que laaplicabilidad de lob :,rogramas sociales está relacionada con una buenaidentif -,ación de íos instrumentos, criterios de medida, diseños ytecnole fa, en general, de la evaluación, existe un poderoso contextopolitice que influye más intensamente que estos factores en lasdecisios sobre su uso o .aplicación.

Una de las pocas cosas claras que tienen los críticos en este asunto

258

es que se sabe muy poco del papel que juegan los resultados de laevaluación en la toma de decisiones sobre los estudios (Sechrest y cols.,1979; Solomon y Freeman, 1981). Patton y cols. (1978) lograron aislarempíricamente a través de entrevistas personalizadas la importancia dedos factores, uno que llaman de "consideraciones políticas" (luchas depoder entre las administraciones centrales y el personal de las adminis-traciones locales, luchas económicas, debates internos sobre los propó-sitos y compromisos con los programas, etc.) y otro factor titulado"personal" (liderazgo, entusiasmo, interés, determinación, agresivi-dad, etc.) no encontrado anteriormente en la literatura y que emergiócon consistencia. También Weiss y Buscuvalas (1981) se ocuparon deluso de la investigación, identificando mediante análisis factorial lasvariables que suelen influir en los juicios o sobre las que se basanaquéllos que toman decisiones, en concreto, (1) la calidad de lainvestigación, o perfeccionamiento teórico, (2) la orientación a laacción, o su pragmatismo (3) la conformidad a las expectativas de losusuarios, o grado de ajuste con sus experiencias y creencias, (4) el statuquo, o su adecuación a los intereses y valores institucionales y (5) larelevancia del estudio. Los hallazgos de estas investigaciones anticipan,en líneas generales, la posición de Shapiro (1984), quien intentademostrar que el uso o no uso de la investigación es un fenómenocomplejo que incluye aspectos diferentes del modelo racional de tomade decisiones y de entre los que destacan elementos pertenecientes acuatro modelos de la decisión organizativa (elección racional, polfticaburocrática, procesos organizativos y procesamiento cognitivo) queescapan al control del investigador frecuentemente. Al año siguientesubrayaría inteligentemente Weiss (1982) que para evaluar el uso habríaque especificar primero el "difuso y complejo concepto de uso" (Weissy Buscuvalas, 1981) lo que llevaría a su vez, a tener que señalar lo queva a ser usado, forma de realizar el estudio, quién lo va a utilizar, cuándoy, sobre todo, los efectos requeridos.

El hecho de que la evaluación afecte a la toma de decisión polfticay ésta a la investigación de evaluación ha sido señalado por Travers yLight (1984) quienes establecen, por otra parte, la interesante distinciónentre las evaluaciones modeladas por políticos, es decir, las que enopinión de Meindinger y Schnaiberg (1981) tratan de apoyar científi-camente los objetivos de determinadas políticas de acción social, deaquéllas otras evaluaciones que informan a los políticos. Importasobremanera a los autores aclarar que el evaluador debería, siempre quele fuese posible, mantener intacta la perspectiva científica y situarse ante

259

los posibles condicionamientos al margen de la política. De esta ideaparticipan igualmente Windle y Shaferstein (1982) viendo en ella laúnica forma posible de evitar la función conservadora de la evaluación(mantenimiento del statu quo) y también Havender (1984), aunque ésterecomienda, para evitar la manipulación de los datos y adoptarestrategias apropiadas para su uso, estudiar concienzuda y detenida-mente el ambiente político en el que los resultados de las investigacionespodrían ser utilizados.

Complentando el cuadro anterior, DeLoria y Brookins (1984)tratan el curioso tema de la organización y estructuración del contenidode las evaluaciones orientadas políticamente. El artículo es interesanteporque, acostumbrados como estábamos a redactar los informes si-guiendo los cánones del protocolo científico (evaluaciones orientadas almétodo), el evaluador se encuentra desasistido en este nuevo contexto.Puede que su falta de práctica esté apoyada en su creencia de que losdatos suelen ser muy poco convincentes para guiar la decisión políticapero, teniendo en cuenta que el criterio de ciencia aplicada es "la mejorinformación científica disponible" (Grobstein, 1984), los autores acon-sejan adoptar un papel más intrépido pues, con los datos o sin ellos, lospolíticos siempre toman decisiones.

Por último, y en cuanto a la práctica de la evaluación, desde queFreeman y Solomon (1981) enfatizaron la amenaza que supone para lainvestigación social, en general, y para la investigación de la evaluaciónpública, en particular, la falta de apoyo político y fiscal (tradicionalmen-te el mercado primario lo han constituido lo programas sociales en elsector público), se ha seguido insistiendo hasta la actualidad en el tema(Aiken y Kehrer, 1985). Freeman y Solomon (1981) creen que elretroceso sufrido por la evaluación en términos de oportunidadesgenerales para realizar nuevos estudios tiene su origen en el sectorpúblico en el recorte económico y en el plano académico en la tensiónexistente entre los representantes de la investigación básica y aplicada,la cual no se ve favorecida en sus ansias de expansión, por razonesobvias, bajo las restricciones económicas. Como solución para salir delimpasse proponen: (1) el refinamiento y reorientación de las actividadesnecesarias para desarrollar objetivos operacionales y la información sis-temáticamente organizada acerca de los programas y criterios por losque se juzga su éxito, (2) el perfeccionamiento de los diseños (3) elestudio económico de los proyectos, (4) el discernimiento de quiénesdeberían ser los beneficiarios y (5) el conocimiento de quiénes utilizanla evaluación. Con independencia de la utilidad de las medidas, otros

autores hacen hincapié en un orden de previsiones diferentes, y a vecesincluso contradictorias, tal como el caso de Calingo y cols. (1984), queven la necesidad de buscar nuevos mercados (concretamente en el sectorprivado) y en aquellas áreas el evaluador muestre una habilidad superiora la de sus posibles competidores, y el de Cook (1984), que mantieneuna postura encontrada al afirmar que existen muy pocas oportunidadesen este sentido y que, más que extenderse, habría que consolidar elconocimiento para cuando hubiera una conciencia administrativa mássocial que la presente. Tal consideración supone, a su entender,reconocer, por un lado, el fallo de muchos programas y la insensibilidadde la evaluación para detectar los pequeños pero importantes impactos,y de otro, el papel de la comunidad de evaluación en la determinaciónde los tipos de estudios que prometen grandes dividendos y de laspreguntas que deberían responderse. Para eliminar la imagen de laescasa utilidad de los estudios de evaluación, Cook propone (1)consolidar la evidencia sobre los programas; específicamente se podríanefectuar metaanálisis de pasadas evaluaciones resumiendo algunasequivocaciones del pasado que los evaluadores no supieron evitar osuperar y (2) evitar las investigaciones de escaso alcance y hechas encasa, con lo cual los evaluadores se moverían simultáneamente en ladirección de la consolidación y de la expansión.

Desde otros presupuestos Nathan (1985) sugiere que el desarrollode la investigación de evaluación está en integrar las metodologíascuantitativa y cualitativa y en estudiar con detalle las variables institu-cionales y políticas, así como las relaciones existentes entre los cambiosde estas variables y el cambio c.onductual correspondiente. El mérito desu propuesta ha sido señalado lapidariamente por el autor al referirse ala dificultad de medida de dichas variables y a la escasa atención que seles presta en la investigación, frente a la facilidad con que son apreciadaslas variables económicas y demográficas que penetran por doquier losactuales estudios de evaluación. Para motivar esta línea de trabajo dirigea los científicos sociales esta frase pronunciada en cierta ocasión porEinstein: "Tengo poca paciencia con los científicos que cogen una piezade madera, buscan su parte más delgada y perforan un gran número deagujeros donde la perforación es fácil" (Nathan, 1985, p. 718).

261

CONCLUSION

En la presente revisión se ha pretendido dar una visión generalde lo que es la investigación de evaluación prestando atención a laconceptualización, metodolología y problemas con los que habitual-mente se enfrenta. A tenor del material contenidoen los "EvaluationStudies Review Annuals" llegamos a una conclusión que nos pareceharto evidente: desde sus comienzos el crecimiento del área ha estadoacompañado de numerosos esfuerzos para especificar las fronteras de sunaturaleza multidisciplinaria y descubrir la manera de realizar óptima-mente el trabajo evaluativo, sin duda algo más complejo y conflictivoque la investigación ordinaria dado el origen y la diversidad de interesesde las personas que participan en los programas. En términos generales,podemos afirmar que los problemas que se debaten son de corteparecido, y de ahí el valor de esta publicación anual para la psicologíasocial, a los que tienen lugar en el seno de nuestra disciplina, pues paranadie resulta ya un secreto que han sido muchos los psicólogos socialesque han puesto de manifiesto la necesidad de la evaluación, que handesarrollado técnicas de evaluación y que han usado evaluacionesconcretas con fines tanto teóricos como prácticos. Miller, con sus"Experimentos sobre el proceso social", obra que se remonta nadamenos que a 1950; Lewin, con su propuesta de la "Investigación deAcción", que incluia la evaluación como elemento básico; Campbell,con su idea de la evaluación constante y rigurosa de los programas depolítica social; Altman y Sommer, cada uno por separado, contrapo-niendo la evaluación ala investigación básica, son algunos jalones cuyodesconocimiento resultaría hoy poco justificable

Pero es que, además y sobre todo, desde los años 70 se observaun acusado interés en estudiar los problemas sociales utilizando la teoríay la tecnología psicosocial, por lo que existe una vinculación múltipleentre psicología social y los estudios de evaluación que, a nuestroparecer, puede cifrarse en tres puntos principales: (1) cierto :onoci-mientos teóricos son directamente aplicables al trabajo evaivativo;merecen en este sentido una mención especial los capítulos de actitudes,expectativas, atribución, organizaciones, ambiente y otros que haninspirado un gran número de hipótesis de la investigación empírica enmuchos sectores, así como los estudios sobre influencia y poder quepueden ayudar a esclarecer la relación entre evaluador o evaluadores ylos político, por una parte, y la comunidad o grupos de personas, por

262

otra; (2) ciertos desarrollos metodológicos se deben, fundamentalmen-te, a la aportación de psicólogos sociales, en concreto, el desarrollo dela "Experimentación social", "Cuasiexperimentación" y las técnicascuantitativas de revisión de investigaciones; es apreciable igualmente larevalorización de la metodología cualitativa y su creciente uso junto alas técnicas tradicionales de investigación, con lo que se podría llegara la elaboración de una metodología única de evaluación aplicable a loscampos de la ciencia social de la cual emergió; y (3) el hecho de que unbuen número de aplicaciones de la psicología social han consistidoprecisamente en estudios de evaluación, siendo en este sentido los"Evaluation Studies" un testimonio más de parte del trabajo realizadopor los psicólogos sociales en contextos aplicados.

Aunque los miembros que pertenecen a la comunidad de evalua-ción representan una diversidad de disciplinas e intereses diferentes, elinterés colectivo primario está centrado en superar las dificultades de laprofesión, cuya solución, como es lógico, cabe encontrarla en el marcode una problemática psicológica mucho más amplia, al margen de quela evaluación tenga, como acabamos de ver, sus propios y peculiaresproblemas. Queda meridianamente claro que, a pesar de los avancesteóricos y metodológicos que han tenido lugar en los últimos años, laevaluación tendrá que recorrer un largo camino para poder determinare incrementar el uso de la información socialmente relevante. Y no esdificil aventurar que para lograr un progreso real en el conocimiento delos problemas sociales, las ideas tendrán que ir más lejos de lasdiscusiones sobre modelos o de las viejas y simples distinciones demetodologías y adentrarse en el estudio de las diferentes filosofías eideologías que sustentan tanto las definiciones acerca de su naturalezacomo las de los pretendidos cambios sociales.

REFERENCIAS BIBLIOGRÁFICAS (*)

Abt, C.C., 1980, Social science in the contract research firm, en R.S.Kidd y M.J. Sala (eds.), Advances in Applied Social Psychology,Hillsdale, L. ErlbaumAckoff, R.L., 1979, The Art of Problem Solving, Nueva York, WileyAiken, L.H. y Kehrer, B.H., (eds.), 1985, Evaluation Studies ReviewAnnual, Londres, Sage, Vol. 1Alkin, M.C., 1969, Evaluation theory development, Evaluation Com-ment, 2, pp. 2-7Altman, I., 1973, Some perspectives on the study of man-environmentphenomena, Represe,ntative Research in Social Psychology, 4, pp.

263

109-126Alvira, F., 1983, La investigación evaluativa: una perspectiva experi-mentalista, Revista Española de Investigaciones Sociológicas, 29, pp.129-141Alvira, F., Avia, M . D., Calvo, R. y Morales, J.F., 1978, Los dosmétodos de las ciencias sociales, Madrid, CISAndrieu, M., 1977, Benefit-cost evaluation, en L.Rutman (ed.),Evaluation researdi methods: a basic guide, Beverly Hills, Sage,Anguera, M a .T., 1985, Posibilidades de la metodología cualitativa vs.cuantitativa, ifi Seminario sobre modelos de investigación educati-va, Gijón, SeptiembreAstin, A.W. y Panos, R.S., 1971, The evaluation of educationalprograms, en R.L. Thomdike (ed.), Emotional Measurement, Was-hington, American Council on EducationAttkisson, C.C. y Proskowski, A., 1978, Evaluation and the emerginghuman service concept, en C.C. Atkisson y cols. (eds.), Evaluation ofhuman service programs, Nueva York, AcademicAtkisson, C.C. y cols. (eds.), 1978, Evaluation of human serviceprograms, Nueva York, AcademicBearman, J.E., Loewenson, D.B. y Guillen, W.H., 1974, Muench'spostulates, laws and corollaries, Biometrics Note 4, Bethesda, Officeof Biometry and Epidemiology, National Eye InstituteBennett, C.A. y Lumsdaine, A., (eds.), 1975, Evaluation and Expe-riment, Nueva York, AcademicBernstein, I.N., 1976, Validity issues in evaluative research, BeverlyHills, SageBernstein, I.N., Bohrnstedt, G.W. y Borgatta, E.F., 1976, Externalvalidty and evaluation rese,arch: a codification of problems, en I.N.Bemstein (ed.), Validity issues in evaluative researdi, Beverly Hills,SageBlack, M., 1962, Models and metaphors, Ithaca, Cornell UniversityPressBloom. H., 1982, Analyzing longitudinal data sets, Cambridge,Harvard University PressBoruch, R.F., 1976, Combining randomized experiments and approxi-mation to experiments in social program evaluation, en I.N. Bemstein(ed.), Validity issues in evaluative research, Beverly Hills, SageBunker, J., Barnes, B. y Mosteller, F., 1977, Costs, risks and benefitsof surgery, Nueva York, Oxford University PressBrynner, J. y Sribley, K.M., 1979, Social research: principies and

procedures, Buffolk, The Open UniversityCampbell, D.T., 1971, Methods for the experimenting society,Washington, APACampbell, D.T., 1975, Degree of freedom and the case study,Comparative Political Studies„ 8, pp. 176-193Campbell, D.T. y Stariley, J.C., 1966, Experimental and quasi-experimental designs for research, Chicago, Rand McNakkyCaplan, N., 1977, A minhnal set of conditions necessary for theutilization of social science knowledge in policy formulation at thenational level, en C.H. Weiss (ed.), Using social research in publicpolicy making, Lexington, Lexington BooksCaplan, N., Morrison, A. y Stambaugh, R.J., 1975, The use of socialscience knowldege in policy decisions at the national leve!: a reportto respondents, Ann Arbor, University of Michigan, Center forResearch of Utilization of Scientific Knowledge, Institute for SocialResearchCaro, F., (ed.), 1971, Readings in evaluation research, Nueva York,SageColeman, J., 1973, Ten principies governing policy research, APAMonitor, 4, 2, p. 6Conner, R.F., Altman, D.G. y Jackson, C., (eds.), 1984, EvaluationStudies Review Annual, Londres, Sage, Vol. 9Cook, T.D. y Campbell, D.T., 1976, The design and conduct ofquasiexperirnents and true experiments in field settings, en M. Dunnette(ed.), Handbook of industrial and organizational psychology, Sto-kie, Rand Mc NallyCook, T.D. y Campbell, D.T., 1979, Quasiexperimentation: designand analysis issues for field settings, Chicago, Rand Mc NallyCook, T.D. y Gruder, C.L., 1978, Metaevaluation research, Evalua-tion Quarterly, 2, pp. 5-51Cook, T.D. y Leviton, L., 1980, Reviewing theliterature: a comparisonof traditional methods with meta-analysis, Journal of Personality, 48,pp. 449-471Cook,T.D. y Reichardt, C.S., 1979, Qualitative and quantitativemethods in evaluation research„ Beverly Hills, SageCook, T.D. y cols., (eds.), 1978, Evaluation Studies Review Annual,Londres, Sage, Vol. 3Cronbach, L.J., 1980, Toward reform of program evaluation: Aims,methods and institutional arrangements, San Francisco, Jossey BassCronbach, L.J., 1982, Designing evaluations of educational and

265

social programs, San Francisco, Jossey BassCronbach. L.J. y cols., 1980, Toward reform of program evaluation,San Francisco, Jossey BassChurchman, C.W., 1979, The system approach and its enemies,Nueva York, Basic BooksDatta, L. y Perloff, R., 1979, Improving evaluations, Beverly Hills,SageDavis, B.G., 1982, Boruch and McLaughlin debate, Evaluation News,3, pp. 11-20Davis, H. y Salasin, S., 1979, Evaluation and change, en L. Datta y R.Perloff (eds.), Improving Evaluations, Beverly Hills, SageDemming, W.E., 1975, The logic of evaluation, en M. Guttentag y L.Struening (eds.), Handbook of Evaluation Research, Beverly Hills,SageDe Prospero, A., 1976, A comparison of visual and statistical analysisof intrasubject replication data, Artículo presentado en la reunión dela Asociación para el Progreso de la Terapia de Conducta, NuevaYorkDeutsch. M. y Hornstein, H.A. (eds.), 1975, Applying social psycho-logy: implications for research, practice and training, Hillsdale, L.ErlbaumDunnette, M., 1976, Handbook of industrial and organizationalpsydiology, Stokie, Rand Mc NallyEdwards, W. y Guttentag, M., 1975, Experiments and evaluations: areexamination, en C.A. Bennett y A. Lumsdaine (eds.), Evaluationand Experiment, Nueva York, AcademicEysenck, H.J., 1978, An exercise in megasilliness, American Psycho-logist, 33, p. 517Faerweather, G.W., 1980, Community psychology for the 1980s andbeyond, Evaluation and Program Plaiming, 3, pp. 245-250Freeman, H.E. y Solomon, M.A., 1979, The next decade in evaluationresearch, Evaluation and Program Planning, 2, pp. 255-262Freeman, H.E. y Solomon, M.A., (eds.), 1981, Evaluation StudiesReview Annual, Londres, Sage, Vol. 6Fischoff, B., 1977, Cost-benefit analysis and the art of motorcyclemaintenance, Policy Science, 8, pp. 177-202Gilbert, J.P., Light, R.J. y Mosteller, F., 1975, Assessing socialinnovar!, --s: an empirical basis for policy, en C.A. Benne« y A.Lumse- (eds.) Evaluation and Experiment, Nueva York, Acade-mic

Gilbert, J.P., McPeek, B. y Mosteller, F., 1977, Progress in surgeryand anaesthesia: benefits and risks of innovation therapy, en J. Bunker,B. Barnes y F. Mosteller (eds.), Costs, risks and benefits of surgery,Nueva York, Oxford University PressGlass, G.V., (ed.), 1976, Evaluation Studies Review Annual, Ber-verly Hills, Sage, Vol. 1Glass, G.V., 1976, Primary, Secondary and meta-analysis of research,Educational Researcher„ 6, pp. 3-8Glass, G.V., 1977, Integrating findings: the meta-analysis of research,Review of Research in Education, 5, pp. 351-379Glass, G.V., 1978, Reply to Mansfield and Busse, EducationalReseardier, 7, p. 3Glass, G.V. y Ellett, F.S., 1980, Evaluation Research, Annual Reviewof Psychology, 31, pp. 211-228Glass, G.V., McGaw, B. y Smith, M.L., 1981, Meta-analysis of socialrtsearch, Beverly Hills, SageGood, D.A., 1971, Cost-benefit and cost-effectiveness analysis: their_application to Urban Public Services and facilities, RSRI DiscussionPaper Series, núm. 47, Filadelfia, Regional Science Research InstituteGuba, E.G. y Lincoln, Y.S., 1981, Effective evaluation, SanFrancisco, Jossey BassGuttentag, M., 1971, Models and methods in evaluation research,Journal for the Theory of Social Behavior, 1, pp. 75-95Guttentag, M., 1977, Evaluation and Society, Personality and Social1Psychology Bulletin, 3, pp. 31-40Guttentag, M. y Struening, L., 1975, Handbook of EvaluationResearch, Beverly Hills, SageGuttentag, M. y Saar, S., (eds.), 1977, Evaluation Studies ReviewAmmal, Beverly Hills, Sage, Vol. 2Habermas, J., 1971, Knowledge and human interests, Boston, BeaconPressHoaglin, J. y cols., 1982, Data for decisions, Cambridge, Abt BooksHornstein, H.A., 1975, Social psychology as social intervention, en M.Deutsch, M. y H.A. Hornstein (eds.), Applying social psydiology:implications for research, practice and training, Hillsdale, L.ErlbaumHouse, E.R., 1977, The logic of evaluative argument, CSE Mono-graph Service Evaluation, UCLA Center for the Study of EvaluationHouse, E.R., 1981, Evaluating with validity, Beverly Hills, SageHouse, E.R. y cols., (eds.), 1982, Evaluation Studies Review

267

Annual, Londres, Sage, Vol. 7Hunter, J .E., Schinidt, F.L. y Jackson, G.B., 1982, Meta-analysis,Beverly Hills, SageJackson, G.B., 1980, Methods for integrative reviews, Review ofEducational Research, 50, pp. 438-460iones, R.R., Weinrott, M.R. y Vaught, R.S., 1978, Effects of serialdependency on the agreement between visual and statistical inference,Journal of Applied Behavior Analysis, 11, pp. 277-283Kelman, S., 1981, Cost-benefit analysis: an ethical critique, Regula-tions, Enero-Febrero, 33.40Kidd, R.F. y Saks, M.J., (eds.), 1980, Advances in Applied SocialPsychology, Hillsdale, L. ErlbaumKidder, L.H. y cols. (eds.), Research Methods in social relations,Nueva York, Holt, Rinehart y WinstonKish, L., 1979, Representación, aleatorización y control, en F. Alvira,Ma .D. Avia, R. Calvo y J.F. Morales (eds.), Los dos métodos de lasciencias sociales, Madrid, CISLandman, J.T. y Dawes, R.M., 1982, Psychotherapy outcome: Smithand Glass's conclusions stand up under scrutiny, American Psycholo-gist, 37, pp. 504-516Legge, K., 1984, Evaluating planned organizational change, Lon-dres, AcademicLeithwood, K.A. y Montgomery, D.J., 1980, Evaluating programimplementation, Evaluation Review, 4, pp. 193-313Levine, R.A. y Solomon, M.A. , 1981, Evaluation research andpractice: Comparative and international perspectives, Beverly Hills,SageL,eviton, L.C. y Cook, T.D., 1981, What differentiates meta-analysisfrom other forms of review, Journal of Personality, 49, pp. 231-236Leviton, L.C. y Hughes, F.X., 1979, Utilization of evaluations: Areview and synthesis, Evanston, Northwestern University for HealthServices and Policy ResearchLiebman, L., 1974, Social intervention in a democracy, PublicInterest, 34, pp. 2-15Light, R.J., (ed.), 1983, Evaluation Studies Review Annual, Londres,Sage,Vol. 8Light, R.J. y Smith, P.V., 1971, Accumulating evidence: proceduresfor resolving contradictions among different studies, Harvard Educa-tional Review, 41, pp. 429-471Lynn, L., 1978, Knowledge and policy: the uncertain connection,

268

Washington, National Academy of Sciences, Vol. 5Mansfield, R.S. y Busse, T.V., 1977, Meta-analysis of research: arejoinder to Glass, Educational Research, 6, p. 3Marshall, E., 1980, Psychotherapy works, but for whom?, Science,207, pp. 506-508McKinlay, J.B., 1981, From "promising report" to "standard procedu-re": Seven stages in the career of a medical innovation, MilbankMemorial Fund. Quart., 59, pp. 374-411McRae, D., 1976, 'The Social Function of social science, New Haven,Yale University PressMitroff, I., 1983, Beyond experimentation: new methods for a new age,en E. Seidman (ed.), Ilandbook of Social Intervention, Beverly Hills,SageMurray, C.A., 1984, Losing ground: American Social Policy 1950-1980, Nueva York, Basic BooksNachmias, D. y Felbinger,C., 1982, Utilization in the policy cycle:directions for research, Policy Studies Review, 2, pp. 300-308Nisbett, R. y Ross, L., 1980, Human Inference: Strategies andshortcomings of social judgrnent, Englewood Cliffs, Prentice HallOlafson, F.A., 1979, The dialectics of action, Chicago, University ofChicago PressOskamp, S., 1984, Applied Social Psychology, Englewood Cliffs,Prentice HallO'Toole, R., 1970, Te organization management and tactics of socialresearch, Cambridge, SchenkmaPatton,M.Q., 1978, Utilization focused evaluation, Beverly Hills,SagePatton, M.Q. y cols., 1977, In search of impact: an analysis of theutilization of federal health evaluation research, en C.H. Weiss (ed.),Using social research in public policy making, Lexington, LexingtonBooksPaulston, R.G., 1980, Evaluation and educational reform, Studies ofEducational Evaluation, 6, pp. 301-327Pelz, D.C., 1978, Some expanded perspectives on use of social sciencein public policy, en J.M. Yinger y S .J. Cutler (eds.), Major SocialIssues: a multidisciplinary view, Nueva York, Free PressPerloff, R., Perloff, E. y Sussna, E., 1976, Program Evaluation,Annual Review of Psychology, 27, pp. 569-594Phillips, D., 1973, Abandoning Method, San Francisco, Jossey BassPopham, W.J., 1974, Evaluation in Education: current applications,

nÍn

Berkeley, McCutchanProvus, M., 1971, Discrepancy Evaluation, Berkeley, McCutchanRaiffa, H., 1968, Decision analysis: Introductory lectures on dwicesunder uncertainty, Reading, Addison WesleyRawls, J., 1971, A theory of Justice, Cambridge, BelknapReichardt, C.S. y Cook, T.D., 1979, Beyond qualitative versusquantitative methods, en T.D. Cook y C.S. Reichardt (eds.), Qualita-tive and quantitative methods in evaluation research, Londres, SageRich, R.F., 1977, Use of social science information by federalbureaucrats: Knowledge for action versus lmowledge for understan-ding, en C.H. Weiss (ed.), Using social research in public policymaking, Lexington, Lexington BooksRich, R.F., 1979, Emerging issues for evaluators and evaluation users,en L. Datta y R. Perloff (eds.), Improving evaluations, Beverly Hills,SageRiecken, H.W. y Boruch, R.F., 1974, Social experimentation: amethod for planning and evaluating social intervention, NuevaYork, AcademicRivlin, A., 1971, Systematic thinking for social action, Washington,Brookings InstitutionRivlin, A.H., 1974, How can experiments be more useful?. , Am. Econ.Ass. Papers and Proceedings, 64, pp. 346-354Rosenthal, R., 1978, Combining results of independent studies, Psydio-logical Bulletin, 85, pp. 185-193Rosenthal, R., 1979, The "file drawer problem" and tolerance for nullresults, Psychological Bulletin, 86, pp. 638-641Rosenthal, R., 1980, Summarizing significance levels, New Directionsfor Methodology of Social and Behavioral Science, 5, pp. 33-46Rossi, P.H., Fre,eman, H.E. y Wright, S.R., 1979, Evaluation: asystematic approach, Beverly Hills, SageRossi, P.H. y Wright, J.D., 1984, Evaluation research: an assessment,Animal Review of Sociology, 10, pp. 331-352Ruttman, L., 1977, Evaluation research methods: a basic guide,Beverly Hills, SageRuttman, L., 1980, Planning useful evaluations: evaluability assess-ment, Beverly Hills, SageSchwarz, J.E., 1983, American's Ifidden Succeu, a reassessment oftwenty years of public policy, Nueva York, NortonScriven, M., 1967, The Methodology of Evaluation, en R.W. Tyler,R.M. Gagne y M. Scriven (eds.), Perspectives on curriculum evalua-

270

tion, Chicago, Rand McNallyScriven, M., 1969, Evaluating educational programs, 'The UrbanReview, 3, pp. 20-22Scriven, M., 1972, Pros and cons about goal-free evaluation, Evalua-tion Comment, 3, pp. 1-4Scriven, R.E., 1974, Evaluation perspectives and procedures, en W.J.Popham (ed.), Evaluation in Education: current applications, Berke-ley, Mc CutchanScruton, R., 1980, Humane education, American Scholar, Otoño, pp.489-498Sechrest, L. y Yeaton, W., 1981, Assessing the effectiveness of socialprograms- methodological and conceptual issues, New Dir. ProgramEva!., 9, pp. 41-56Sechrest, L. y cols., (eds.), Evaluation Studies Review Annual,Londres, Sage,Vol. 4Seidman, E. (ed.), 1983, Handbook of Social Intervention, BeverlyHills, SageSinger, J., 1983, Selection of analytic units in studies of hierarchicaldata, Tesis Doctoral, Departamento de Estadística, Universidad deHarvardSmith, M.L., 1980, Publication bias and meta-analysis, Evaluation inEducation, 4, pp. 22-24Sommer, R., 1973, Evaluation, yes; research, maybe, RepresentativeResearch in Social Psychology, 4, pp. 127-133Suchman,. E.A., 1967, Evaluation Research, Nueva York, SageSuchman, E.A., 1970, Action for what?: a critique of evaluationresearch, en R. O'Toole (ed.), 'The Organization management andtactics of social research, Cambridge, SchenkmaStake, R.E., 1967, AERA Monograph Series on curriculum evalua-tion, Chicago, Rand Mc NallyStrauch,R.E., 1976, A critical look at quantitative methodology, PolicyAnalysis, 2, pp. 121-144Stromsdorfer, E.W. y Farkas, G., (eds.), 1980, Evaluation StudiesReview Annual, Londres, Sage,Vol. 5Struening, L. y Guttentag, M., (eds.), 1975, Handbook of evaluationresearch, Beverly Hills, SageStufflebeam, D.L. y Webster, W.J., 1980, An analysis of alternativeapprocahes to evaluation, Educ.Eval. and Policy Analysis, 3, pp. 5-20Stufflebeam, D.L. y cols., 1971, Educational evaluation and decision

making, Itasca, PeacockThompson, M., 1980, Beneflt-cost analysis for program evaluation,Beverly Hills, SageThorndike, R.L., 1971, Educational measurement, Wáshington,American Council on EducationToulmin, S., 1958, The uses of argument, Cambridge, CambridgeUniversity PressTversky, A. y Kalmeman, D., 1974, Judgment under uncertainty:heuristics and biases, Science, 185, pp. 1124-1131Tyler, R.W., 1949, Basic principies of curriculum and instruction,Chicago, Rand Mc NallyRyleer, R.W., Gagne. R.M. y Scriven, M., 1967, Perspectives oncurriculum evaluation, Chicago, Rand Mc NallyVon Wright, G.H., 1971, Explanation and understanding, Ithaca,Comen University PressVonWright, G.H., 1979, Two traditions, en J . Brynner y K. M. Stribley(eds.), Social Research: principies and procedures, Buffolk, TheOpen UniversityWalberg, H.J. y Haertel, E.H., 1980, Research integration: the state ofthe art, Evaluation in Education: an International Review Series, 4,pp. 1-142Warner, K.E. y Luce, B.R., 1982, Cost-benefit and cost-effectivenessanalysis in health cate: Principies, practice and potential, AmiArbor, Health Admin. PressWeiss, C.H., 1972 a, Evaluation Research, Englewood Cliffs, Pren-tice HallWeiss, C.H., 1972 b, Evaluating action programs: Readings in socialaction and education, Boston, Allyn and BaconWeiss, C.H., 1975, Evaluation research in the political context, en L.Struening y M. Guttentag (eds.), Handbook of Evaluation Research,Beverly Hills, SageWeiss, C.H., 1977, Using social research in public policy making,L,exington. Lexington BooksWeiss, C.H., 1980, Knowledge creep and decision accretion, BeverlyHills, SageWeiss, C.H. y Rein, M., 1972, The evaluation of broad aim programs:dif-ficulties in experimental design and an alternative, en C.H. Weiss(ed.), Evaluating action programs: readings in social action andeducation, Boston, Allyn and BaconWholey, J., 1977, Evaluability assessment, en L.Rutman (ed.), Plan-

272

ning useful evaluations: evaluability assessment, Beverly Hills, SageWholey, J., 1979, Evaluation: promise and performance, Washing-ton, The Urban InstituteWilliams, A., 1973, Cost-benefit analysis: bastard science?, and/orinsidious poison in the body politic?, en J.N Wolfe (ed.), Cost-benefitand cost-effectiveness: studies and analysis, Londres, Allen y UnwinWortinan, P.M., 1975, Evaluation research. A psychological perespec-tive, American Psychologist, 30, pp. 562-575Wortman, P.M., 1983, Evaluation research: a methodological perspec-tive, Annual Review of Psychology, 34, pp. 223-260Wurzburg, G., 1979, What limits the impacts of evaluation on FederalPolicy, en L. Datta y R. Perloff (eds.), Improving evaluations, BeverlyHills, SageYinger, J.M. y Cuder, S .J., 1978, Major Social Issues: a multidisci-plinary view, Nueva York, Free Press

273