de en de13f73c36-2eec-4842-a204... · 2019-01-20 · an&ei!3 de efectimdad en la evaluaci~n de...

AN&EI!3 DE EFECTIMDAD EN LA EVALUACI~N DE P R O G W SOCIALES Y EDUCATIVOS

RIWMW. La raz61-1 última de un proyecto social es solucionar un determinado pre blema. En este sentido, el concepto de eficacia determina el grado en que se alcanzan los objetiva y metas del proyecto en la poblau6n usuaria, en un período de tiempo determinado e independientemente de los costes que ello implica. Por o m parte, y como es sabido, el concepto de eficiencia se asocia a la productividad al reiacionar recursoc con resultados tras convertir todo a unidades rnonemrias.

Tanto la eficacia corno la diciencia con c o n c q m esendes en la evaluacih, pero cuando se quieren determinar en d a fase del pmyeao y teniendo en cuenm las a& vidades y objetivo6 intmdios, resuita n e d o introducir otro concepa: la &vi- dad. S & que la efechMad se coasigue cuawdo la mim5n entre h o@- infcfades y los ~ ~ J % I & s se hace @ha, b cetulsupom ~ l a s y r o ~ ~ q m d z i c e n & h p r l m a las squndos. La e f a d a d se encuentra al observar la realidad de un programa, es decir, al comparar el ideal o esencia de una acción repm=m& por una norma o conjunto de están& pmfesionales con la situación existente o real.

BENEFICIOS DE LA EVALUACIÓN DE PROCESOS

La efectividad requiere considerar tanto la efiacia como la diciencia, es la combina- ci6n & ambos. Sabemos que se puede ser muy eficaz pero sin eficiencia, y mmbitn es frecuente en educacidn ver acciones eficien- tes pero ineficaces, especialmente en temas de atención educativa especializada y de apoyo a la diversidad del alumnado en situaciones de riesgo. Producimos a bajo costo, con poco profesorado especializado, pero no conseguimoc objetiva y nuestro alumnado sigue presentando elevados índices de fracaco al tiempo que nuestra enseiianza si-

gue descompensada y despersonalitada. Analizar la efectividad supone, pues, valorar 10s pmedimienrn que condicionan la reIaci6n entre resultados y objetivos (b hen y Franco, 1993).

Por tanto, la efectividad viene determina& por los procesos y aunque el término proceso mantiene un signifiado absoluta- mente intuitivo, conviene destacar que los sistemas de control de la calidad derivados de concepciones empresariales, han re- marcado en 10s sistemas socides el llamado .valor añadib. Podríamos tratar de ratonar la relaci6n existente entre los p r e s o s y las actividades o ddilxrar si el énfasis de éstos

(*) Universidad de Ovido.

Re&m & .&kcacidn, n h 324 (20011, PP. 317-339 Fecha & entrada: 09-12-1399 Fecha de acepación: 17-02-2000

en un programa social y educativo debe ponerse por igual en el cumpliiiiiento de objetivos o en la consecucibn de logros o resultados, pero consideramos que ia asig- nación de valor a dichos procesos hace su- perflua cualquier disquisicibn tedrica. En Grminos & evaIuaci6n, consideramos que asociar procesos con el vdor que aiíaden sus actividades constituye un adecuado indicador de medida.

Los enfoques de control de la calidad entienden por proceso el conjunto de actividades enc&dm que v m afiudiendo valor, y que permiten lograr, en e1 caso de la educacidn, la formación del alumnado y la prestacidn de los servicios que ofrece el centro edumtivo, tales como comedor, trans- porte, actividades complementarias, etc. Los procesos se caracterizan también por su di- námica: tienen una entrada y una saIida, pueden tener subprocesos o formar parte de un macroproceso, y todo ello se repre- senta mediante diagramas de flujo y sím- bolos que reflejan sus actividades. El manual de procedimientos de un programa u organizacidn que funcione bajo el modelo de la calidad suele reflejar en deta- lle todas sus actividades y diferenciar los procesos en dos grandes categorías: opera- tivos y de gestión (Fernhdez e Iglesias, 1997). Los primeros son esenciales en la prestacidn de un servicio: tienen una re- percusi6n dirtcm en la calidad y han sido tradicionalmente objeto de rnedicidn y control en educación. Nos referimos a los procesos didácticoc o de desarrollo curri- cular, diagn6sticos, de intervención correc- tiva o terapeútica o de orientación para la carrera. Los denominados procesos de ges- tión, si bien no influyen en la calidad d d servicio o producto, tienen un enorme po- tencial de mejora de la eficiencia; de ahí que se estime su valor, como en el caso del modelo europeo de gestidn de la calidad, hasta en un 36% de la puntuaci6n total.

Aunque siempre se ha considerado una parte fundamental de la evaluación, la importancia del análisis de procesos ha co-

brado un enorme auge debido a la complejidad que hoy tienen los programas educativos y sociales, al construirse sobre una amplia base comunitaria t intentar responder a las demandas de colaboración e integraci6n de servicios, Por este morivo, las diferencias de los distintos proyecbs adscri- tos a un mismo programa requieren también la valoracidn de sus actividades de acuerdo al contexto en que se desarrollen.

la evaiuaci6n de procesos consiste en ve- riíiar las acciones prwistas por el programa y los tiempos de paso o mdosisn de actividad realizados, y se organiza a p2irtir de la docu- menta&~~ generada por estas actividacia durante el desarroiio de una intervencidn.

De acuerdo con McGraw y col. (13961, la evaluacibn de procesos detalla 10s componentes de la intervencidn, c6mo fueron organizados y de qué forma los recibieron los usuarios. La infomci6n que se obtiene de la Evaluacidn de Procesos refuerza la validez del programa al poner de mani- fiesto sus señas de identidad y justificar su posible consideracidn de excelencia o de =buena práctica..

Para Scheirer C1987), la verificacibn de actividades y de componentes, debe ser contrastada con la teoría del programa, que sugiere los componentes de este que deben ser analizados, y el que. debe poner en funcionamiento el programa. Tam- bién deberá tener en cuenta la teoría del proceso de intervenci6n o uimplementauón~ del programa, la cual sugiere los componentes de1 sistema social que deben ser analizados para expiicar el nivel de funcionamiento de los procesos, es decir, el d rno y el por- quQ del desarrollo del programa.

Esta misma autora defmía más reciente- mente (Scheirer, 15%) la evalusia6n & procesos como e l uso emphico & datos para valorar el desarrollo de programas, vehñcar lo que hace y si su evolución se corresponde con el diseño y los momentos previstos=.

Holden y Reynoldc (citadoc por McCoy y Reynolds, 1998) caracterizan la evaluacidn & procesos por la asociaci6n de tres cues-

tiones, referidas a su eficacia, su eficiencia y su efectividad, o interaccidn entre ambas. Según estos autores las evaluaciones de procesos responden esencialmente a las preguntas:

¿A qué nivel responden los servicios del programa a la poblaci6n referi- da en el diseño? iContempla la implemenmci6n aque- Uos servicios y recursos que resultan claves para el éxito del pro-

m ¿Qué variaciones de servicios y de gestión se aprecian en los diversos contextos en que se desarrolIa e1 programa, y c6mo afecran las diferencias a Ia cobertura de servicios ofertados por este?

Es esta última cuestidn de interaccidn o efectividad la que permite conocer múl- tiples aspectos o factores de explicación tliferencial; por ejemplo, los componentes más relevantes del programa para la diversidad de población participante, la relaci6n entre factores internos y externos, la pre- paración de los profesionales en las diferentes unidades o lugares de aplicacidn, etc. Esta posibilidad de comprender c6mo trabaja un programa permite, en suma, el desarrollo de procedimientos adapcativos y la implementación de procesos de ajuste fino en la estandarizacien de programas de intervencidn (Rossi y Freeman, 1993).

Pdemos decir igualmente que evaluar procesos es una manera ck documenmr la secuencia de sucesos que conforman un programa, y que el valor añadido por Ia in- formación documental de esos sucesos debe conseguir explicar los efectos del programa. Esto protege de los denominados errores de tipo IIb, al demostrar que los resultados se deben a las actividades reaiizadas por el programa y no a otros sucesos cspúreos.

Otro gran beneficio de una evaluaci6n de procesos se observa cuando se necesita justifkar la ausencia de efectos de un programa, ya que el a n W i de sus componentes pemite, en muchos casos, determinar si las

razones de la escasez de efectos se deben a la teoría del programa, a una aplicaci6n no adecuada, a incorrecciones en el dise- ño de investigaci6n o a la cornbinaci61-1 de éstas.

La posible replicación de programas y el intercambio de informacibn sobre procesos de 6xito en la implemtntacidn de un programa, permite considerar tam- bién como beneficio el hecho de analizar y valorar un programa mediante la cola- boracibn entre evaluadores, responsables de su implementacion y demás participantes implicados. En este sentido, es sabido que los procesos de innova- ción social y educativa no responden a un conocimiento simpIe de resultados, sino que son los profesionales quienes, al transmitir los procedimientos y comuni- car a otros sus apreciaciones sobre el proceso o desarrollo, consiguen la difusi6n de prácticas y la mejora de acciones.

No obstante, realizar evaluaciones de proceso tiene aspectos delicados:. el angli- sic de información confidencial debe estar sujeto a criterios tticos; los métodos de recogida de informaci6n no deben ser i n a - sivos ni condicionar los resultados del programa; la evaluaci6n de procesos debe ser apreciada por los participantes como una actividad más del programa y no como un control. Todo esto permitir2 una recogida de informaci6n más signi£icativa que pueda llegar a jusrificar un resultado.

Los fallos más frecuentes en las evaluaciones de programas se aprecian por no reflejar adecuadamente los uvalores= de las audiencias y por la carencia de referencias procesuales que la hagan práctica y útil (Newman y Brown, 1992). Estos autores asocian estas anomalías con la falta de credibilidad, por la carencia de experiencia de muchos evaluadores para realizar valo- raciones de procesos, lo que ocasiona a veces errores metodolbgicos, como la esti- mación de informacidn irrelevante pero fá- cil de recoger o la indicada falta de garantia en la confidencialidad.

E S T ~ D A R E S Y HOLKMO EN LA Hablamos de metas, unidades, tratamien- MEDIDA DE PROCESOS m, funciones, aiterios, -das, produao~, m-

Las autoridades sociales utilizan con dema- siada frecuencia las evaluaciones de sus programas de forma incorrecta e incluso en algunos casos, son usadas como #deter- gentes. para lavar programas mediocres y acciones fallidas que se encubren bajo eti- quetas nacionales e internacionales de campañas sociales con abundancia de fon- dos y subvenciones.

Cuando Guba y W I n (1989) propusie- ron la evaluaci6n de 4 generación, enfatiza- ron la importancia de los participantes implicados en el programa. Su episternologia asumía el constructivismo y el paradigma posmiodmo en su afán por que los evaluadores comprendieran, en relación con los participantes, cómo funciona un proyecto y bajo que condiciones, por lo que @a ser considerado como una vacuna conrra Ios abusos y secgos de ciertas evaluaciones. La evaluaci6n de generación animó tambih a la participaci6n en la consmcciiin de criterios y presentó al evaluador como un consultor, un faciliimdor, un apoyo, rechaaando al expato, tknico, fiscal o inspector.

A d e d , la unión entre una necesidad de perfeccionamiento institucional y un modelo sistémico de análisis de evidencias requiere un enfoque conceptual, el -cemente que brindan los profesionales con sus inten- tos de mejora permanente de los servicios ofrecidos a sus usuarios. En este sentido, los estandares profesionales pueden enten- derse como los -1adnllos~ necesarios para dar consistencia al edificio proyectado. Así, desarrollar y aplicar normas o estándares profesionales constituye una garantía conm las evaluaciones incompetentes o corruptas.

Cuando hablarnos de normas o están- dares nos estamos refiriendo a uno de los constmctos más extendidos en evaluacibn, entendiendo por dconstructon aquel concepto estable y ampliamente manejado que muestra Ias reIaciones de funcionamiento & un programa (Stake,19971.

tecedaites, ~ l m d o s , tlamciones, etc. Todas ata cmmructos nos permiten estructurar la teoría de k evaluación y llevarla a la práctica y qui&s sea la denominaci6n de estándar la más ampliamente asumida por los autores que teorizan y/o practican la evduaci6n de programas, aunque no todos quieran exprem lo mismo con dicho térmho.

En la Enciclopedia de Husen y Pos- dethwaire (1985) se define estándar como el grado ak excelencia requedo para de- teminados pmpbsitos, como unu medida de lo que es adecuado, como el nZwI de funciomm2nto social y profesionalmente desedo. En Educacien ha sido descrito como la especificacidn de un nivel deseado de logro de contenidos y de rendimien- to (Husén y Tuijnman,l994).

Stufflebeam (19971, considera los es- tcindares como #principios ampliamente compartidos para determinar el valor o calidad de un servicio profesional- y nosotros, al hablar de normas y estándares de calidad en referencia a programas sociales Perrdn- dez e Iglesias, 1997), los hemos considerado igualmente como +normas profesionales o principia acordados para contrasmr la calidad de la práctica profesional..

Hablar de estándares supone valorar el funcionamiento de un sistema social en confrontaci6n con el nivel profesionalmente deseado y constituye un enfoque de gran solidez en la evaluacidn de programas aunque no este exento de cierta con- troversia metodol6gica.

E1 enfoque de estándares profesionales se sitúa dentro del modelo criterial pre- conizado por Scriven, para quien el análisis del funcionamiento de un programa, al ser contrastado con cntenoc especí- ficos, informa mediante una síntesis final de los aspectos de calidad que sustentan al programa (Scriven,l99$). Para este autor, el procedimiento evaluador consiste en identificar los elementos a valorar, en desa- rrolIar estándares apropiados, en juzgar el

funcionamiento de los aspectos idenufica- plean metodolog5a cuantitativa y cualitati- dos en relación a esos estándares, y en re- va y asumen su dependencia de valores y sumir los juicios sobre los componentes sesgos, lo cual no evita la consideracidn, del programa hasta determinar su calidad a por los dos enfoques, de que la evaluación la luz de los estándares. constituye un servicio a la comunidad que

Aunque la esmtegia aiW evita la s u b debe ser potenciado y mejorado. jetividad al homologarse con esiándares que suponen consenso profecional en una determinada áreaa desde el PO-- UN MODELO DE ESTANDARES DE no propugnado por Y sus PROCESOS: EL ENFOQUE OTL EN se previene contia el hecho de que el evalua- P E D A G O G ~ DE LA D M S I D ~ dor pretenda un juicio aséptico e independiente, al margen de la comprension que proporciona el contexto. ~dernás recuerda ~1 constructo OTL (Oportunity TO Learn) que los estandares, bien sean formulados por fue introducido por la Asociacibn Interna- q m t o s o por consenso de gmpos profesi* cional para Ia Evaluaci6n del Rendimiento nales, con constnicciones humanas sujetas a Educativo para describir ciertos procesos sago al dar prioridad a los aspectoc más arti- educativos y poder determinar en qué me- culados u ordenados del programa. dida las diferencias de rendimiento se de-

En nuestra opinidn, el desarrollo de la bían a las capacidades del aiumnado o a metodología de estándares en estos ÚIti- las experiencias, disponibilidad y uso de mos años ha conseguido incorporar en esa recursos escolares (McDonnell,l995). -síntesis final. indicada por Scriven los El empleo de indicadores de resulta- planteamientos holistas, interpretativos y dos basados en el rendimiento individual situacionales que presenta Stake en su del alwnnado, los logros de los cenms es- concepto de evaluacidn de procesos me- colares y su utiljzaci6n para el control esco- diante .sintesis envolvente- (Stakc y col., lar, la sanci6n o la asignación administrativa 197). la formula consiste en incluir a los de recursos, presuponen la existencia de participantes en gmpos de discusión o pz- un sistema educativo que proporciona las dirles que revisen y respondan a los datos Y correspondientes oportunidades para que resultados emergentes (véase d proceso de el alumnado consiga los resultados espera- validacibn denominado mber-cbekip1g dos. De esta forma se espera que el nivel demito por Lincoin y Guba, 1985) y el orga- de logros del alumnado dependa funda- nizar evaluaciones compartidas entre mnsul- mentalmente de los esfuerzos realizados tores internos y externos al programa. por el centro educativo.

Adeds, como luce ver Mabry (19981, Pero la crítica a este planteamiento es el enfoque criterial idenufica e incorpora el muy clara si consideramos las evidencias que sesgo en su proceso de evaluacibn, pero el demuestran la desigualdad en la distribución análisis holista mmbitn lo mantiene inhe- & los recursos educativos y el acceso al c e rente a la complejidad del juicio humano y nochiento. En este sentido, se puede com- al ejercicio de la crítica rigurosa. probar cómo las investigaciones sobre

También Stufflebeam (1997) acerca es- minorías y diferencias curriculares @dd, ms dos posturas, la de estándares profesio- M. y -l., 1997; Oakes, J. y Guiton, G., 1999 nales y la postmoderna, haciendo ver que corroboran lo apreciado en muchos & nues- ambas consideran que los evaluadores de- mis centros, en los que puede asociase fád- ben ayudar a los promotores de la evalua- mente el estatus social con el tip de materias cien a comprender los resultados mediante optativas de la enseñanza secundaria, con los hechos más relevantes. Ambas em- el grado de acceso a ordenadorec o labra-

tonos, o conla exismdadedasessqpp- d a s b a @ ~ & ~ 6 n ~ , @+idoresi, *garantía d., 4poyo de ám- bibS etc.

Por desgracia, no es frecuente que la admhimad6n educativa valore el impacto mn negativo que tiene el controlar la efica- d a de un c e m en funcibn &lo & los lo- grqc del alumnado (por ejemplo, el nivel de aprobados en la s M v i d a 8 , y la des mohci6n que puede pmducu en los centros y el profesorado que se ve p&do por el m m hecho de trabajar con alumnado en daventaja y riesgo social. Tampoco resulta sufidente considerar que un modelo de gesti6n de la caiida'd como el WQM, por el hecho & mantener un estandar y seis criterios elementales relativos a procesos & organizacibn escolar, sin contemplar para nada la dimensidn educativa básica de enselianzaaprendizaje, pueda considerarse como mecanismo váiido para detemilliar la ncalldad & un centro educativo, sin contemplar para nada la dimensi6n educativa básica de enseñanza-apdje.

Es ampemhie que ante 'esta situaci6n haya quien mte & desarrollar ciertas normas o estándaes que @tan i-car el nivel de oportunidad & aprendtzaje que presentan los cenw esoolares, c0nsiderEui- dose loB estádares OTL como el critdo M- sic0 para valorar Ia suiEencia & calidad & los i.ecursos y condiciones que resultan necesarios en cada nivel del sistema educadvo (oenrros, muniaph, comunidades y estado) para que tab alumno y alumna &ponga de la correspondiente oportunidad para aprender el rna& cunicular de su comunidad educativa (Guiton y Oakes,1999. in-

. cluso hay quien ha ido m& alla y, hadendo uso & la conceptdimci6n impllcita en la OTLdequeeldumnado no debafasereva- luado & aquellos conodmientos sobre los que no ha dispuesto & una adecuada oportunidad para su aprendizaje, ha plantea& incluso c o d i i c ~ lepies (ver el caso judicial denominado ~Debra, P. en Mc. Donnell, 1995, p. 315).

Establecer a nivel local o regional un sistema de estándares OTL no supone nin- guna dificultad según lo iridicado por Schwartz (1999), quien considera que de- berfa ser exigible para la waiuacion de cualquier programa o centro escolar. Como estrategia & carácter informativo recogemos los siguientes estándares OTL enunciados por diferentes autores ( M e s , 1989; Smith & Day, 1993, NCEST, 1992, SPPEI, 1991, Darling-Hammond, 1994 , Jackson, 1993 y Berry, 1993. (Citados por Schwartz. 0p.cit.):

Acceso a materias educativas: todo alumno y aIumna &be poder acce- der a materias que le permitan conseguir los conocimientos y logros escolares previstos por su currleu- lum y que le proporcionen una buena oportunidad profesional. El curridum de un centro &be in- &ir los conrenidos & las programas ofidaies & las respectivas materias; debe estar coordinado con otros progamas formativos, reflejar las situaciones de la vida real, presentar los materiales en un contexto relevante p el alumnado y mantener- se Wre & sesgos y valores ocultos. Tiempo escolar el p d d debe

- emplear y disponer dcl tiempo apro- piado para presentar el contenido &I programa. El alumnado &be te ner, individualmente, tiempo suficiente pam aprender los contenidos previstos. Los centros deben poner énfasis en los elementos más importantes del currículum~mediante la a s i ~ d e m á s t i ~ d e c l á s e , y disponer de tiempos para que el alumnado realice sus tareas escolares en el centro.

o Competencia del profesorado: la formaci6n inicial y permanente del profesorado &be conseguir que los contenidos y las técnicas & enseiianza sean adquiridos sigdicativa- mente, poniendo especial Cnfasis

en los contenidos de las diferentes materias curriculares y en las estrategias a utilizar con poblaciones de estudiantes diversos y con esti- los de aprendizaje diferentes. Recursos escolare% los centros educativos dekn disponer del dciente espacio físico para acomodar con seguridad a todo el alumnado, así como ofemr el número adecuado de profesorado y aulas para asegurar una ratio 6ptima. B alumnado &e paseer la correspondientes libros de texto y clemh renucoc eduativoc. a profeso- racb&disponerdelneceaiomate nai, dempo, =pb - y apoyo t h h par;i preparar las cIases y aten- der a su A i l o profahal. Los centros deben plantear prioridades cumculares, hacer lac asignauones de profesorado que resulten más adema- das para el alumnado y proporuonar- le los apoyos requeridos.

e Medio y cultura: el edificio escolar deberá permanecer limpio, a salvo de riesgos y en buen estado de con- servación. Ei centro debe fomentar el aprendizaje y mostrar su interés por el bienestar del alumnado, pro- moviendo el respeto a la diversidad y protegiendo al alumnado de la discnminaci6n. Profesomdo y alumnado deben mostrarse respetuosos unos con otros y sentirse a salvo de posiblec actos de violencia. Servicios complementarios: los centros educativos y las comunidades sociales deben mantener un enfoque global en lo que respecta a la salud y las necesidades de servicios sociales para el alumnado. Las di€e- rentes acciones deben incluir vacu- naciones, servicios de salud física y mental, protección contra la insegu- ridad y la viokncia, el abuso de

sustancias y la orientación sexual. Las comunidades escolares deben propiciar que el profesorado, los orientadores y otros profesionales con funciones de apoyo escolar m- bajen en colaboraci6n para conseguir que los servicios disponibles se adap ten a las necesidades del alumnado.

DOS EJEMPLOS DE INSTRUMENTACI~N PARA LA EVALUACI~N DE PROCESOS

La identificaci6n de necesidades educativas especiales en el contexto del aula y la familia es el modelo que sigue Ysseldyke (Ysseldyke, Christenson y Kovaleski,l994) cuando desarrolla su sistema de análisis de ambientes de enseñanza. No s61o describe una valoracien diagnostica del alumnado, sino que evalúa prescriptivamente su estilo y contexto de aprendizaje.

Desde un modelo de colaboraci6n entre profesionales, identifica 12 estándares d e procesos de aprendizaje y cinco de apoyo familiar que pueden considerarse bgsicos para analizar medios y situaciones de aprendizaje1.

Medio escolar:

1. Organizacidn de de ensefianza.+ las necesidades del alumno son anali- zadas con precisi6n y la enseñanza se organiza de acuerdo a los resultados del diagnóstico pedagógico.

2. Expectativas del profesorado: las expectativas hacia el alumno sobre la cantidad y calidad de trabajo escolar a r d z a r por éste con realistas, elevadas y se le expresan clara- m e al alumno.

3. Medio escolar: las tecnims empleadas para el control y dirección del aula son eficaces para el alumno;

existe una amtkka positiva y de apoyo, y el tiempo es u-& pro- ductivamente.

4. preSsnikxk5n ds la unidad de en- setara-Je: e1 trabajo escolar se presenta de forma ciara y efectiva; ias insmiociones contienen suficiente informacibn para que el alumno comprenda loB com- porrami- o habilidades quede- ben ser demostrados, oontrolando el alumno dicha comprensi6n.

5. EnfasBs c o g n W : las habiiidades & estudio y las estrategias de aprendizaje requeridas por los aprendizajes asignados le son co- méados al alumno.

6. Hsim&@as r n t h z k m a k se em- plean estrategias eficaces para au- mentar el interés y el esfuerzo del alumno.

7. Pr$c&as rei%x.mm: se proporcio- .na al alumno la opomnldad de trabajar con los materiales necesarios para consegufr buenos resultados. Los ejercidos de clase son adecuados para ei logro de las metas de aprendizaje.

8. Informwkh el alumno recibe, de - forma inmediata y específica, In-

formacidn sobre sus logros y/o c o m p o ~ e n t o . Cuando comete errores se le propordona la opor- tuna actividad corredva.

9. Tiempos de trabajo escolar: el alumno se mantiene activo en re- lación con el contenido & la unidad; el profesor controb el nivel & actividad y reconduce al alurn- no cuando se distrae.

10. B m w a4apiWh-z el currícu- lum se modifica a l objeto & dar respuesta n las necesidades especí- ficas del alumno.

11. Valoracidn de progresos: existe una valorad6n directa y frecuente de1 progreso del alumno hacia la consecucián de los objetivos de

aprendizaje; se utiliza la informa- u6n sobre los logros y pmgma del alumno para pladcar la con- tinuaci6n de la enseñanza.

12. Ccmpmsfh del drcmna el alumno demuestra una adecuada com- prensi6n de lo que &be hacer en el aula y de cómo debe hacerlo.

13. ~~ycs t r lbLscboraes - q- m t i v a s e i e m d a s y ~ s u b r e e l trabgio escolar le soh expmda~ al muchacho y se pone édMs en el esfúefzo durante el trabajo escolar.

14. Normas: se mantiene un enfoque de normas de comportamiento basado en la autoridad, ni pemii- sivo, ni autoritario y el muchacho es observado y supervisada por su familia.

15. Afectividad del medio familiar: la relaci6n familia-muchacho es generalmente positiva y refor- zadora.

16. Participación de la familia: se aprecia un medio familiar educa- dor y participan en la escolaridad del muchacho.

17. OqanizacC6n familiur: la orga- nización y las rutinas cotidianas facilitan la realizacidn de tareas escolares y se apoya el aprendizaje del muchacho.

Dos características & este modelo son: El estándar se hace operativo me- cüante una relaci6n & indicadores que permiten tomar una decisibn basada en elementos objetivos. La expresi6n de valor es doble, presencia e importancia, siguien- do ia llnea de wloracibn de discrepancia entre dos apreciaciones, una externa y otra interna, una objetiva u observable y la oua subjetiva u opinable. Esto permite contex- tuaIizar o reIativizar la presencia

del estándar por comparaci6n con el segundo componente, la importancia.

ESTANDAR 2. ~~pectata'vas &l profesorado: las expectativas hacia el alumno sobre la cantidad y calidad de trabajo escolar a realizar por &te son realistas, elevadas y se le expresan claramente al alumno.

Decide teniendo en cuenta si: Los objetivos de las lecciones informan al alumno de lo que debe hacer y aprender.

e 'Las expectativas se basan en el nivel actual de Iogro del abmno. El alumno comprende las expectativas que mantiene el profesorado sobre el trabajo a realizar. El alumno comprende cómo demostrar dominio sobre los objetivos de aprendizaje. El alumno tiene la oportunidad de responder activamente. El alumno se considera responsabIe del trabajo asignado.

E1 número de indicadores puede ser mucho mayor, seg6n la complejidad de procesos que induya el estándar.

ESTANDAR 4. Presentcacidn de la Uni- d& de EmWaanza-Aprendizaje. E1 trabajo escolar se presenta de forma clara y efectiva; las instrucciones contienen suficiente información para que el alumno compren- d;t los comportamientos o liabilidades que deben ser demostrados, controlándose dicha comprensi6n por el alumno.

Decide teniendo en cuenta si: Presenmión de contenidos

- Se centra la atenci6n del alumno durante la presentacibn de contenidos.

- Se controlan las habilidades o contenidos previos requeridos por e1 alumno.

- Los contenidos son relevantes para la experiencia del alumno.

- Se especifican y rawnan al alumno las metas instructivas.

- se prop&nan suflcienm explia& nes al alumno @. ej., áemamión, m e defado o uso de ejemplos comtosl.

- El alumno participa de la relacidn profesoríaiumno o alumno-alumno al aprender habilidades.

EXP*A7iVAS DEL

PROFESORADO

Presencia

I m m c i a

- El alumno recibe suficiente orienm- ci6n pdctica antes &I trabajo independiente.

- La informacidn se organiza con una estructura sistemática (p.ej., organizadores avanzados, revisio- nes, prácticas dirigidas o inde- pendientes).

- Los contenidos se presentan a un ritmo que resulta adecuado a1 nive1 atencional del alumno.

Se ensaya la inforrnaci6n y procedimientos y se reelaboran los concep- tos de la unidad. Se proporaona informaci6n escrita y oral en un lenguaje que resulte senci- llo para la c o m p d 6 n del alumno, de una longitud adecuada y en S&-

ciente número & repeticiones. La aknción del alumno es dirigida a la información dada y a los atributos esenciales de la tarea.

Muy de

Control de la comprensión del dunano

- Se comprueba regularmente la com- prensi6n de Io enseñado en el alumno.

De acuerdo En desacuerdo Muy en Desconocido

- Se controIa & forma activa el logro del alumno antes del trabajo independiente y durante los primeros cinco o diez minutos de Ia realiza- cibn de actividades en el pupitre.

- El alumno conoce cbmo solicitar ayuda cuando se confunde. - La comprensión &I alumno es con- .trolada analizando sus respuestas y/o pidiéndole que las explique.

G ~ ~ . ~ D E I N ~ ~ ~ ~ N ~ P A L L A PERSONAS CON DISCAFAUDAD

La Guía & integracibn laboal para personas con discapacidad (Fernández e Igle- sias,l997) constituye otro ejemplo de evaluaci6n de procesos mediante el desa- miio & estándares e Indicadores.

Como se indica en el documento, el desarrollo de un sistema de *dares está influido por numerosos factores reiaciona- dos entre SI, como las consihdones de caracter políticu, w c o y pl%ctico, y los m- nwhientos & investi@ones o de los profesionales que desamiian los indicadores. Por d o d t a necesario establecer unos al- krios que guíen la elección, el desumllo y la valoracibn de l a estándares @. 27).

La naturaleza e importancia de estos criterios varia'según el nivel de la aplica- ci6n (nacional o loca0 de los estándares, la línea polfdca, el contexto social, etc., pu- diendo señalar como más frecuentes: la relevancia política, la comprenslvidad, es de&, pocos y disponibles durante un pe- ríodo de tiempo aceptable, la procedencia de trabajos de invesdgad6n contrastados por la accibn, así como la validez y la via- bidad relacionadas con el coste.

El desarrollo de indicadores en esta Guía ha sido escrupuloso a la hora de adoptar un procedimiento que tudera en cuenta los criterios más convenientes para dar validez al proceso. Estos fueron:

Asegurar que todas las instituciones participantes estuvieran repre- sentadas con el fin de ~oder contrastar la validez del Sistema de estándares e indicadores. Adoptar un enfoque consensuado entre los profesionales para elabo- .m, valorar y definir los indicadores que concretan cada estandar, así como su proceso de aplicación.

m Facilitar el acces0.a la elaboración y aprobación de indicadores de todo aquel que pueda aportar informa- ción relevante.

+ P h c e a r indicadores en torno a todos los niveles de autoridad del sistema (distrito social, autoridades locales, m.). E n l a m r h ~ c r > n e l ~ &cada~d6nyconsus*os.

' a Incluir indicadores relacionados no &lo con profesionales, sino también con procesos de gesti6n, so- dales, afectivm, cogniaktos, etc. Cubrir los procesos sociales y/o profesionales más significadvos de- sarroiiados en las instituciones. Establecer demostraciones del uso & los indicadores con ;e1 fin & presentar su contribuci6n a la toma & decisiones del programa.

~ e n C u a c f r ú I u n e j e m p b & uno de los estándares & la Guía en el que se puede obsen%r la mmra descrita.

CUADRO 1

1, ESTANDARES DE GENERALES ORGANIZACI~N DEL PROGRAMA FACTOR I.A.: DIRECCI~N DEL PROGRAMA

ESTANDAR I.A.4. La organización establm acuerdos de mordinacih con otros programas, proyectos, centros, instituciones, organismos o empresas, con el fin de asegurar una atenci6n completa y continuada a sus usuarios.

VALORAU6N INTERNA LCumpi* u propvhn hr mdlap

y acribnn do1 Irdlpdor?

a. Fijacidn de politicas comunes de actuaci6n y resolucldn de problemas compartidos con las entidad- privadas y públlcai qw -1 actúan en la localidad. Medidas y accfdms a vaiomr: O Existencia de un mapa de reairsos relacionado con las actividades del centro

en el entorno próximo. O Tipo de mecanismos y vías de comunicación establecidas. O Número, tipo y finalidad de los awerdos establecidos. O Características de las instituciones o entidades cswi ias que se establecen los

acuerdos.

b. Establecimiento de mecanismos de control y seguimiento de la coordinación. Medidas y aecioms a valonr o Existencia de misiones de seguimiento con representación de cada una de

mEPI las inti-luciones implicadas.

O Fijación de calendarios de reuniones. Exjstencia de sistemas de evaluación sobre el wrnplimientu de bs acuerdos.

c. \laloración comparativa de la actividad con la ' de otras organizaciones del entorno (munlclplo, zona, regi6n) con expresión de ratlos slgnlftcatlvas. M i d a s y acciones a valdmr:

EBEl 0 Mbtodos de obtsnudn de información acerca de las aetivldades de las

organizaciones del entorno. 0 Tipo de raiiis utilizadas.

VALORACI~M EXTERNA

OBSERVACIONES AL EST MDAR I.AA

PRINCIPIOS Y T~CNICAS DEL ANÁLISIS DE EFECTMDAD

Hasta este momento hemos expuesto algunos de los beneficios de las waIuaciones de procesos y argumentado a favor del doble enfoque holista y sintético. Hemos ha- blado de la importancia del análisis de procesos por su condicionamiento hacia los resultados, como en el caso del OTL, ejtmplificando además con instrumentos de valoracidn de procesos socioeducati- vos. La cuestión que abordamos ahora es @mo conseguir que esos estandares, normas o principios, sean aceptables y vaili- dos? Algunas de las estrategias para conseguir que el modelo de evaluación de procesos que propugnamos presente la necesaria validez son las siguientes:

m C A S DE CONSENSO

La elaboraci6n de normas o estándares requiere consenso y éstas deben representar bs diferentes wuntos de vista existentes sobre un procek social. Una vez establecido ' el consenso, los estándares se hacen deposi- tarios de la credibilidad que supone haber10 conseguido (Stufflebeam, 1997, p. 773.

De entre las tknicas de consenso re- saltamos el procedimiento Delphi por ser menos utilizado que los procedimientos de triangulacidn o los paneles de sintesis y grupos & discusidn.

Esta técnica fue originalmente formula& en los anos cincuenta para ser usada en temas de organizaci61-1 en investigación tecnoldgica y a partir de los setenta se aplica a la pmcaci6n y evaluaci6n de programas sociales. Se define como un medio de obtener el consenso de un grupo de personas y se' caracterita por la forma de organizar la comunicaci6n en el grupo, consistente en la elaboraci6n previa de la información mediante paneles de expertos y después, la aplicacidn de un procedimiento recumnrc de valoraci6n y razona- miento de respuesms por los participantes

hasta conseguir el nivel de consenso pre- derceminado.

Podemos hablar de tres aspectos importantes en la técnica Delphi:

Anonimato: los participantes en la consulta Delphi no conocen la identidad de los demás participantes, lo que les permite expresar su opinidn y cambiarla sin la presión de la negociaci6n presencial y la in- fluencia de los diferentes estatus profesionales. Control de la informacián: el procedimiento de devolución de la ínfor- maci6n garantiza s61o el uso de la informaci6n relevante, evitando la confrontacidn por cuestiones irrele- vantes para e1 esrablecimiento de acuerdos. Consenso estadístico: 10s participantes en el estudio reciben valora- ciones numéricas que indican el nivel & acuerdo o desacuerdo conseguido en la anterior fase de consulta, pidiendose la justificacibn de los valores discrepante con el grupo.

El supuesto que subyace en la técnica Delphi es que la informaci6n numérica ofrecida a cada participante en las sucesivas consultas permite a mda uno ia recon- sideracidn de estimaciones anteriores, generándose de esta forma un mayor consenso. Para 410, la informaci6n que se presenta a los participantes en las sucesivas consuitas incluye un valor estadlstico dc las respuesms dadas.

El criterio que se utiliza para la conclu- sidn del proceso es el logro de la conver- gencia y estabilidad prevism. Esto supone conseguir un determinado valor, con un rango o dispersi6n que indique conver- gencia de opinidn, y por un número significativo de participantes.

El estudio sobre Estdndares profedo- naks de i n Q r d ó n hbod comentado an- teriormente, nos permite ejemplificar un procedimiento de aplicación & esta ecnica.

Con el fm de anaiizar el nivel de acuerdo entre los tecnicos y responsables de programas de integracidn laboral de personas con discapcidad sobre el hnci-en- to normativo bhico de estos programas, fueron elaimradm 52 estádam por un panel WCO, que se somerieron a consulta de un grupo de 50 participantes que repre- sentaban a instituciones sociales, agencias y

asociaciones de personas con discapauáad de Ias diferentes comunidades autbnomas.

El instrumento empleado para recoger la informacidn de la primera consulta Delphi estaba compuesto por eI listado de estAndares y un cuestionario para valorar la relevancia o importancia intrínseca, así como el peso relativo asignado a mda es- tdndar en su factor correspondiente.

Se incluía también un apartado para recoger las propuesms de modificacidn que se considerasen owortunas.

NORMATNA GENERAL DE ORGAKEAQ~N DEL PROGRAMA

"'M"* "' ( Peso ~Iglmdo (%) estandar (1 a 9)

DIRECCI~N DEL F ~ R O G ~

EST&DARlB GEMERALES DE ORGANIZAQ~N DEL PROGRAMA

pVecci6n del ?roerama

Equipo tecnico cualificado Acuerdos de coordinaci6n ~ ~ 6 n de las fuentes & íinanciaci6n

TOTAL

Vd c'6 "c'al m

--

100.00

E1 segundo instrumento & la encuesta Delphi se elabord u ~ a vez conluido el a&- sis de los datos & la primera consul~. En este m, cada participante recibid un nuevo listado de estindares que induia las cacioms incorporadas, acompañado & un cuestionario en el que se solicitaba una valo- raci6n general de relevancia para aquellos estándares cuya redacción habh CáMbiado y una valoración parricular para aquellos a los

que la persona en concreto había asignado en la primera consulta una puntuaci6n diferente a la media del grupo (+/- 1,64 sig- mas), dejando opci6n a repetirla si lo consideraba oportuno, pero con el ruego de explicar las razones para mantener la puntuación inicial. En el siguiente cuadro 11 se puede ver un ejemplo del pro- tocolo personalizado utilizado en la segunda consulta.

CUADRO 11

HOJA DE VALORACI~N

1. F.M.F.U. (C.E.E. TALLER E. B.)

A) Relevancia de los 4 estándares cambiados: 1.0.3 (nuevo) y I.A.4, 11.61 y ll.F.5 (modificados). Valora cada uno de ellos de 1 a 9.

B) Pe'sos del bloque del estandar nuevo (I.D.). Reparte 100 'buntos entre los 6 estándares para establecer un orden de prloridqid entre ellos.

C)AnBlisis de los estandares a los que diste un valor muy diferente del resto de las personas ,consultadas. Compara, por favor, tu anterior puntuacidn con el valor medio del grupo y valora de nuevo estos estándares. Si decides repetir el valor dado la primera vez, indica brevemente la razón de tu discrepancia en el espacio resewado justo debajo de cada uno de ellos.

ESTAMDhR Tu puntuación P-n media del Tu n m anterior grupo puntuacibn

1lA3 1 6 1 7.878 1 JUSTIFlCAC16N: H.B.l 1 5 1 8.1E 1 JUWFICAC16N:

En su forma ideal, la partiupacidn y la co- laboraci6n tratan de aunar los intereses de todos los participantes implicados en el desarrollo de un programa mediante procedimientos que permitan la constnicci6n de conocimiento significativo y contextua- lizado y que capaciten a los profesionales para actuar sobre ese conocimiento en su objetivo de mejora institucional.

Consideramos que la participacibn y la colaboraci6n en una evaluación de procesos se refuenan con la utilizacidn de estándares y que la base aonstructivista de la evaluación participativa es consistente con el establecimiento de estándares profesionales.

Las formulaciona de la evaluacidn participativa es& relacionadas con dos irnpor- tantes vertientes de la teofí y la práctica de la evduacidn como son la waluaciiin otien- mda a la práctica, r e p e n m d a en el pasado por Alhn y más actualmente por el *factor personal- de Patton (1997) y la evaluacidn de ideología abierta, represenmda por Guba y Lincoln, con las aportaciones del enfoque centrado en el usuario de Whitrnore (1994) o Schalock (1995).

La esencia de los procesos de walua- uón participativa se encuentra en la defen- sa de intereses de todos los participantes y en que las relaciones sean de colabora- ci611, es decir, regidas por normas & igual- dad y reciprocidad. De acuerdo con Reiben (1996), la participacidn requiere que los participantes sean agentes activos del proceso, que se implique como m'ni- mo a los usuarios, a los técnicos del programa y a 10s responsabIes o promotores, y que participen en los momentos críticos de la evaluación, como son la planificación y la elaboración de resultados. De esta forma se asegura su contribuci6n al conocimiento que brinda Ia evaluación, así como al planteamiento de planes de acción y mejora del programa.

Se comparte responsabilidad y autoridad con todos los demás, incluido el wa-

luador, sobre deliberaciones y decisiones acerca de los procedimientos y la metodo- Iogía de acci6n más adecuada. El papel del evaluador es de consulta y guía. Es un fa- cilitador, no un aplimdor de diseños y criterios. De su base constructivism toma la evaluación participativa y colaborativa la premisa de que el conocimiento es creado desde la experiencia individual & cada participante. Pdemos decir con Guba y Lincoln (1989, p. 44) que en la evaluación de los procesos & un programa .la verdad es una cuesti6n de consenso C...) y no de corres- pondencia con una realidad objetiva.,

Cuando se busca conocer el estado de opini6n sobre un plan o programa de grandes dimensiones con una base amplia de consulta, resulta útil la denominada evaluación Cluster & voces de la comunidad que incluimos dentro de las técnicas de participacidri y colaboracián.

Estos foros comunitarios se organizan como reuniones en las que los participantes de un programa extenso pueden valorar la marcha de una iniciativa o proyecto que les afecta, por ejemplo la oferta y de- manda de servicios scciales para las personas con discapacidad (Femández, Iglesias y Cabo,19991.

Constituye una forma de incorporar al análisis a personas escasamente repre- sentadas en los grupos habituales de consulta y su credibilidad radica en poder conseguir una ackcuada represenmtividad del grupo o comunidad de referencia.

Cuando la consulta puede hacerse a personas implicadas en múltiples unidades de análisis, proyectos o centros de caracte- rísticas similares, se pueden organizar gmpos de discusión bajo el concepto d e evaluación Cluster (Barley y Jenness, 1993). Con esta denominación se conoce e1 análisis en el que se reúnen los repre- sentantes de estas unidades para compartir estrategias y vaIorar sus actividades. Los evaluadores trabajan sobre los proyectos de las diferentes entidades, tratando de identificar (en ocasiones empleando están-

dares como referenda) situaciones comu- nesmedhteaptadonesdktasalgen- cum de vaioraci6n p- o indireaas, atmésdelosdatascielaspiapiasunIdades. Un ejemplo de esta mdalidad & evaluad& Cluster puede verse en el informe final del progana Helios-Espcina (Torroha, F d n - dez, Municio, y ylázatro, 1991).

Las características básicas del enfoque de evaluacibn Cluster son:

Identifica aspectos y temas comunes que confirman su signifcación

- mediante el contraste & Informa- d6n aportada por los partidpantes. Permite conocer no sólo #lo que su- cede en el conjunto de las unidades & análisis, sino e l porqub, al descubrir los elementa que contri- buyenaléxitodelosproyecbsoini- dativas y las emwegks empleadas. Actúa con la colaboración de directivos, ~ c o s y 4- -0s ~ k u n ~ ~ p a t i V 0 & esoludón aolaboratirva de problemas. La relaci6n e- proyectos, centros o unidades y evaluadores permite presentar la informaci6n de forma agregada y compartida, b cual po- tencia las relaciones entre los asb- tentes y sus instituciones.

Es pues, un procedhiento que permite al promotor & una eYaluad6n aunar es- f u e r z o s & m e j o r a & a d o n e s e ~ la utilidad & la evaluación & procesos.

La conjunci6n & la d d a d de foros comunitario8 con ia evaluacibn Cluster es conocida como ?mes de la comunidad (O'Sullivan y O'Sullivan, 1998). Constituye una tecnica de a U s por audiendas para la mejora o transformadbn social. El grupo & participantes kn cada Cluster lo constituyen ~Iíderes- o personas que representan puntos de vista y realidades importantes de cada instltuci6n o unidad & a'náiisis participante. El objetivo es presentar puntos & vista individuales y trabajar hacia una visi6n compartida, de grupo, de tal

forma que permita la mejora de los procesos del sector sodal al que se nqxsenm. Una aplicación en el ámbito de la educa- ci6n & adultos puede verse en Horton y Freire (1990).

En este modelo, los evaluadores, en tanto que faciiitadores, identifican los procesos y la organizacidn promotora de la evaluación establece una estrategia de trabajo conjunta con las audiencias. De esta forma se organiza una evaluaci6n de carác- tercohbodvoqueathiasperspectivasde los lxuado6, t¿adms, d m i n & t m h , eva- l u a ~ y ~ l e s & l o ~ c ~ o i n s - titudones. constitqm las unidades & d i s , lo cual fortalece el condmienio & l a pnxedhienta y promum acdoms de mejora asociadas a dicho conocimiento.

La evaluaci6n de voces consiste bási- camente en:

Identificar los procesos esenciales - . . & la acción o programa. Presentar cuestiones de evaluacldn importantes. Buscar evidencias relevantes para cada proaso, generalmente a tra- ves de grupos de discusibn. Resumir la informacibn de evidencias útiles.

A estas alturas del discurso sobre mo- delos y tecnicas, a algunos lectores con una determinada posicibn teórica sobre la evaiuaci6n quizás les genere cierta confu- si6n esta combinaci6n de planteamientos y dcdcas. Justificamos esta descripci6n de procedimientos por nuestra creencia de que, al igual que nos ha ocurrido a noso- ms, a algunos evaluadores de progamas se les ha podido piantear la duda, al analizar prockbs o parpldpar en el seguimiento & programas, sobre su funci6n investiga- dora o evaluadora, sobre si ser experimen- talistas o naturalistas, ser provisores de informes o agentes de cambio en los programas. Probablemente una buena respuesta sea anotar la consideracibn que Michael Scriven hace en relación con la

combinaci6n de metodoIogía cuando dice que a l a cuestión de utilizar metodología cuantitativa o cualitativa es como cuestio- narse si una empresa debe contratar a mu- jeres o a hombres.

La consideración de la evaluaci6n de programas en d marco & la organización y la mejora continua ha llevado a las instituciones sociales y educativas a desarrollar mecanismos de control interno que se responsabilicen de los procesos de mejora y a confrontarlos con los atributos y procedimientos estandarizados de la calidad. Esto supone controlar procesos, establecer manuales de procedimientos, acciones preventivas y correctoras y su objetivo sue- Ie ser el registro y Ia certificacidn & la calidad bajo una norma (Fernsndez, 1998).

El estabIecimiento del control de la calidad en la industria de produccidn y en los semicios ha constituido u n gran avance en este final de siglo. Este control ha sido asociado a medidas de la demiacidn res- pecto de un criterio determinado mediante la toma de muestras y presentado gencraI- mente de forma grafica. Más recientemen- te, el concepto de #calidad total* ha emergido en asociación con actitudes de colaboracidn en la dirección de personal. Se define tambien por criterios expresados mediante estándares y ha aportado un enfoque de control de procesos, al encargar- se de prevenir los defectos más que de analizar el producto o servicio acabado.

Los equipos colaborativo6 de profesiona- Ies y directivos, denominado =&do6 de cali- da&, se reúnen con replandad con el fin de aportar soluciona a demminados problemas & los procesos y constmyen la durnna ver- tebd de las erifoquec & d d a d total en las organhciones. EstoC c h u l a mantienen una fórmula de auto-evsiluaci6n de programas y dado que muchos bienes y servicias no pami- ten el contraste con un aiterio cuantitativo, analizan y valoran la presencia de defectos o

incorrecciones presentes en Ios procesos por contraste con los indicadores de los correspondientes estándares. Por ejemplo, en un centro escolar un grupo de docentes puede analizar el procedimiento & evaluación diagnóstia que el Departamento de Orien- taci6n realiza con el alumnado o el programa personal & orientaci6n profesional que dicho departamento lleva a cabo.

En este sentido, la evaluacidn interna, como mecanismo responsable de la calidad, resulta ser un instrumento muy valio- so para la mejora de programas (Love, 1991). Los evaluadores internos informan a los directivos y normalmente son inde- pendientes del programa que analizan, aunque forman parte de la organización. Son Ios responsables de la evaluaaón y su trabajo responde a la línea establecida por la di- rección. De acuerdo con Ful1a.n (1995), la evaluacidn interna &pende y emplea todos los m&Ia de i m t i g c i 6 n social si bien se la suele identificar como una forma & irrves- tigación-acción que apoya el desarrollo or- ganizativo y los cambios p ~ m d o c .

En contraste, la evaluación externa es independiente del programa y de la organi- mción que analiza, y normaimente SU objetivo es valorar aspectos de intergs marados por instituciones externas y controladoras de la organizacidn, des como agencias fmn- &doras o administraciones pdblicas.

Como muestran los procedimientos empresariales (CEOE-CEPYME, 1995), la medici6n interna de la calidad & un servicio se dmge hacia el persond y hacia los clientes, en tanto que la medida externa depende de las atributos de la calidad cidmidos por organismos homolo~dores de la actividad, tales como las conocidas normas ISO.

Recogemos a continuación los procesos que son objeto de análisis en una audi- toría bajo la norma ISO 9004, relativa a empresas & servicios.

e Proceso de comercializaci6n: - Calidad en la investigación y el aná-

lisis de mercado.

- Obiigaciones del proveedor. - Descripcidn del senicio. - Gestidn del servicio. - Calidad en la publicidad. m Proceso de diseño:

'- Responsabilidad del diwio. - Especificaciones del servido. - Especificaciones de la prestacI6n

del sewicio:

- Estado del servicio. - Acciones correctivas para servicios

no conformes. - Control del sistema & medida.

e háWs y mejma de la di2aci6n del SeTviCiO:

- Recogida y análisis de datos. - Métodos estadísticos. - Mejom de la calidad del servicio.

- Procedimientos de la prestacidn L, un programa social, del servicio. en nuestra opini611, debe ser valorada me- - Calidad en las compras. diante la eolaboracibn y el contraste de un

s w t r a h al cliente. consultor interno y de tal for- - I&ntiRcaciún y &azabilidad. del q, ,, pueda mmparar la realidad del servicio. programa con el conjunto de estandares que - e i " e la esenda de la actividad profesional. .

canírol de un ejemplo de esta coiaboración pue - Revisi611 del diseño. de verse en la dinfimica seguida por la - VnlldacMn de las especificaciones de wgraddn labornl pini ddOs PMddn del servicio con dlscapacidad (Ferngndez e IgIesiu,

y control de Calidad. 199f).Enestecaso,eldtmhiemoesde - Control de los cambios en el diseño. por los TtSponsables del Pro- Proceso & prestación del &do: con el fin & analizar e- e indica-

- Evaluaci6n del servicio por parte & la Guía en cormpndencia c m las del S-&F. auMdadesdelprogramayprepararladocu- - Evaiuaci6n por parte del cliente. mentaci6n que justi6que su cumpMento.

CUADRO III

El consultor externo es una persona designada por la institucibn promotora de la evaluación cuya tarea consiste en revisar el análisis del programa hecho con anterio- ridad por el consultor interno, y estimar su nivel de acuerdo con &te en cuanto al cumplimiento de Ios estándares según la documenmci6n justificativa aportada.

Del intercambio de informaci6n y opi- niones entre los an5lisis de ambos consul- tores, se obtiene el informe de situación sobre el estado del programa, así como el listado de recomendaciones dirigido a me- jorar los correspondientes procesos.

En el cuadro 111 diagrama puede verse la dinámica comentada.

Si la base de la evaluación de un programa en sus fases iniciales está en su referencia a la captacidn de necesidades percibidas por los participantes, y en sus fases finales en el inequívoco nivel de logro o comecu- ,

ci6n de los resultados expresados en sus objetivos y metas, la evaluación de procesos o implementación de un programa muestra su efectividad mediante el análisis minucioso y riguroso de sus evidencias do- cumentales. Como indican McCoy y Rey- nolds (1998, p. 1251, =documentar la implementación de un programa es la úni- ca manera de que los evaluadores conoz- can lo sucedid&. Incluso formando parte del equipo de desarrollo del programa, Ia función de los evaluadores debe insistir en la recogida permanente de evidencias que justifiquen los procedimientos seguidos.

Para poder saber si el desarrollo de un programa es consistente con su diseño, la evaluacidn debe recoger informacidn de diversas forrnas y procedente de diferentes medios (Scheirer, 13%). Uno de los grandes efectos de la evaluación de procesos, según expresión de los responsables y t&c- nicos & los programas, suele ser precisa- mente el que les permite organizar grandes cantidades de documentación de acuerdo

con el orden y la secuencia que establecen las Guh de estándares. De ahí que la aplicacidn & una evaluaci6n & procesoc se considere un paco obligado para legar a disponer del manual de procedimientos documentados dg ido por cudquier auditoria de la calidad

Damenta r mnbios en los procesos o actividades de un programa constituye en sí mismo un resultado intermedio de valor en cualquier evaluaci6n de seguimiento, pudíen- do inciuso oonstitukse en un indicador de beneficio y d a e n a a Fernández y col., 1398).

Toda evaluacidn de procesos termina con una síntesis que clarifica los componentes del programa que constituyen un área o procedimiento *fuerte# y aquellos que deben ser revisados y mejorados. Como indica Loucks-Horslev (citado en Scheirer, 1996, p. 6), un perfil o plantilla de programa es *un instrumento que permite su descripción homogénea y facilita la comparación de sus componentes con aquello que la investigación y la prActica consideran efectivo.

Se considera que un buen formulario o perfil debe incIuir la descripción de es- thndares o *buenas pr5cticasw, los valores de los componentes y actividades del programa y las acciones y medidas tal y como las realizan y conocen los participantes. Más detalles y ejemplos pueden verse en Scheirer (1996) y en los cuadros iV y V:

Para terminar, solamente decir que hemos tratado de presentar el análisis de procesos como una fase fundamental en la evaluacidn de un programa, en la que, ademas de holismo, contextualizacibn, comprensi6n y anslisis de construcciones sociales, también es necesario el enfoque criteriaI que permite contrastar las experiencias o actividades de un programa con los estándares o normas profesionales del campo social correspondiente. De esta forma, todo programa con un desarrollo de caiidad puede llegar a acreditar sus procedimientos y acciones como referencia de buena práctica.

CUADRO iV

. .

L D . D ~ D E w A u u Q ~ ' ' . . , .

, .

rn.1. ~&~tados y efeam -

I.D.2. & de cada usuar&

I : D ~ . d del ' -

ID.4. Adapmcl6n de e r m m s

I . .

1

CUADROY

CUADRO V (cont.)

ESTANDARES PROFESIONALES

ILC o m . /FORMAU~N PROF.

U.C.I. ~chidio'de me& U.C.2. Orientación profesional

n.c.3. ~ r o ~ a m a persod Il.C.4. Características Y mérdoo

ii.C.5. Revisi611 periódica

II.D. ADAPT. E INSERQON II.D.1. htam con empresarios ii.D.2. Demrrollo & capacidadts

II.D.3. Plan personal e-

II.D.4. Seguimiento y c o n d

IID.5. Personal profesional

ILG. PROGR, EMPM3SA ORDMAZUA

,II.G.l. DIseho y desarrollo

n.G.2. Iguales oportunidades 1

HUSEN, T.; TUIJNMAN, A.: ~Monitoring Standars - in Education: Wliy and How it Carne Aboub, en A. C. Tummm: T. N. Po.mm~- w m (eds.) : ~ l r l o n k - the S m h s af

B ~ Y , A. 2.; JENNEIS, M.; * C ~ U S T ~ Evalua- PvOn, 1994. A merhod eMluarion L~NCOLN, Y. S.; GUBA, E G.: NatUralisticln-

in with simllnrpu>po- quiry Newbury Park, CA, Sage, 1985. * Pnicoa, 14, (1993)3 L ~ N G ~ O N , 1. D.: .Standas, National: Mo- PP. 141-147. niroring, en T., H W ; T. N. P o m - BARTOIX,M& M. y col.: DhgnÓsHco a L? Es- wm (edsa) : cuela Mukticultura'Ckb. Barcelona, Ce- decs, 1997. of .l%xarion, Mord. Pergamon (1985),

pp. 4786-479 1. ISEE, Love, J.; hfornnJ EVa/uafion Newbury

1995. Park, Sage, 1991. COHONr E'; * Pro- ~ B R ( . L.: .Case snidy Methodsn, en R. L. m Socl*' m' lW3 STAKE; L. MABRY: A duancer in Pro- (28 ed.). FERNANDEZ, S. E; IGLESIAS, Ma. T.: Guío de gram Evaltdaba'on, vol. 3, Greenwich.

Jay Press, (19981, pp. 155-170. La boraz para Personnr M M y , R; -OLE, A, J.: v m l u a k g con Díscapacidad. Estándares de Ca- plemenaoono en A+ REYNOm; H. ,. l i dd . Madrid, Ministerio de Trabajo y Asuntos Sociales, IMSERSO, 1997. WAmExG (eds.1 : Advances ira Educatío-

FERNANDEZ, S.: ~Intervenuón Social y Cali- nal Productieiiby, vol. 7, Jay Press, (1993, PP. 125. dad en Actas del V Congreso del CO- McDoNNew, M.: aportunity tO leam as a legio Oficial de Psicólogos, Madrid, mrch co ncepr and policy inCtmmentn

1998. FERNANDEZ, S. y col. : Informe de Evalua- en EdwationaI Evai-n and PoIicy)

A-, 17,3, (199Bl PP. 305-322. Pa'Ckbma, MCGWW y coi.: nusing procerr a t a ex-

Segle rxi' *yuntament de plain outcomes., en Evalu&on &- 1998 (informe no publicado). F E R N ~ E Z , S.; IGLESIAS, M< T. ; CABO, J,: Ne- *, 20, 3 (19961, PP. 291-312.

cesidades y Demandas de Personas NEW, D. L.; BROWN, R. D.: ~Violation of

con Discapm'dd en Astu&. Gobier- Evaluation Standars. Frecuency and

no del Principado de Asturias, 1999 seriousness of occurrenctn, en Evalm-

(informe no publicado). tion ~~, 16, 3 (1921, pp. 235-246. FUN, M. : Change Forces. Pro biag tbe OAms J.: Md*&ngIn@WlMes. ne e f l ~ f i

Depths of Educ~ational Reform. Bris- of rme, soc id &w, and tracking on m tol, Palmer Press, 1995. portunities to bearn w t k m t i c s and

CUBA, E. C.; LINCOLN, Y. S.: Fourdh Genera- sci@nce. Santa Mónica, The Rand Corpo- rIon Edua?ion. Thousand Oaks, CA, ration, 1990. Sage, 1989. OAKES, J.; G ~ N , G.: "Matchmaking: The

Gmo~, G.; OAKES, J.: ~Oportunity to Learn dynamics of high school tracking deci- and Conceptions of Educa tional Equa- sionsn, en A M c a n Educatioraal Re- litym en Educatiopaal Eualuation and searcb Journal, 32 {195>, pp. 151-181. PoEicy Anal*, 17, 3 (19951, pp. 323- O ' S W A N , R C.; O'SWAN, J. M.: ~Evalua- 336. tion Voices: promoting evaluation from

HORTON, M.; FREIRE, P.: We Muke the Walh within programs through cohboration~, by Wulking. Philadelphia, PA. Temple en Evalwtion w u d Prograwz Phnnig, University Press, 1990. 21 (1998), pp. 21-29.

PATTON, M. Q .: Utilizdition focused eva- luotion, new centuy edition. Thou- sand Oaks, CA, Sage, 1997.

REIBEN, M.: ~Participatory evaluation of de- velopment assistance: Dealing with power md fadilative l e ! , en &a- lm'on, 2 (1996), pp. 151-172.

ROSSI, P. H.; FREEMAN, H. E.: Eeiduation: A systematic @proach. Thousand Oaks, CA, Sage, 1993.

SCH~LOCK, R.: Calidad de Vida en la Eva- luación y Planificacidn de Programas, en Actas IJomadm Cimtzjlzcas de In- vestigación sobre Personas con Dficdi- p a c u , Salamanca, 1995.

Sc- M. A.: ~Program Theory and Im- plementation Theory: implications for evaluators-, en L. BICKMIW Ced.): Cliing Progmm Theory in Evrakuation. San Ranciso, Jossey Bass Inc., 1987.

SCHEIRER, M. A: ~Designing and using process evaluation- en T. S. WHOLF(; H. P. HATRY; K. E, NEWLOMER (eds.) : Hmdhoh of Prmtkal R q r ~ a p n Wmhba. San Fran- cisao, Jos~ey-BQss hib, (19%), pp. 4 1 .

SCHERER M. A. (d.) : #A user's guide to p m grarn mnplates: A new tool for evaluating program content., en New Directhmjbr Ei.d&n, 72, San Francisco, Jossey- m, 1996.

S C ~ A R T Z , W.: -0portunity to Leam Stan- dars: their impact on urban students., en Digest ERIC-Web, 1999.

S ~ N , M.: Xhe final synthesism, en E ~ P M - %*e, 153, (19941, pp. 367-382.

STAKE, R. L.: ~The Fleeting Discermment of Quality., en R. L. S T m ; L. MABRY.: Ad- vances in Program Ewluation, vol. 3, Greenwidi. Jay Press, (19971, pp. 41-60,

S W L E B E A M , D. L.: .A Standards-Based Perspectivt on evaluation., en R. E. STAKE; 1, MABRY (eds.): Adiaiílces in la- grana Evaluation, vo1.3, Jay Press, (19971, pp. 61-88.

TORROBA, 1.; FERNANDEZ, S.; MUNIUO, P.; LÁ- ZARO, A. : Programa Helios-Espafia. In- forme final. Madrid. 1nserso-~valinst, 1991.

WH~~MORE, R.: =To tell the t n i t h h , en P. re aso^ (ed.): Pa-on in Human I n q w y . Nmbury Park, CA, Sage, 1594, pp. 82-98.

YSSELDYKE, J. E.; CHRISTENSON, S.: ~ e I p z s ~ - t d E n v i m m t SystmLI. íl7ES-ID. Longmont, CO: Sopris West, 1333.

YSsaDm, J. E.; CHKIS'I'ENSOM, S.; KOVALES- M, J. F.: 4dentiQing Studentslnstmctio- nal Needs in the Context of Classroom and Home Environments~, en Tea- cbing Exceptionail Chitdren (S pring , 19941, pp. 36-41.

de en de13f73c36-2eec-4842-a204... · 2019-01-20 · an&ei!3 de efectimdad en la evaluaci~n de...

Documents