un cuestionario para evaluar la calidad en programas de … · 2016-08-05 · actividad física,...

21
UN CUESTIONARIO PARA EVALUAR LA CALIDAD EN PROGRAMAS DE ACTIVIDAD FÍSICA Antonio Hernández Mendo PALABRAS CLAVE: Evaluación de programas, programa de actividad física, evaluación de programas de actividad física, ejercicio, evaluación de calidad. RESUMEN: Este trabajo se ha planteado desde la concepción de la metodología evaluativa y de su problemática. Se presenta un cuestionario que pretende ser un instrumento de medida útil en la evaluación de programas de actividad física. El instrumento consta de cuatro escalas con un total de 52 ítems. Las respuestas se emiten sobre una escala de 5 puntos. El cuestionario finaliza con doce preguntas de tipo sociodemográfico. Este trabajo consta de dos estudios. En el primero de ellos, se administra el cuestionario a una muestra de 485 sujetos. El segundo estudio se realiza sobre una muestra de 1478 sujetos. Los resultados que se presentan son los relativos a la fiabilidad de la escala y a su estructura factorial a través de un análisis exploratorio y otro confirmatorio. Los resultados obtenidos consideramos son satisfactorios en cuanto a fiabilidad y a una estructura factorial parsimoniosa. Correspondencia: Antonio Hernández Mendo. Departamento de Psicología Social y de la Personalidad. Facultad de Psicología. Universidad de Málaga. Campus de Teatinos, s/n. 29071 Málaga. Tel: 95 213 34 73. Fax: 95 213 11 00. Revista de Psicología del Deporte 2001. Vol. 10, núm. 2, pp. 179-196 ISSN: 1132-239x Universitat de les Illes Balears Universitat Autònoma de Barcelona

Upload: others

Post on 01-Apr-2020

5 views

Category:

Documents


0 download

TRANSCRIPT

UN CUESTIONARIO PARAEVALUAR LA CALIDAD EN

PROGRAMAS DE ACTIVIDADFÍSICA

Antonio Hernández Mendo

PALABRAS CLAVE: Evaluación de programas, programa de actividad física, evaluación de programas deactividad física, ejercicio, evaluación de calidad.RESUMEN: Este trabajo se ha planteado desde la concepción de la metodología evaluativa y de suproblemática. Se presenta un cuestionario que pretende ser un instrumento de medida útil en la evaluaciónde programas de actividad física. El instrumento consta de cuatro escalas con un total de 52 ítems. Lasrespuestas se emiten sobre una escala de 5 puntos. El cuestionario finaliza con doce preguntas de tiposociodemográfico. Este trabajo consta de dos estudios. En el primero de ellos, se administra elcuestionario a una muestra de 485 sujetos. El segundo estudio se realiza sobre una muestra de 1478sujetos. Los resultados que se presentan son los relativos a la fiabilidad de la escala y a su estructurafactorial a través de un análisis exploratorio y otro confirmatorio. Los resultados obtenidos consideramosson satisfactorios en cuanto a fiabilidad y a una estructura factorial parsimoniosa.

Correspondencia: Antonio Hernández Mendo. Departamento de Psicología Social y de laPersonalidad. Facultad de Psicología. Universidad de Málaga. Campus de Teatinos, s/n. 29071 Málaga.Tel: 95 213 34 73. Fax: 95 213 11 00.

Revista de Psicología del Deporte2001. Vol. 10, núm. 2, pp. 179-196ISSN: 1132-239x

Universitat de les Illes BalearsUniversitat Autònoma de Barcelona

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

of 5 points. The questionnaire concludes withtwelve sociodemographic questions. This workconsists of two studies. In the first one, thequestionnaire is administered to a sample of 485participants. The second study is carried out on asample of 1478 participants. The resultspresented here, are the relatives to the reliabilityof the scale and their factorial structure throughboth, an exploratory and confirmatory analysis.The results are satisfactory concerning reliabilityand parsimonious factorial structure.

Introducción

El problema origen de este trabajose sitúa por un lado en la necesidad deun cambio conceptual, considerar losprogramas de actividad física comoprogramas de intervención social, y porotro en la propia problemática de laevaluación de programas deintervención social.

Con respecto a la primera cuestiónoriginaria del trabajo, hay que señalarque discurre paralela a la evolución delconcepto de ocupación del ocio y de sugestión. Cada día es más frecuenteque personas provenientes de diversosestamentos socioeconómicos empleensu tiempo libre en la participación dedistintos programas de actividad físicaauspiciados por las administracioneslocales, autonómicas, etc. También escierto que debido a diversos factoreseconómicos y legislativos las admi-nistraciones delegan la puesta enmarcha y gestión de estos serviciospropiciando la aparición de programascarentes de la necesaria metodologíaevaluativa (Alvira, 1991; Anguera,1991, 1995) que proporcione elfeedback necesario y lacorrespondiente propuestaautocorrect iva. Además, estosprogramas más allá de su finalidadmeramente lúdica desempeñan unagran labor social en los dist intosgrupos y estamentos sociales, por lo

KEY WORDS: Program evaluation, physical activity program, assessmente exercise, exercise, qualityassessment.SUMMARY: This work has been developed from assessment methodology perspective. A questionnaire ispresented that seeks to be an instrument of useful measure in the assessment of physical activityprograms. The instrument includes four scales with a total of 52 items. The answers are emitted on a scale

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

que deben de ser considerados comoprogramas de intervención social. Losprogramas con la infancia yadolescencia pueden ser consideradoscomo programas de prevención. Losprogramas diseñados para adultos ypara la tercera edad podrían serconsiderados como programas deestablecimientos de estilo de vidasaludable, de prevención o derehabilitación.

Por lo que respecta al segundo delos motivos, se hace preciso recordarque la amplia diversidad de programasde intervención a evaluar, así como lospresupuestos de los cuales se parte,contribuyen a establecer diversos tiposde evaluación.

La taxonomía en evaluación de pro-gramas de acuerdo con Anguera yHernández Mendo (en prensa) yAnguera (en preparación) se puedeenfocar con diversos criterios. Consi-deramos oportunas las elaboradas porAguilar y Ander-Egg (1992) yFernández-Ballesteros (1995b, 1995c),a la vez que consideramosinteresantes los aspectos incorporadospor López Blasco (1992),especialmente los referidos a lacobertura del programa, los señaladospor Muñoz Tortosa (1992), teniendo encuenta las fases del seguimiento, y losindicados por Cohen y Franco (1993) yRebolloso (1994), atendiendo adiferentes criterios. De aquí que losdiferentes cri ter ios que podemosseñalar para establecer una taxonomíason: (a) Según el momento en que seevalúa se pueden denominarevaluación «ex-ante», durante y «ex-post»; (b) según la procedencia de losevaluadores la evaluación puede serexterna, interna, mixta, autoevaluación

y evaluación participativa; (c) según losaspectos del programa que son objetode evaluación; (d) Según los fines de laevaluación puede ser evaluaciónproactiva y evaluación retroactiva oevaluación formal y sustantiva; (e)según las funciones que cumple seconsiderará evaluación formativa osumativa.

Nuestro interés se centra en estaúlt ima dist inción. Se trata de ladistinción que de forma más unánimerecogen los diversos autores (Aguilar yAnder-Egg, 1992; Cohen y Franco,1993; Fernández-Ballesteros, 1995b;Mohr, 1992; Rebolloso, 1994; Veney yKaluzny, 1984) a partir de la propuestade Scriven (1967).

La evaluación sumat iva hacereferencia a los resultados o efectosde un programa, una vez finalizado,determinándose así hasta qué puntose cumplen los objet ivos o seproducen los efectos previstos.Determina el valor de un programauna vez que ha sido desarrollado,investiga los efectos y los comparacon las necesidades de los usuarios.Veney y Kaluzny (1984) consideranesta evaluación situada en el modelolineal en la gestión de un programa,que se plani f ica, implementa, y,finalmente, evalúa, como fase últimaque no admite retorno. Este tipo deevaluación también recibe el nombrede evaluación de producto, o deresultados, o de impacto (Mohr, 1992),aunque se considera que lainformación de que se dispone esinsuficiente para poder cuantificar elverdadero impacto del programa, delque raramente se señalan susobjet ivos. Fundamentalmente

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

comprende actividades de análisis dedatos.

De acuerdo con Rebolloso (1994)las tareas básicas de este tipo deevaluación son: (a) recopi lardescr ipciones y ju ic ios sobre losresultados; (b) relacionarlos con losobjet ivos y la informaciónproporcionada por el contexto, por laentrada de datos y por el proceso; (c)analizar e interpretar su valor y mérito;(d) proporcionar información objetiva yclara sobre los resultados deseados yno deseados.

Los datos de una evaluaciónsumativa suministran información útilen la toma de decisiones sobre lacontinuación, justificación, expansión oreducción, contabilidad, modificación yfinalización de un programa. Perohabitualmente suscita importantesproblemas metodológicos, como es elhal lar indicadores adecuados delimpacto, o poder atribuir los supuestosefectos del programa a las variablesindependientes fijadas.

La evaluación format iva hacereferencia al seguimiento que sereal iza durante el proceso deimplementación de un programa, pro-porcionando información acerca decómo se desarrolla dicho proceso, ysirve básicamente para ayudar a lapuesta en marcha de un programa opara mejorar lo que se está realizandoo su funcionamiento. Veney & Kaluzny(1984) consideran esta evaluaciónintegrada en el modelo no lineal degestión de un programa, dado que laplanificación, la implementación y elcontrol se interconectan, por lo que laevaluación tiene lugar durante todaslas fases del proceso. En cualquier

momento se evalúa la necesidad,cómo se actúa y la suficiencia de lasacciones emprendidas, los problemasque surgen en el día-a-día, los tipos dedatos que más conviene obtener, losrecursos necesarios, etc. Lainformación que se suministra esperiódica, o incluso continua, aunqueen ocasiones se admite por algunosautores (Mohr, 1992) que pueda ser decarácter adicional, aunqueconservando su aportación periódica ocontinua.

Las actividades cubren un ampliomargen de actuaciones:

a) Anál isis de estrategias deinteracción entre las personasinvolucradas en el programa.

b) Temporizar la implementación.c) Agregación de datos a lo largo

del seguimiento.d) Integración de informaciones

heterogénease) Comprobación del cumplimiento

del desarrollo y proceso del programa.Autores como Cronbach (1981)

piensan que los dos términos deevaluación sumativa y evaluaciónformativa no son adecuados para ladiscusiones de hoy en día, pues lasevaluaciones se usan casi totalmentede un modo formativo, incluso en losestudios que se l imitan a medirresultados.

Otros, en cambio, como Aguilar yAnder-Egg (1992) o Fernández-Ballesteros (1995b) entienden que nohay que menospreciar ningún tipo,pues las dos son complementarias, ycada una de ellas puede util izarseválidamente, en función del mayor omenor grado de elaboración delprograma, así como del contexto y la

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

situación concreta.Tradicionalmente se siguió en

España la evaluación sumativa conmayor profusión, lo cual concuerdacon la «practica habitual» de fijaciónde plazos en la implementación deprogramas que dependen de algunaAdministración Públ ica (estatal ,autonómica o local), peropaulatinamente aumenta el interés porla evaluación formativa, dadas lasventajas que aporta desde su abordajemetodológico (corregir un inadecuadouso de determinado instrumento,introducir datos complementarios en elregistro, etc.), así como la posibilidadde ajustar el PERT a lo largo de laimplementación del programa(Hernández Mendo y Anguera, 1999,2001). «El (PERT) Project EvaluationReview Tecnique implica la existenciade una temporalización detallada en laque se constatan la secuenciación ycoocurrencia de las acciones delprograma. Precisamente de acuerdo aeste cr i ter io de agenda se hanpropuesto sistemas de evaluación. Unprograma de intervención, indepen-dientemente del ámbito al que serefiere, está configurado por una seriede tareas o actividades que se realizanen un determinado orden o secuencia.Una actividad consume un tiempo yunos recursos, y mediante el PERT seelabora una calendarización quepretende organizar temporalmente elplan de intervención previsto a partirdel inter juego entre momentostemporales y actividades y permitecalcular d iversos parámetrostemporales acerca de laimplementación de un programa deintervención» (Hernández Mendo yAnguera, 2001; p.263).

A la vista de lo anterior, uno denuestros grandes problemas secentraba en la escasa o nula tradiciónde evaluar estos programas, conindependencia de su carácter. Otro delos problemas que se nos planteabaera la inexistencia de literatura sobreevaluación de programas de actividadfísica a través de cuest ionarios(Guelzo, 1955; Heil y Henschen 1996 yHernández Mendo y GonzálezFernández, 1995). A pesar de estainexistencia nos planteamos lanecesidad de evaluar los programasde actividad física desde la óptica de laevaluación format iva, peroconsiderando la tradición y abundanciade evaluaciones (de otro t ipo deprogramas) de carácter sumativo,decidimos que un paso importantepodría ser construir una herramientaque nos permit iese hacer unaevaluación sumativa y que a la vez nofacilitase información importante en elcaso de una evaluación formativa.

En este trabajo presentamos unaherramienta para evaluación decalidad de los programas de actividadfís ica. Consideramos que unaestrategia adecuada para estimar lacal idad de un programa deintervención (en este caso unprograma de actividad física) es medirla satisfacción de los usuarios (Hayes,1995). El instrumento quepresentamos son cuatro escalas conun total de 52 ítems, las respuestas seemiten sobre una escala de 5 puntos.El cuest ionar io f inal iza con docepreguntas de tipo sociodemográfico.Los resultados que se presentan sonlos relativos a la fiabilidad de la escalay a su estructura factorial a través deanálisis exploratorio y confirmatorio.

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

Método

SujetosEl cuest ionario compuesto por

cuatro escalas es administrado, en unpr imer estudio, a un total de 485sujetos, de los cuales se desestiman(por no haber contestado a la totalidadde los ítems) para la primera escala150, 166 para la segunda y tercera y146 para la cuarta. Los sujetos que nocontestaron a la totalidad de los ítems,consideramos que fue debido a la faltade supervisión de los encuestadoresComputándose, por tanto, 335 para laprimera, 329 para la segunda y terceray 339 para la cuarta. Los sujetosfueron encuestados por personal de lainstalación y escogidos al azar deentre los usuarios de las instalaciones

deportivas de las localidades de ACoruña y Noya (A Coruña). El rangode edad oscilaba de los 11 a los 45años, con una media de edad 19,6años. La distribución porcentual porgénero es un 42.7% de hombres y un57.3% de mujeres.

En un segundo estudio, elcuestionario es administrado a un totalde 1478 sujetos que eran usuarios deprogramas de actividad física de ACoruña (capital), Noya (A Coruña),Lugo, Sant iago de Compostela,Benalmádena (Málaga) y Málaga(capital). En este segundo estudio seformó específ icamente a losencuestadores, insist iendo en laimportancia de cumplimentar todos losítems. En este segundo estudio laincidencia de valores perdidos alcanzaun valor máximo de 12. El rango de

ESCALA NºITEMS

ANÁLISIS FACTORIAL ALPHA DECRONBACH

MUESTRA

Nº FACTORES(rango pesos)

DENOMINACIÓN VARIANZAEXPLICADA

1. Profesor 14 4min=.45008max=.89992

1. Clases2. Contenidos3.Interacción4. Implementación clases

61.8 .8301 335

2. Instalaciones 16 4min=-.49124max=.83358

1. Material ymantenimiento2. Limpieza3. Espacio,temperatura ycomodidad4.Seguridad e iluminación

53.5 .7135 329

3. Actividades 7 2min=.63489max=.87536

1. ejecución2. oferta

61.4 .7135 329

4. Personal eInformación

15 4min=.32165max=.89658

1. Sugerencias2. Servicios3. Relaciones4. Canalización de laInformación

72.5 .8293 339

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

edad oscilaba de los 11 a los 72 años,con una media de 23,2 años. Ladistribución porcentual por género esde 40,2% de hombres y 59,8% demujeres. El número de sujetos de 11años, entre los dos estudios, apenassuperan la treintena y pertenecen aprogramas de escuelas de fútbol baseo programas de natación, suincidencia en los resultados globaleses mínima.

MaterialEL material ut i l izado ha sido,

además del cuestionario Inventario deCalidad en Programas de ActividadFísica (I.C.P.A.F.) que se pretendeestudiar, un paquete estadístico SPSSv.8.0, el paquete LISREL 8.30 y elprograma PRELIS 2.30.

ProcedimientoLa construcción del cuestionario se

ha realizado en cinco fases. En laprimera de ellas, se reúne a un grupode expertos en actividad física, todosel los directores de diversasinstalaciones deportivas y se les da aconocer el objetivo de la investigación.En esta reunión se establecen lasescalas que deben componer elcuestionario así como los ítems quedeben formar parte de cada una deellas. Se considera que el cuestionario

debe estar formado por cuatroescalas. En la primera de las escalasla referida al profesor se considera quese deben abordar los s iguientesfactores: Clases, Contenidos,Interacción, Implementación de lasclases. Por lo que respecta a la escalade las instalaciones los factores que lacomponen son: Material ymantenimiento, Limpieza, Espacio,temperatura y comodidad y finalmenteSeguridad e iluminación. La terceraescala relativa a las actividades estácompuesta por los siguientes factores:ejecución y oferta. Finalmente laescala referida al Personal y a lainformación se compone de lossiguientes factores: Sugerencias,Servicios, Relaciones y Canalizaciónde la Información

La segunda fase es propiamente deelaboración mecánica del cuestionario.

En la tercera, se entrega a cadauno de los especialistas participantesen la reunión de la primera fase unejemplar del cuest ionar io con elobjetivo de revisarlo y comprobar sihan quedado reflejados todos y cadauno de los aspectos que fueronabordados en la reunión. Acont inuación, se modi f ica e lcuestionario siguiendo las indicacionesde los expertos y se administra a la

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

población objetivo, esto es, usuariosde programas de actividad física de laprovincia de A Coruña.

En una última etapa, y después deajustar la escala de acuerdo a losresul tados del anál is is factor ia lexploratorio y del análisis de fiabilidad,se admin is t ra a usuar ios de pro-

gramas de act iv idad f ís ica de ACoruña (capital y provincia), Lugo yMálaga (capital y provincia). En todoslos casos los sujetos eranparticipantes en los programas deactividad física, fueron evaluados enlas insta lac iones donde sedesarrol laba la act ividad —previa

Tabla 4. Tabla de indicadores de ajuste y error del análisis factorial confirmatorio de

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

petición de su colaboración—. Entodos los casos hemos buscado larepresentación de todos losprogramas de actividad física quecomponían el espectro total de la

instalación o del municipio, insistiendode forma especial en aquellos conmenor número de participantes.

Resultados

Tabla 6. Tabla de indicadores de ajuste y error del análisis factorial confirmatorio de

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

Resultados del análisis factorial ydel análisis de fiabilidad

La investigación se compone dedos estudios. En el primero de ellos ycon una muestra de 485 se realiza unprimer análisis factorial exploratorio yde fiabilidad. El segundo, y sobre unamuestra de 1478 sujetos se realiza unanál isis factor ial conf irmatorio. Acontinuación figuran los resultados delanálisis factorial exploratorio de cadauna de las escalas y los resultados delAlpha de Cronbach.

Los datos del segundo estudio sonsometidos a un análisis factorial confir -mator io. Se presentan los datosrelativos a pesos factoriales, fiabilidade índices de ajuste (GFI, AGFI y CFI) y

de error (RMSR y RMSEA) para cadaescala. En relación a estos índices,brevemente, los describimos como(Hair, Anderson, Tatham y Blac, 1998):

1. GFI: Indice de Bondad de Ajuste,oscila entre 0 (mal ajuste) y 1.0 (ajusteperfecto). Representa el grado deajuste conjunto aunque no estáajustada por los grados de libertad.Altos valores indican un mejor ajuste,aunque no existe n ingún umbralabsoluto de aceptabilidad.

2. AGFI: Índice Ajustado de Bondadde Ajuste. Este índice es unaextensión de GFI. Se ajusta utilizandola ratio obtenida entre los grados delibertad del modelo propuesto y losgrados de libertad del modelo nulo. Unnivel aceptable y recomendado es un

Tabla 8. Tabla de indicadores de ajuste y error del análisis factorial confirmatorio de

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

Tabla 10. Estadísticos descriptivos de la Escala I y de sus factores.

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Tabla 11. Estadísticos descriptivos de la Escala II y de sus factores.

Tabla 12. Estadísticos descriptivos de la Escala III y de sus factores.

Tabla 13. Estadísticos descriptivos de la Escala IV y de sus factores.

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

valor mayor o igual a 0.90.3. CFI : Índice de Ajuste

Comparado. Este índice junto conotros suministrado por este análisisrepresenta una comparación entre elmodelo estimado y el modelo nulo oindependiente. Los valores oscilanentre 0 y 1.0. Valores altos indican unaalta calidad de ajuste.

4. RMSR: Residuo Cuadrát icoMedio. Este índice se obtiene a travésde la raíz cuadrada de los residuos alcuadrado. No se ha fijado un umbralpara su interpretación. Se puederealizar una interpretación en funciónde los objetivos de la investigación.

5. RMSEA: Error de AproximaciónCuadrático Medio. Es un índice que dacuenta de la discrepancia en gradosde libertad pero medido en términosde población. El valor esrepresentativo de la bondad de ajusteque podría esperarse si el modelofuera estimado con la población. Loavalores que pueden considerarseaceptables oscilan entre 0.05 y 0.08.

Los resultados del análisis factorialconfirmatorio de la primera escala encuanto a pesos factoriales (entre 0.62y 0.89) y fiabilidad son similares a losencontrados en el análisis factorialexploratorio. Por lo que respecta a losíndices de bondad de ajuste se sitúanpor encima 0.90 (1.00 para el ÍndiceComparativo de Ajuste CFI; 1.00 parael Índice de Bondad de Ajuste AGFI y1.00 para el (Índice de Bondad GFI).Los índices de error se sitúan pordebajo 0.10 (RMSEA=0.0,RMR=0.033, RMR estan -darizado=0.033).

Los resultados del análisis factorialexploratorio de la segunda escala encuanto a pesos factoriales (entre 0.04 y

0.94) y fiabilidad son similares a losencontrados en el análisis factorialexploratorio. Por lo que respecta a losíndices de bondad de ajuste se sitúanpor encima de 0.90 (0.97 par el ÍndiceComparativo de Ajuste CFI; 0.97 para elÍndice de Bondad de Ajuste AGFI y 0.97para el Índice de Bondad GFI). Losíndices de error se sitúan por debajo0.10 (RMSEA=0.0, RMR=0.076, RMRestandarizado=0.076).

Los resultados del análisis factorialconfirmatorio de la tercera escala encuanto a pesos factoriales (entre 0.55 y0.85) y fiabilidad son similares a losencontrados en el análisis factorialexploratorio. Por lo que respecta a losíndices de bondad de ajuste se sitúanpor encima de 0.90 (0.96 para el ÍndiceComparativo de Ajuste CFI; 0.96 parael Índice de Bondad de Ajuste AGFI y0.98 para el Índice de Bondad GFI).Los índices de error se sitúan pordebajo 0.10 (RMSEA=0.0,RMR=0.075, RMR estan-darizado=0.075).

Los resultados del análisis factorialconfirmatorio de la cuarta escala encuanto a pesos factoriales (entre 0.55 y0.92) y fiabilidad son similares a losencontrados en el análisis factorialexploratorio. Por lo que respecta a losíndices de bondad de ajuste se sitúanpor encima de 0.90 (0.96 para el ÍndiceComparativo de Ajuste CFI; 0.98 parael Índice de Bondad de Ajuste AGFI y0.94 para el Índice de Bondad GFI).Los índices de error se sitúan pordebajo 0.10 (RMSEA=0.0,RMR=0.062, RMR estan-darizado=0.062). 2. Resultados descriptivos de lasescalas

En el segundo estudio se

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

obtuvieron los siguientes resultados enlas cuatro escalas. En la Tabla 10figuran los estadísticos descriptivosreferidos a la Escala I y a sus factores.La moda tanto en el total de la escalacomo en los distintos factores es de 5.La mediana alcanza un valor máximode 5 en los factores de«Implementación», «Interacción» y«Contenidos», y un mínimo en el

factor «Clases» con 4,903 y 4,800 parael valor total de la escala.

En la Tabla 11 f iguran loses tad ís t i cos desc r ip t i voscorrespondientes a la Escala II y asus factores. La moda alcanza un valormáximo de 5 para los factores de«Seguridad», «Mater ial y Mante-nimiento» y «Espacio», en tanto quepara el factor «Limpieza» es de 4,20 y

de 4,31 para el valor total de la Escala. La mediana alcanza un valor máximo de 5 enel factor de «Seguridad», para los demás factores fluctua en el intervalo de 4,000 al4,125.

En la Tabla 12 se recogen los estadísticos descriptivos correspondientes a laEscala III y a sus factores. La moda tanto en el total de la escala como en losdistintos factores es de 5. La mediana alcanza un valor máximo de 4,6 en el factor de«Ejecución» y un mínimo en el factor «Oferta» con 4,25.

En la Tabla 13 se muestran los estadísticos descriptivos correspondientes a laEscala IV y a sus factores. La moda tanto en el total de la escala como en losdistintos factores es de 5. La mediana alcanza un valor máximo de 5 en el factor de«Relación» y un mínimo en el factor «Sugerencias» con 3,625.Discusión

Con este cuestionario hemos pretendido construir un instrumento que evalúetodos aquel los aspectos relevantes en un programa de act iv idad f ís ica.Consideramos que en un programa de estas características hay unos elementosimportantes que deben ser evaluados de forma independiente: el profesor o monitor,las actividades y las instalaciones donde se realizan y el personal de servicio y lainformación que se suministra. En cada uno de estas escalas se han consideradofactores diferentes. Asi en la primera de las escalas, la referida al profesor se hanconsiderado los siguientes: (a) en el factor Clases se ha considerado el grado deimplicación, la percepción que el usuario tiene de la organización de las clases y laadecuación de los contenidos a la realidad del usuario; (b) en el factor Contenidos seconsidera la adecuación de estos y cómo son abordados por el profesor; (c) con en elfactor Interacción pretendemos estimar la satisfacción producida por este elementode tanta importancia en la transmisión del conocimiento y de las habilidades, (d)Implementación de las clases, hace mención a la puntualidad y a la satisfación de losintereses de los usuarios. En la escala de las instalaciones, los factores son: (a),Limpieza, en qué medida los usuarios perciben la limpieza de las instalaciones; (b)Espacio, temperatura y comodidad, en este factor se estima la percepción con

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

respecto a la suficiencia del espacio, la temperatura (incluida las piscinas cubiertas) yla comodidad de las las mismas; (c) Material y mantenimiento, si es suficiente y estácuidado; y finalmente (d) Seguridad e iluminación, la seguridad con respecto a otraspersonas y a la propia integridad . La tercer escala relativa a las actividades estácompuesta por: (a) ejecución de las actividades y (b) oferta diversificada deactividades. Finalmente, la escala referida al Personal y a la información se componede los siguientes factores: (a) Sugerencias, si se percibe que las sugerencias paramejorar se atienden, (b) Servicios, sobre los que presta la propia instalación dondese realiza el programa (c) Relaciones con el resto del personal que trabaja o colaboraen el programa o la instalación y (d) Canalización de la Información, la percepciónque se tiene sobre la misma.

A la vista de los resultados de los distintos análisis podemos considerar que coneste cuestionario hemos conseguido una herramienta de una fiabilidad satisfactoria ycon una estructura factorial parsimoniosa y que aporta información de gran utilidaden la evaluación de estos programas. Ya que los intentos realizados, utilizandocriterios de carácter cuantitativo y cualitativo, para conseguir una estructura factorialmás simple implicaban o una gran reducción de la varianza explicada o una grandisminución de la fiabilidad de la escala. Por tanto podemos concluir que es uninstrumento que reúne los requisitos metodológicos necesarios para estimar lasatisfacción de los usuarios de programas de actividad física.

Esta escala permite realizar una evaluación de programas de actividad físicateniendo en cuenta los distintos aspectos implicados que van desde el profesor y loscontenidos que se imparten hasta la información proporcionada acerca de lasdistintas ofertas y la accesibilidad a los distintos responsables. El cuestionariotambién permite realizar tanto una evaluación sumativa como formativa. La másusada en el ámbito de los programas de actividad física es la sumativa (razones detipo económico y de tradicción lo justifican). Esta flexibilidad del instrumento, aquípresentado, vendría explicada por su estructura a través de las cuatro escalas que locomponen. Esto permitiría diseñar una estrategía evaluativa en la recogida de datosen función de las deficiencias presentadas por el programa. Consideramos de granutilidad utilizar este cuestionario en combinación con una metodología de indicadores(Hernández Mendo y Pérez Mazuecos, 1999; Hernández Mendo, 2000).

Uno de los objetivos que pretendíamos, además de la construcción de la propiaescala, era promover la cultura evaluativa en los programas de actividad física con elfin de conseguir mejorar la efectividad, la eficacia, la cobertura, etc. Conseguir unamejor planificación en donde la evaluación este contemplada, que las personasencargadas de la implementación de los programas sean profesionales (HernándezMendo y Anguera, 1999; Anguera y Hernández Mendo, en prensa).

Referencias

Aguilar, M. J. y Ander-Egg, E. (1992). Evaluación de servicios y programas sociales .Madrid: Siglo XXI.

Alvira, F. (1991). Metodología de la evaluación de programas . Madrid: Centro deInvestigaciones Sociológicas.

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Anguera, M. T. (1991). Evaluación del comportamiento en contextos naturales.Revista de Psiquiatría de la Facultad de Medicina de Barcelona, 18 (6), 277-287.

Anguera, M. T. (1995). Diseños. En R. Fernández-Ballesteros (Ed.), Evaluación deprogramas. Una guía práctica en ámbitos sociales, eduativos y de salud (pp.149-172). Madrid: Síntesis.

Anguera, M. T. (en preparación). Evaluación de programas sociales y sanitarios. Unabordaje metodológico .

Anguera, M. T. y Hernández Mendo (en prensa). Evaluación de programas deact ividad f ísica. En A. Hernández Mendo, Psicología del Deporte:Fundamentos y aplicaciones. Barcelona: Ediciones de la Universidad deBarcelona.

muy frecuentemente nunca

5 4 3 2 1

RESPECTO AL PROFESOR 5 4 3 2 11. Considera que es puntual2. Cree que es adecuada la distribución del tiempo en lasclases3. Cree que presta una atención adecuada a los problemas delos usuarios-alumnos 4. Considera que el trato es agradable5. Cree que lleva a cabo un buen aprovechamiento del espacioen la instalación6. Percibe al profesor seguro cuando contesta las preguntasque le plantea7. Considera que la utilización del material disponible es eladecuado8. Cree que el profesor se implica suficientemente en las clases9. Considera que el profesor anima suficientemente al grupo10. Percibe que las clases están suficientemente organizadas11. Considera que las exigencias del profesor están adecuadasa las condiciones de los alumnos 12. Cree que el profesor adapta las clases a los intereses de losalumnos-usuarios 13. Percibe que el profesor viste de forma adecuada14. Considera que el carácter del profesor es agradable

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

RESPECTO A LAS INSTALACIONES 5 4 3 2 115. Considera que los vestuarios están suficientemente limpios16. Cree que las instalaciones-salas de trabajo están suficientementelimpias17. En el caso de las piscinas, cree que el agua está suficientementelimpia18. En el caso de las piscinas, cree que el agua tiene la temperaturaadecuada19. Cree que el espacio limita las actividades que se pueden realizar20. Considera que los vestuarios son lo suficientemente amplios21. En las instalaciones cubiertas, cree que la temperatura ambientees la adecuada22. Considera que la seguridad e intimidad en los vestuarios es laadecuada23. Cree que el acceso a las instalaciones es fácil y cómodo24. Considera que el mantenimiento de la instalación es eladecuado25. Cree que son atendidas adecuadamente las sugerencias demejora de las instalaciones 26. Considera que se dispone de suficiente material para las clases 27. Considera que el material está en condiciones óptimas para suuso28. Cree que la iluminación es agradable29. Considera que el agua de las duchas está a la temperaturaadecuada30. La instalación le ofrece seguridad en lo que se refiere a suintegridad física.

RESPECTO A LAS ACTIVIDADES 5 4 3 2 131. Considera que la oferta de actividades es lo suficientementeamplia32. Cree que la oferta de actividades se actualiza33. La actividad en la que participa cubre tus expectativas34. Considera que la actividad es amena35. Cree que las tareas que desarrolla en la clase son losuficientemente variadas 36. Considera que la duración de las clases es adecuada37. Cree que el n úmero de sesiones semanales es el óptimo

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

RESPECTO A LAS RELACIONES CON EL PERSONAL YLA INFORMACIÓN

5 4 3 2 1

38. Dispone en las instalaciones de algún medio paratransmitir sus sugerencias39. La información es clara sobre las actividades que sedesarrollan en el centro40. Te ha resultado sencillo la inscripción en la actividad en laque participas41. El coste de la actividad es adecuado a los servicios que seofrecen42. Conoce a la persona a la cual tiene que transmitir laseventualidades y sugerencias43. Considera que el responsable de la instalación estáaccesible44. Considera que el personal de servicio está cuando se lenecesita45. Considera que el trato del personal de la instalación esagradable46. Cree que el horario de la instalación es adecuado47. Considera que el horario de las oficinas de la instalación esadecuado48. Cree que los puntos de información son adecuados49. Considera que hay suficientes puntos de información en lainstalación50. Cree que hay buena relación entre el personal de lainstalación51. Considera que la relación en el grupo en que Vd. participaes agradable52. Cree que las actividades que se desarrollan en lainstalación fomentan los lazos de amistad dentro del grupo

Cohen, E. y Franco, R. (1993). Evaluación de Proyectos Sociales. Buenos Aires:Grupo Editor Latinoamericano.

Cronbach, L. J. (1981). Toward a reform of program evaluation. San Francisco:Jossey-Bass.

Fernández-Ballesteros, R. (1995b). Cuestiones conceptuales básicas en evaluaciónde programas. En R. Fernández-Ballesteros (Ed.), Evaluación de programas.Una guía práctica en ámbitos sociales, eduativos y de salud (pp. 21-47).Madrid: Síntesis.

Fernández-Ballesteros, R. (1995c). El ciclo de intervención social y evaluación. En R.Fernández-Ballesteros (Ed.), Evaluación de programas. Una guía práctica enámbitos sociales, eduativos y de salud (pp. 50-74). Madrid: Síntesis.

Guelzo,C. M. (1955). Evaluating the practical exercise. Military Review, 35(1), 32-38.Hayes, B. E. (1995).Cómo medir la satisfacción del cliente. Desarrollo y utilización de

cuestionarios. Barcelona: Ediciones Gestión 2000.Heil, J. y Henschen, K. (1996). Assesment in sport and exercise psychology. En Van

Raalte, J. L.; Brewer, B. W. (Eds.), Exploring sport and exercise psychology(pp.229-255). Washington, DC: American Psycological Association.

Hernández Mendo, A. (2000). Psicosociología de la evaluación de programas deactividad física: el uso de indicadores. Lecturas: EF y Deportes. Revista Digital,18, febrero 2000 http://www.sportquest.com/revista/efd18/psoc.htm

Hernández Mendo, A. y Anguera, M. T. (1999). Evaluación de la temporalidad en losprogramas de actividad física: el PERT y la técnica de compensación temporal.En Gines Nieto García y J. Garcés de los Fayos Ruiz, Psicología de laActividad Física y del Deporte , Vol. I (pp.337-349). Murcia: Sociedad Murcianade Psicología de la Actividad Física y el Deporte.

Hernández Mendo, A. y Anguera, M. T. (2001). Análisis psicosocial de los programasde actividad física: evaluación de la temporalidad. Psicothema, 13(2), 263-270.

Hernández Mendo, A. y González Fernández,M. D. (1995). El modelo de flujo deCsikszentmihalyi en la iniciación a los deportes de montaña en la enseñanzasecundaria. Escola Crítica, 9-10 , 131-146.

Hernández Mendo, A. y Pérez Mazuecos,G. (1999). Utilización de índices sintéticosen la evaluación de programas de actividad física. En Gines Nieto García y J.Garcés de los Fayos Ruiz, Psicología de la Actividad Física y del Deporte , Vol.I (pp.385-391). Murcia: Sociedad Murciana de Psicología de la Actividad Físicay el Deporte.

López Blasco, A. (1992). Proyectos de evaluación de la praxis en Servicios Sociales.En Simposium Nacional de Evaluación en Servicios Sociales (pp. 9-31). Jaén:Diputación Provincial de Jaén.

Mohr, L. B. (1992). Impact analysis for program evaluation . Newbury Park: Sage.Muñoz Tortosa, J. (1992). Metodología de intervención en el seguimiento y

evaluación de los programas de ayuda social a la infancia. En SimposiumNacional de Evaluación en Servicios Sociales (pp. 101-125). Jaén: DiputaciónProvincial de Jaén.

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

Rebolloso, E. (1994). La evaluación del personal profesional: ¿un modelo deevaluación nuevo o una síntesis de modelos previos? Revista de PsicologíaSocial, 9 (2), 231-255.

Scriven, M. (1967). The methodology of evaluation. En R.W. Tyler, R.M. Gagne & M.Scriven (Eds.), Perspectives of curriculum evaluation . Chicago: Rand McNally.

Veney, J. E. y Kaluzny, A. D. (1984). Evaluation and decision making for healthservices program. Englewood Cliffs, N.J.: Prentice-Hall.

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Anexo

I.C.P.A.F.INVENTARIO DE CALIDAD EN PROGRAMAS DE ACTIVIDAD FÍSICA

A fin de poder ofrecerle un mejor servicio, nos gustaría conocer la opinión quetiene Vd. de la calidad de los servicios ofrecidos por.......................................P o rfavor, indique hasta qué punto está de acuerdo o en desacuerdo con los enunciadosque aparecen a continuación en relación al servicio que recibió de nuestro personal ya su opinión sobre las instalaciones que usa. No existen repuestas malas o buenas,verdaderas o falsas, únicamente deseamos conocer SU OPINIÓN SINCERA SOBRENUESTRO SERVICIO

Hernández, A. Un cuestionario para evaluar la calidad en programas ...

Revista de Psicología del Deporte. 2001. Vol. 10, núm. 2, pp. 179-196