estimación de la fiabilidad de las medidas subjetivas en las ciencias
TRANSCRIPT
Estimación de la fiabilidad de las medidas subjetivas en las ciencias de la salud:
¿acuerdo o concordancia?
Eduardo Doval Diéguez
Departament de Psicobiologia i de Metodologiade les Ciències de la Salut
Fac. de PsicologiaUAB
Teoría Clásica de los Tests (TCT)
Modelo (TCT)
Supuestos
Definición
X = V + e
V = E(X)ρ(v,e) = 0ρ(ej,ek) = 0
Pruebas paralelas
Vj = Vk
σej = σek22
Deducciones
e = X - V
E(e) = 0
E(X) = E(V)
cov(V,e) = 0
cov(X,V) = var(V)
cov(Xj,Xk) = cov(Vj,Vk)
var(X) = var(V)+var(e)σe
ρ(x,e)= σx
Coeficiente de fiabilidad
cov(x,x’)ρxx’ = σxσx’
µ1 = µ2 = … = µk
var(X1) = var(X2) = … = var(Xk)
cov(X1, X2) = cov(X1, X3) = … = cov(Xj, Xk)
σ (V)ρxx’ =
2
σ (X)2
Teoría Clásica de los Tests (TCT)
Coeficiente de fiabilidad
σ (V)ρxx’ =
2
σ (X)2
σ (e)ρxx’ = 1-
2
σ (X)2
Estudio de la fiabilidad(TCT)
Estabilidad Consistenciainterna
Dos mitades
Formasparalelas
Test-retest k
partes
Diseño de formas paralelasDiseño test-retest
19302121202318191321172171696
119109
r = 0.761
ρxx’ = 0.761Coeficiente de equivalencia
Coeficiente test-retest o de estabilidad
Shinkai, R., Canabarro, S., Schmidt, S. y Sartori, E. (2004). Reliability of a digital image method for measuringmedial mandibular flexure in dentate subjects. Journal of applied oral science. 12(4), 358-362.
Fiabilidad intra-evaluador (test-retest o estabilidad)
Shinkai, R., Canabarro, S., Schmidt, S. y Sartori, E. (2004). Reliability of a digital image method for measuringmedial mandibular flexure in dentate subjects. Journal of applied oral science. 12(4), 358-362.
(medidas cuantitativas)
Shinkai, R., Canabarro, S., Schmidt, S. y Sartori, E. (2004). Reliability of a digital image method for measuringmedial mandibular flexure in dentate subjects. Journal of applied oral science. 12(4), 358-362.
Fiabilidad entre-evaluadores (equivalencia)(medidas cuantitativas)
Simon, E.A., Saur, F., Buerge, M., Glaab, R., Roos, M. y Kloher, G. (2004). Inter-observer agreementof ultrasonographic measurement of alpha and beta angles and the final type classification basedon the Graf method. Swiss med Wkly. 134, 671-677..
Fiabilidad entre-evaluadores (equivalencia)(medidas categóricas nominales)
NorAnor
.
.
.
.Nor
AnorNorNor
NorNor
.
.
.
.Anor
NorNorNor
Kappa de Cohen
Anormal
Normal 111 6
21 20
AnormalNormalPediatra
Orto
pédi
co
132 26
117
41
158
Anormal
Normal .703
.127
AnormalNormal
.835 .165
.741
.259
1
(.619)
(.043)
Po =111 + 20
158= 0.829
Po+ =2×111
2×111+6+21= 0.892
Po- =2×20+6+21
= 0.5972×20
κ =Po - Pe
1 - Pe= 0.494
.829 - 662
1 - .662=
Fiabilidad entre-evaluadores (equivalencia)(medidas categóricas nominales)
11028162442total
1714 2 (2.47)w=1
1 (3.71)w=4
0 (6.49)w=9
Severo
2312 (5.85)w=1
45 (5.02)w=1
2 (8.78)w=4
Medio
242 (6.11)w=4
8 (3.49)w=1
86 (9.16)w=1
Mínimo
460 (11.71)
w=9
2(6.69)w=4
10(10.04)
w=1
34 Ausente
Evaluador 2
totalSeveroMedioMínimoAusente
Evaluador 1
κw =Σwij × oij
Σwij × eij
= 1- 0.764(1×10)+(4×2)+...+(1×2)
=
1-
(1×10.04)+(4×6.69)+...+(1×2.47)
=
Fiabilidad entre-evaluadores (equivalencia)(medidas categóricas ordinales)
Diseño de consistencia interna (dos mitades)
7788663668186625445864742446220203334212I4I3I2I1
1515912716811912
138610243654
r = 0.619
I1+i3 I2+i4
= 0.765ρxx’ =2r
1+2r=
2×0.6191+2×0.619
Coeficiente de dos mitades (Spearman-Brown)
7788663668186625445864742446220203334212I4I3I2I1
r = 0.523
Diseño de consistencia interna (k partes)
= 0.814ρxx’ = k r
1+(k-1) r =4×0.523
1+(4-1)0.523αs =
Coeficiente de consistencia interna (alfa estandarizada)
0,730,360,53i40,260,80i3
0,46i2
i3i2i1
R =
i1i4
--
-
-
Diseño de consistencia interna (k partes)
7788663668186625445864742446220203334212I4I3I2I1
S =
5,343,472,202,93I43,474,271,403,98I32,201,406,932,91I22,933,982,915,73I1I4I3I2I1
= 0.804ρxx’ = Σσi
σx=α = 2
21-k
k-122.2756.05
1-44-1
σx2 = 56.05
Σσi = 22.27
Coeficiente de consistencia interna (alfa de Cronbach)
Estudio de la fiabilidad(TCT)
Estabilidad Consistenciainterna
Dos mitades
Formasparalelas
Test-retest k
partes
Una única aplicaciónde un instrumento
compuesto por k unidades
Más de unaaplicación
del instrumento
Coeficiente de Equivalencia
(entre-evaluadores)
Coeficientetest-retest o
de estabilidad(intra-evaluadores)
Coeficientede dos mitades
Coeficienteconsistencia
interna
Fiabilidad¿acuerdo o concordancia?
Acuerdo: Acuerdo absolutoConsenso
Concordancia: Acuerdo relativoConsistencia
7788663668186625445864742446220203334212I4I3I2I1
7788663668186625445864742446220203334212I4I3I2I1
α de Cronbach
Spearman-Brown
α de Cronbach
Spearman-Brown
19302121202318191321172171696
119109
r = 0.761
X =
S =
17.5 14.57.49 5.08
Spearman-Brown
30030210212302319019210212102116016606909909
r = 1
X =
S =
17.5 1757.49 74.9
α de Cronbach
r
X1 =
S1 =
X2
S2
INDICES ESTADÍSTICOS MÁS UTILIZADOS EN LA ESTIMACIÓN DEL COEFICIENTE DE FIABILIDAD
CRITERIOS DE INTERPRETACIÓN DE LOS COEFICIENTES DE FIABILIDAD
Nunnally, (1978)α ≥ 0.70 Investigaciónα ≥ 0.80 Comparación de grupos de personasα ≥ 0.90 Decisiones importantes sobre personas individuales
Alfa de Cronbach
Kappa de Cohen
r ≥ 0.70Coeficiente de correlación
COEFICIENTE E INDICE DE FIABILIDAD
Coeficiente de fiabilidad
σ (V)ρxx’ =
2
σ (X)2
Índice de fiabilidad
σ (V)ρXV = ρxx’ =
σ (X)
ρxx’ = 0.70 ρxx’ = 0.492 ρxv = 0.84→→
McGraw, K.O. y Wong, S.P. (1986). Forming inferences about some intraclass correlationcoefficients. Psychological Methods, 1(1), 30-46.
Cortina, J.M. (1993). What is coefficient alpha? An examination of theory and applicationsJournal of applied psychology, 78(1), 98-104.
Fleiss, J.L.(1981). Statistical methods for raters and proportions. New York: Wiley.Landis, J. y Koch, G.G. (1977). The measurement of observer agreement for categorical data.
Biometrics, 33, 159-174.
Kappa
Alfa
Correlación intraclase
Dunn, G. (2004). Statistical evaluation of measurement errors. Londres: Arnold.
Fiabilidad
Shrout, P.E. y Fleiss, J.L. (1979). Intraclass correlations: uses in assessing rater reliability.Psychological Bulletin, 86, 420-428.
REFERENCIAS
Thrompson, B. (2003). Score reliability. Contemporary thinking on reliability issues. Thousand Oaks. Ca: Sage.
Nunnally, J.C. (1978). Psychometric theory. New York: MacGrw-Hill
TCT