título: validade e confiabilidade de instrumentos de ... · objetivo do minicurso apresentar os...
TRANSCRIPT
![Page 1: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/1.jpg)
Minicurso: Validade e confiabilidade de
instrumentos de mensuração
Ludmilla Jacobson Professora Adjunta
Departamento de Estatística UFF
![Page 2: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/2.jpg)
Objetivo do Minicurso
Apresentar os conceitos de validade e
confiabilidade, assim como as técnicas
estatísticas mais adequadas a cada tipo de
variável.
![Page 3: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/3.jpg)
Medição
“A atribuição de números a objetos ou eventos, de acordo com regras.”
“É o processo de ligar conceitos abstratos a indicadores empíricos”
![Page 4: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/4.jpg)
Exemplos
Pressão Arterial – O Sr. É Hipertenso?
• Conceito de Pressão Arterial
• Instrumento de medição – o resultado ou valor observado é a variável operacional.
![Page 5: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/5.jpg)
Exemplos
Horas - Que horas são?
Horário de referencia e consenso – Ex. Brasília
Variabilidade entre pessoas
![Page 6: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/6.jpg)
Equação de Medição
EVX Onde :
V é o Valor Verdadeiro
E é o erro Aleatório
![Page 7: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/7.jpg)
Minimizar Erro Aleatório
![Page 8: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/8.jpg)
Validade
Grau em que um instrumento mede o
que se propõe a medir.
![Page 9: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/9.jpg)
Confiabilidade
Se refere a quanto um instrumento de
mensuração produz o mesmo
resultado em repetidas tentativas.
![Page 10: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/10.jpg)
Instrumentos de Mensuração
Instrumentos de mensuração de dados são
utilizados em pesquisas de diversas áreas do
conhecimento.
Avaliar a validade e confiabilidade destes
instrumentos é essencial para evitar erros
sistemáticos (viés) e conclusões incorretas para a
pesquisa.
![Page 11: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/11.jpg)
Objetivo: Evitar o Viés e minimizar o Erro Aleatório
O viés representa o erro sistemático que ocorre no desenho
ou mesmo durante o estudo, podendo comprometer as
conclusões deste.
O erro aleatório representa a diferença entre a estimativa
obtida na amostra e o parâmetro real na população de
referência
Fonte: Ribeiro e Cardoso (2009)
![Page 12: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/12.jpg)
Instrumentos de Mensuração
Questionários
Fichas para anotações de resultados laboratoriais
![Page 13: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/13.jpg)
Instrumentos de Mensuração Exemplos
• Estresse Percebido
• ISAAC
• Qualidade de Vida
• Felicidade
• Motivações para Curtir, Compartilhar e/ou Publicar conteúdos políticos e sociais no Facebook
![Page 14: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/14.jpg)
Variáveis
Qualitativas
Nominal
Ordinal
Quantitativas
Discreta
Contínua
![Page 15: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/15.jpg)
Escalas de Medição
Nominal
Ordinal
Intervalar
Razão
Contagem, %, moda, teste Qui-quadrado, McNemar
Operações Possíveis
Quantis, teste Mann-Whitney, Kruskal-Wallis, correlação de Spearman
Média, Variância, Test t, ANOVA, correlação de pearson
Todas as anteriores, coeficiente de variação, ...
![Page 16: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/16.jpg)
Escala Nominal Escala Ordinal
Muito Bom 5
Bom 4
Regular 3
Ruim 2
Muito Ruim 1
Escala Nominal transformada em Escala Ordinal Escala Intervalar:
Temperatura (Celsius e Farenheit) Escala de Razão: Razão de Prevalência Risco Relativo
Exemplos de Variáveis e suas escalas de medida
![Page 17: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/17.jpg)
Escala Likert Muito usada para medir atitudes e
comportamentos.
Concordo plenamente
Concordo parcialmente
Não concordo nem discordo
Discordo parcialmente
Discordo totalmente
![Page 18: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/18.jpg)
Escala Likert
http://www.netquest.com/blog/br/avancos-tecnologicos-no-mundo-do-software-de-pesquisas/
![Page 19: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/19.jpg)
Técnicas para Medir Validade e Confiabilidade
Sensibilidade e Especificidade;
Razão de Verossimilhança;
Alfa de Cronbach;
Coeficiente Kappa;
Correlação;
Bland&Altman
Coeficiente de correlação intraclasse;
Análise Fatorial;
etc.
![Page 20: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/20.jpg)
Validade
![Page 21: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/21.jpg)
Validade de Conteúdo Quanto um instrumento pode refletir do fenômeno
estudado.
Avalia-se se os itens de um índice composto refletem
um domínio específico de acordo com o constructo
teórico de interesse.
A validação de conteúdo fundamenta-se no respaldo
de especialista em relação ao conteúdo dos índices.
Modelo Teórico
![Page 22: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/22.jpg)
Validade de Constructo
Constructo é um fenômeno ou objeto não
observável, subjetivo e/ou abstrato.
Um método usado para a validação de
constructo é a Análise Fatorial
![Page 23: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/23.jpg)
Validade de Constructo
A validade convergente e a validade discriminante são
consideradas subgrupos da validade do constructo.
Validade convergente comprova que os constructos
esperados estão correlacionados entre si.
Validade discriminante mostra que as medidas de
distintos constructos, pelo mesmo método, mostram
uma baixa correlação.
![Page 24: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/24.jpg)
Validade de Constructo - Exemplo Facebook Análise Fatorial Exploratória
Variável Fator 1 Fator 2 Fator 3 Fator 4 Fator 5
q14_1 0,406 0,124 0,09 0,113 0,759
q14_2 0,795 0,198 0,096 0,182 0,103
q14_6 0,375 0,653 0,096 0,221 0,185
q14_9 0,413 0,658 0,111 0,184 -0,114
q14_4 0,679 0,171 0,119 0,023 0,256
q14_11 -0,121 0,005 -0,049 -0,912 -0,072
q14_3 0,871 0,084 0,046 0,13 0,049
q14_8 0,556 0,375 0,091 0,508 0,014
q14_7 0,508 0,333 0,158 0,483 0,116
q14_10 -0,003 0,876 -0,009 -0,092 0,126
q14_5 0,538 0,469 0,119 0,379 0,01
q6 0,382 -0,095 0,614 -0,04 -0,413
q7 0,074 0,11 0,855 0,135 -0,036
q8 0,022 0,075 0,875 0,024 0,244
Cargas Fatoriais - Matriz Rotacionada (VARIMAX)
Validade Convergente
Correlação entre as variáveis que
pertencem a um mesmo constructo
![Page 25: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/25.jpg)
Modelo de mensuração da comunicação boca a boca no Facebook
CBB – Comunicação boca-a-boca BI - Benefício Interpessoal AE – Autoelevação FLS – Força dos laços sociais
![Page 26: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/26.jpg)
A validade discriminante foi avaliada comparando a raiz quadrada da AVE com as correlações entre os constructos.
A raiz quadrada da AVE em cada variável latente deve ser maior que as correlações entre as variáveis latentes.
CBB FLS BI AE
CBB 0,798
FLS 0,166 0,802
BI 0,572 0,308 0,791
AE 0,361 0,194 0,593 0,805
Raiz quadrada da AVE e correlações entre as variáveis latentes
Validade Discriminante
AVE Variância
Média Extraída
Validade de Constructo - Exemplo Facebook
![Page 27: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/27.jpg)
Validade de Critério
Avalia-se o quanto o resultado de uma medida ou teste
obtido no estudo concorda com o de outro considerado
como padrão-ouro para identificar o constructo de
interesse.
Os Métodos geralmente usados são:
• Sensibilidade e Especificidade
• Curva ROC
• Razão de Verossimilhança
![Page 28: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/28.jpg)
Sensibilidade e Especificidade
Método
Novo
Método Padrão-Ouro Total
Doente Não Doente
Teste
Positivo
Verdadeiro
Positivo
Falso
Positivo P(B)
Teste
Negativo
Falso
Negativo
Verdadeiro
Negativo P(Bc)
Total P(A) P(Ac) 1
Tabela. Possíveis resultados de um teste diagnóstico para identificar uma doença
![Page 29: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/29.jpg)
Sensibilidade
Eventos: D: Ter Doença T+: Teste Positivo Dc: Não ter Doença T-: Teste Negativo Sensibilidade:
É a proporção de verdadeiros-positivos entre todos os doentes.
Avalia a capacidade do teste detectar a doença quando ela está
de fato presente.
)(
)()|(
DP
DTPDTP
![Page 30: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/30.jpg)
Especificidade
Eventos: D: Ter Doença T+: Teste Positivo Dc: Não ter Doença T-: Teste Negativo
Especificidade:
É a proporção de verdadeiros-negativos entre todos os sadios.
Avalia a capacidade do teste afastar a doença quando ela está
ausente.
)(
)()|(
c
cc
DP
DTPDTP
![Page 31: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/31.jpg)
Sensibilidade e Especificidade Observações:
Para rastrear todos os doentes – priorizar sensibilidade; (Ex.
testar HIV em pessoas que vão doar sangue)
Para confirmar diagnóstico – priorizar especificidade; (Ex.
testar se uma pessoa tem HIV, o resultado falso-positivo pode
lesar o paciente emocionalmente)
Um teste muito sensível raramente deixará de diagnosticar
indivíduos com a doença ;
Um teste muito específico raramente classificará como doente
um indivíduo sem a doença.
![Page 32: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/32.jpg)
Sensibilidade e Especificidade Exemplo:
Artigo: Anemia ferropriva em escolares de Campinas, São Paulo: prevalência,sensibilidade e especificidade de testes laboratoriais.
![Page 33: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/33.jpg)
Curva ROC Se
nsi
bili
dad
e
1 - Especificidade
Quanto mais próximo do canto superior esquerdo, melhor será o
poder discriminatório do teste.
![Page 34: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/34.jpg)
Curva ROC – Exemplo:
Artigo: Curva ROC para teste diagnóstico Martinez et al., 2003
![Page 35: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/35.jpg)
Razão de Verossimilhança
• RV+ Expressa quantas vezes é mais provável encontrar um
resultado positivo em pessoas doentes quando comparado às
pessoas não-doentes. Quanto Maior, Melhor.
• RV- Expressa quantas vezes é mais provável encontrar um
resultado negativo em pessoas doentes quando comparado com
pessoas não-doentes. Quanto Menor, Melhor.
dadeEspecifici
adeSensibilidRV
1
dadeEspecifici
adeSensibilidRV
1
![Page 36: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/36.jpg)
Razão de Verossimilhança Exemplo:
Artigo: Anemia ferropriva em escolares de Campinas, São Paulo: prevalência,sensibilidade e especificidade de testes laboratoriais.
045,1877,01
129,0
RV 994,0
877,0
129,01
RV
![Page 37: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/37.jpg)
Gráfico de Bland & Altman
Um gráfico de dispersão relacionando as médias
dos dois métodos (M1 + M2)/2, no eixo X, com o
viés (diferença entre eles), M1 – M2, no eixo Y.
A hipótese do viés ser ou não igual a zero pode
ser testada por um teste t para amostras
pareadas.
![Page 38: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/38.jpg)
Gráfico de Bland & Altman
É importante visualizar se os pontos estão bem distribuídos ao
longo do eixo Y, pois isso vai me mostrar se o erro é maior ou
menor num determinado intervalo de valores, ou se o erro é
generalizado em todos os indivíduos.
IDEAL é ter uma distribuição HOMOGÊNEA.
![Page 39: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/39.jpg)
Gráfico de Bland & Altman Exemplo 1:
O tempo de gestação de 50 mulheres foi estimado através da data da última menstruação (DUM) e pelo ultrassom.
dum: número de semanas de gestação calculado a partir da DUM;
eco_1: número de semanas de gestação calculado a partir do ultrassom obtido após a 20ª semana de gestação;
![Page 40: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/40.jpg)
Gráfico de Bland & Altman Exemplo 1:
![Page 41: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/41.jpg)
Gráfico de Bland & Altman Exemplo 2:
Peso Autorreferido vs Peso Aferido
Neste caso, mesmo com uma diferença de médias perto do zero, observa-se grande variabilidade dos dados (quase ± 8 kg);
Os resultados indicam que a medida autorreferida não é um bom procedimento (é pouco preciso em relação ao peso medido)
![Page 42: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/42.jpg)
Resultado (INTERPRETACAO FINAL): Em média o peso autorreferido foi 0,73 kg menor (IC95% -1,34;-0,12) do que o peso medido, mas os limites de concordância de ± 2DP
(ou de 95% de concordância) oscilaram entre -8,3 e +6,9 kg.
-20
-10
100
Dif
fere
nce
of p
eso
auto
rref
erid
o an
d pe
so a
feri
do
40 60 80 100 120Mean of peso autorreferido and peso aferido
observed average agreement 95% limits of agreement
y=0 is line of perfect average agreement
![Page 43: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/43.jpg)
Confiabilidade
![Page 44: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/44.jpg)
Consistência Interna
Mede a correlação entre diferentes itens em um
mesmo teste na avaliação de um constructo.
Exemplo de constructo :
• satisfação do cliente
Técnica usada:
• Alfa de Cronbach
![Page 45: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/45.jpg)
Alfa de Cronbach
2
1
2
11 t
k
i
i
S
S
k
k
K é o número de itens do questionário
é a variância do item
é a variância total do questionário
2
iS
2
tS
![Page 47: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/47.jpg)
Alfa de Cronbach e AVE Exemplo Facebook
CBB FLS BI AE
Alfa de Cronbach 0,835 0,713 0,879 0,723
AVE 0,637 0,644 0,626 0,648
Os instrumentos avaliados neste estudo apresentaram
coeficientes do Alfa de Cronbach superiores a 0,7 em todas as
dimensões e AVE maiores que 0,5, tornando-o satisfatório e
com boa consistência interna.
Coeficientes das variáveis latentes
![Page 48: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/48.jpg)
Variância Média Extraída - AVE Uma medida complementar da confiabilidade
Ela reflete a variância total das variáveis observadas explicada pela variável latente.
Bons valores para um constructo devem ser iguais ou acima de 0,50 (Garver & Mentzer, 1999).
k
i
i
k
i
i
k
i
i
AVE2
2
é a carga fatorial padronizada da variável i
Ei é o erro de mensuração da variável i.
i
![Page 49: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/49.jpg)
Confiabilidade Intra-Observador
Consiste na aplicação de um mesmo instrumento duas vezes em um intervalo de tempo razoável.
Tem como pressuposto que as aplicações são independentes.
Coeficiente de Correlação de Pearson.
Coeficiente de Concordância Kappa
![Page 50: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/50.jpg)
Confiabilidade Interobservador
Dois ou mais observadores diferentes aplicam o instrumento no mesmo grupo de indivíduos. A ideia básica é comparar a concordância das medidas
Métodos usados:
• Coeficiente de Concordância Kappa
• Coeficiente de Correlação intraclasse
![Page 51: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/51.jpg)
Confiabilidade Interobservador
Observador 1
Observador 2
+ - Total
+ a b p1
- c d q1
Total p2 q2 N
Quando discordam, contribui:
Variabilidade do observador
Variabilidade entre indivíduos
Erro aleatório
Sua avaliação mais simples é a proporção dos que se encontram na diagonal
principal. N
d
N
apo
![Page 52: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/52.jpg)
Coeficiente de Concordância Kappa
“Coeficiente Kappa é a proporção de concordância depois que a concordância pelo
acaso é removida de consideração.”
e
eo
p
ppk
1
Onde:
p0 = proporção global de concordância observada
pe = proporção global de concordância esperada pelo acaso
k 0,80 : é considerado excelente. K = 0,60 – 0,79 : é considerado bom. K = 0,40 – 0,59 : é considerado regular. k 0,39 : é considerado ruim
![Page 53: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/53.jpg)
Características do Coeficiente de Concordância Kappa
Pressupostos:
• independência entre os observados;
• independência entre os observadores;
• independência entre as categorias da escala nominal (mutuamente exclusiva);
• observadores são considerados igualmente competentes.
Trata todas as discordâncias como idênticas, não considerando o afastamento da diagonal principal.
![Page 54: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/54.jpg)
Coeficiente de Concordância Kappa
e
eo
p
ppk
1
Teste de Hipóteses
H0: k= 0
H1: k 0
l
i
iiii
ee
e
CRn
CRpp
npks
13
2
21
1
2
1~ ks
kEstatística de Teste:
Ri é o total da linha i Ci é o total da coluna i n é o total geral
![Page 55: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/55.jpg)
Exemplo
Informação do
paciente
Prontuário médico
Sim Não Total
Sim 14 7 21
Não 25 171 196
Total 39 178 217
%25,858525,0217
171
217
14op
%83,757583,0217
196
217
178
217
21
217
39
ep
39,07583,01
7583,08525,0
k
Retirando o efeito do acaso a confiabilidade do teste é de 39%.
Concordância entre entrevista pessoal e informação no prontuário médico relativa ao uso de um medicamento
![Page 56: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/56.jpg)
Coeficiente Kappa Ponderado Usado quando a medida avaliada é mensurada em
uma escala ordinal.
Algumas discordâncias são mais graves que outras!
Assim, no coeficiente Kappa o grau de concordância
é ajustado pela gravidade dos casos discordantes, a
partir do estabelecimento de pesos entre 0
(discordância total) e 1 (não tem discordância).
Os pesos são arbitrários.
![Page 57: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/57.jpg)
Coeficiente Kappa Ponderado Exemplo de Tabela de Pesos
Nível Nível
1º 2º 3º 4º
1º 1 0,667 0,333 0,000
2º 0,667 1 0,667 0,333
3º 0,333 0,667 1 0,667
4º 0,000 0,333 0,667 1
![Page 58: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/58.jpg)
Coeficiente de Correlação Intraclasse ICC
Uma alternativa ao Kappa quando há mais de dois avaliadores
e opções de resposta.
Varia entre 0 e 1. Quanto mais próximo de 1, mais confiável.
Proporção da variabilidade total que é devida à variabilidade
entre as unidades.
22
2
de
eICC
Intraclass Correlation Coefficient
é a variabilidade entre unidades
é a variabilidade intra unidades.
2
e2
d
![Page 59: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/59.jpg)
Coeficiente de Correlação Intraclasse ICC
Ultrassonografia
Indivíduos Clínica 1 Clínica 2 Clínica 3
1
2
3
4
5
6
7
![Page 60: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/60.jpg)
Coeficiente de Correlação Intraclasse
OBS: Quando há apenas duas mensurações para cada unidade de análise, o ICC é interpretado como o Grau de afastamento dos pontos em relação à reta de 45º
(Y=X)
![Page 61: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/61.jpg)
Exemplos
• Artigo 1: Confiabilidade das aferições de estudo sobre violência familiar e desnutrição severa na Infância.
• Artigo 2: Reprodutibilidade de instrumentos utilizados em um levantamento epidemiológico conduzido para investigar uso e avaliação dos serviços odontológicos, comportamentos e condições subjetivas de saúde
![Page 62: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/62.jpg)
Bibliotecas no R
install.packages("ICC")
install.packages("psy")
install.packages("BlandAltmanLeh")
Comandos
![Page 63: Título: Validade e confiabilidade de instrumentos de ... · Objetivo do Minicurso Apresentar os conceitos de validade e confiabilidade, assim como as técnicas estatísticas mais](https://reader031.vdocuments.net/reader031/viewer/2022031306/5bf3dac609d3f280068c593b/html5/thumbnails/63.jpg)
Referencias
• Monteiro GTR, Hora HRM. Pesquisa em Saúde Pública. Como desenvolver e validar Instrumentos de Coleta de Dados.
• http://support.minitab.com/pt-br/minitab/17/topic-library/modeling-statistics/multivariate/item-and-cluster-analyses/what-is-internal-consistency/
• Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics
• HASSEKMANN Maria Helena, Claudia S. Lopes e Michael E. Reichenheim Confiabilidade das aferições de estudo violência familiar e desnutrição severa na Infância. Rev. Saúde Pública 32 (5), 1998.