waarmee meet je?
DESCRIPTION
Waarmee meet je?. Kwaliteit van meetinstrumenten. Kwaliteitscriteria. Schaaleigenschappen (interne consistentie, factorananalyse en collineariteit) Normgegevens Reproduceerbaarheid / betrouwbaarheid Validiteit Responsiviteit (onderdeel van validiteit) / bodem- en plafondeffecten - PowerPoint PPT PresentationTRANSCRIPT
Waarmee meet je?Waarmee meet je?
Kwaliteit van meetinstrumenten
Kwaliteitscriteria
• Schaaleigenschappen (interne consistentie, factorananalyse en collineariteit)
• Normgegevens• Reproduceerbaarheid / betrouwbaarheid• Validiteit • Responsiviteit (onderdeel van validiteit) / bodem- en
plafondeffecten• Feasibility
KNGF-10KNGF-10
Betrouwbaarheid van meetinstrumenten
• Betrouwbaarheid is een deelaspect van validiteit = is het instrument consistent of herhaalbaar
• Verschillende testen na elkaar moeten dezelfde resultaten geven
• Nooit valide als hij niet betrouwbaar is• Wel betrouwbaar maar niet valide
A B
C D
X
X
X X
Oorzaken van meetfouten
1. Subject : motivatie, stemming, vermoeidheid, geheugen, …
2. Testen : heldere instructies, bijkomende richtlijnen, …
3. Scoring : competentie, ervaring, toewijding, … van scorers
4. Instrumentarium : fouten bij het toestel of bij de codering
Methoden om betrouwbaarheid vast te stellen
• Intrabeoordelaar betrouwbaarheid• Interbeoordelaar betrouwbaarheid
Validiteit van instrumenten
• Validiteit = de mate waarin de test of het instrument meet wat hij bedoelt te meten
• Belangrijkste criterium = degelijkheid van de test
‘Face’ en ‘content’ validiteit
‘Face’ validiteit– Is het aannemelijk dat de items het bedoeld begrip
meten?
‘Content’ validiteit – Komen alle relevante dimensies aan bod en zijn er geen
overbodige items
KNGF-14KNGF-14
Construct validiteit
• Indien niet observeerbare constructen gemeten worden bv. intelligentie, angst, attitude, creativiteit, …
• Mate waarin de test dit construct meet door te relateren aan een bepaald gedrag
• Bv. Test om ‘fair play’ te meten en observeren tijdens wedstrijd
Construct validiteit
• Geen gouden standaard• Vergelijking met andere instrumenten• Opstellen van hypothesen
– overeenkomst met soortgelijke instrumenten (convergent)
– geen overeenkomst met andersoortige instrumenten (divergent)
– Verschillen tussen groepen (discriminant)
KNGF-16KNGF-16
Criterium validiteit
• Instrumenten worden gevalideerd ten opzichte van een criterium
• Correlatie van het instrument met een criterium op zelfde moment
• Criterium is dan een reeds gevalideerd, aanvaard instrument OF scores van beoordelaars of prestaties
Generaliseren van validiteit
• Validiteit is populatie specifiek : hoogste validiteit voor sample waarin het is vastgesteld
• Andere leeftijd, geslacht, SES ?
• Verschillende studies nodig die predictor – criterium combineren
Validiteit diagnostische tests
• Sensitiviteit• Specificiteit• Predictive value/likelihood ratio etc
Ziekte aanwezig
Ziekte afwezig
Test Positief Terecht positief
A
Fout-positief
B
A+B
Test Negatief Fout-negatief
C
terecht-negatief
D
C+D
A+C B+D
Sensitiviteit = A/(A+C)= % terecht ziek verklaard
Specificiteit: D/(B+D) = % terecht niet-ziek verklaard
Diabetes aanwezig
Diabetes afwezig
> 100 mg/ml 225
A
225
B
A+B
<100 mg/ml 25
C
525
D
C+D
250 750
Sensitiviteit = A/(A+C)=225/250= 90% (terecht ziek)
Specificiteit= D/(B+D) =525/750= 70% terecht niet-ziek
sensitiviteit
(echt positief)
1-specificiteit
(fout positief)
0 1.0
1.0 ROC curve
Responsiviteit
• Kan het instrument veranderingen aantonen als die optreden?
• Laat het instrument géén veranderingen zien bij de mensen die stabiel blijven?
•Bodem of plafondeffecten?
KNGF-21KNGF-21
Feasibility
• Taal• Benodigdheden• Randvoorwaarden• Tijd• handleiding