Thème 5 (suite) : le développement des échelles de mesure

Les étapes de construction d'un questionnaire Les grands types d'échelles Techniques de conception des échelles Formuler les questions Rédiger le questionnaire

Les étapes de la construction d'un questionnaire

Déterminer quelles informations on veut obtenir Déterminer le type de questionnaire à utiliser (structuré, non structuré) Déterminer le type de questions (ouverte, fermées) Déterminer le contenu de chaque question Décider des mots à utiliser dans la question Décider de la séquence des questions Décider de la présentation du questionnaire Pré-tester le questionnaire Révision et copie finale du questionnaire

Qu'est-ce que le développement d'échelles?

C'est assigner des nombres aux indicateurs des propriétés des objets.

Les échelles peuvent être classifiées : Selon l'objet : mesurer les caractéristiques du répondant ou lui

demander d'agir comme juge. Selon le type d'échelle (catégorique ou de classification) Selon le degré de préférence (implique ou non un jugement sur la

préférence du répondant) Selon les propriétés de l'échelle (nominale, ordinale, intervalle,

ratio) Selon le nombre de dimensions Selon la méthode de construction utilisée (arbitraire, consensus,

analyse d'item)

Les méthodes de réponse

Les échelles catégoriques (rating scales) Surtout utilisées pour juger des propriétés d'objets sans référence à

d'autres objets similaires. (aimer-ne pas aimer, accord -neutre- désaccord, favorable -défavorable, important-pas important).

Les échelles de comparaison (ranking scales) Il s'agit de demander au répondant de comparer 2 ou plusieurs

objets

Les types d'échelles catégoriques

Catégorie simple. (oui-non). Possédez-vous un ordinateur personnel?

Catégories multiples, réponse unique.(collectivement exhaustive !) Où travaillez-vous le plus à l'ordinateur ?

À la maison Au bureau Dans une maison d'enseignement Ailleurs (spécifiez)

Les échelles catégoriques (suite)

Choix multiple, réponses multiples

Noter tous les endroits où vous utilisez un ordinateur À la maison Au bureau Dans une maison d'enseignement En voyage Ailleurs (spécifiez)

Les échelles catégoriques (suite)

Echelle de Likert : très utilisée pour la mesure des attitudes (généralement 5 à 7 catégories). Généralement considérée comme d'intervalle

"Internet est supérieur aux bibliothèques traditionnelles pour faire des recherches approfondies"

Tout à faitd'accord

D'accordNi en accord

ni en désaccord

Pasd'accord

Tout à faiten

désaccord

(5) (4) (3) (2) (1)

Les échelles catégoriques (suite)

Echelle de sémantique différentielle. Intervalle. Utilisée par plusieurs chercheurs en S.I.pour mesurer des croyances concernant un attribut ou un attribut spécifique. Satisfaction de l'usager. Qualité du service aux usagers. Principe : évaluation d'un item sur une échelle de 7 points où les limites

inférieure et supérieure sont une paire de descripteurs bipolaires. Fort-faible, complet-incomplet, positif-négatif, actif-passif, …Avantages : considérée d'intervalle - mesure la direction et l'intensité. Moins de distorsion.

Comment jugez-vous notre service aux utilisateurs ?

___ : ___ : ___ : ___ : ___ : ___ : ___ :

___ : ___ : ___ : ___ : ___ : ___ : ___ :

Poli

Rapide

Impoli

Lent

Les échelles catégoriques (suite)

Echelle numérique : possède des intervalles numériques égaux.Ancrée aux deux extrémités.

Le nouveau programme de support aux utilisateurs : ___ Le nouveau systèmes de facturation interne : ____

Avantage : d'intervalle, simple, très populaire Echelle catégorique multiple : le répondant encercle ses

réponses, permet la visualisation

ExtrêmementFavorable

Extrêmementdéfavorable

5 4 3 2 1

Les échelles catégoriques (suite)

Echelle à somme fixe : on demande au répondant de répartir un montant (par exemple 100 points) entre différentes catégories. Echelle ratio, données continues. Nous souhaitons connaître vos intentions quant à la répartition de

vos dépenses informatiques au courant de la prochaine année. Répartissez 100 points entre les différents types de dépenses suivantes :

Systèmes stratégiquesSystèmes traditionnels et maintenanceArchitecture (matériel, logiciel, télécom)Systèmes d'aide à la décisionAutres

TOTAL 100

Les problèmes à éviter avec les échelles catégoriques

Le biais de complaisance : tendance à émettre des jugements plus favorable. Tenter de l'anticiper en modifiant les énoncés : faible-acceptable-bon-très bon-excellent

Le biais de complaisance négative : tendance à émettre des jugements défavorables

La tendance centrale : tendance à ne pas donner de jugements extrêmes. Ajuster la force des descripteurs, écarter les descripteurs du centre, limiter les différences de significations des descripteurs aux extrêmes, utiliser plus de points dans l'échelle

L'effet de halo : biais systématique que l'évaluateur introduit du fait de son impression générale sur le sujet

Les types d'échelles de classification

Les comparaisons pairées : préférence entre des objets comparés deux à deux. Nombre de combinaison = (n*n-1)/2. Maximum 5 ou 6 objets.

Attention à la cohérence des réponses. Si A>B, B>C alors A>C

Les classification forcée : on force le répondant à ordonné une liste d'objets.

Les échelles comparatives : utilisée pour le benchmarking. Par rapport à celui de votre principal concurrent, votre département

S.I.est:

Supérieur Equivalent Inférieur _____ _____ ______ ______ ______ 1 2 3 4 5

Exemple

Description des échelles utilisées par Barki et al. (1992)

Techniques de conception des échelles

Arbitraire : amasser plusieurs énoncés que l'on pense être représentatifs (non ambigus)

Consensus : les énoncés sont sélectionnés par un panel d'experts qui les évaluent sur leur pertinence, leur potentiel d'ambiguïté et le niveau d'attitude qu'ils représentent.

Analyse d'énoncés. Evaluer chaque énoncé pour savoir s'il discrimine bien entre les personnes dont le score total est élevé et celles dont le score total est faible. Faire un pré-test

Techniques de conception des échelles (suite)

Ex. utilisation d'Internet : 4 indicateurs J'utilise beaucoup Internet pour mon travail J'utilise Internet chaque fois que c'est possible pour mon travail J'utilise fréquemment Internet pour mon travail J'utilise Internet chaque fois que c'est approprié pour mon travail

Score total : somme des scores pour tous les énoncés Identifier 2 groupes de répondants :

groupe 1 : les 25% de scores totaux les plus élevés groupe 2 : les 25% de scores totaux les plus faibles Sélectionner les énoncés qui discriminent le mieux les 2 groupes

Techniques de conception des échelles (suite)

Les échelles factorielles

Les dimensions d'une échelle

Unidimensionnelle (1 ou plusieurs items) Multidimensionnelle (plusieurs items)

Evaluer le contenu de chaque question

Déterminer le contenu de chaque question Est-ce que la question est nécessaire? Est-ce que le répondant possédera l'information demandée? Est-ce que l'information voulue est partie inhérente de l'expérience

du répondant? (Questions filtres, condition d'échantillonnage) Est-ce que le répondant se rappellera de l'information demandée? Est-ce que le répondant devra fournir beaucoup d'effort pour

donner l'information voulue? Est-ce que le répondant répondra à la question? (coopération) Est-ce que une seule question suffit pour obtenir l'information

désirée?

Décider des mots à utiliser

Définir le point à couvrir par la question Question objective ou subjective Enoncés positifs ou négatifs Utiliser des mots simples Eviter les questions ambiguës (normalement, habituellement,

fréquemment, …) Eviter les questions qui suggèrent la réponse Eviter les questions qui impliquent une généralisation Utiliser la réplication avec des mots différents quand c'est possible

Décider de la séquence des questions

Utiliser des questions d'ouverture qui suscitent l'intérêt du répondant Questions simples ou d'opinion.

Mettre les questions difficiles au milieu du questionnaire. Considérer l'influence d'une question sur la suite des

questions. P.ex. si oui, aller à la fin du questionnaire. Placer les questions dans un ordre logique pour le

répondant Accorder une attention particulière à l'ordre des questions

pour les questionnaires postaux, par Internet, etc..

Décider de la présentation

La qualité de la présentation physique influence les attitudes des répondants

Faciliter le contrôle et la codification-numérotation Faciliter la manipulation : petit format, texte aéré, place

pour annoter, instructions claires, etc...