Université de RouenUFR des Sciences de l’Homme et de la Société
Département des Sciences de l’ÉducationLaboratoire CIVIIC
Année Universitaire 2009-2010
Impact des comparaisons internationales sur les politiques éducatives.
La réception des évaluations comparatives internationales sur les acquis des
élèves par les personnels de l'Éducation nationale en France :
enquête exploratoire auprès d'un échantillon pluri-catégoriel
En vue de l’obtention duMaster 2 de recherche à distance francophone
Sous la direction de :Monsieur Gilles COMBAZ,
Professeur à l’Université Lyon 2
Emmanuel KERGALLN° étudiant : 20811752
Remerciements
Bien que quelque peu formels, ces remerciements n'en sont pas moins sincères, tant il est vrai
que ce genre d'exercice ne saurait aboutir sans les conseils et le soutien d'autres personnes.
Je remercie tout d'abord mon directeur de mémoire, Monsieur Gilles Combaz, pour ses conseils
et sa disponibilité. Le chemin parcouru entre le projet de recherche initial et ce travail finalisé
n'aurait pas été possible sans les éclairages et les pistes de réflexion qu'il m'a proposés. Je
remercie également Monsieur André Robert pour ses conseils très utiles. Je souhaite exprimer
plus généralement ma gratitude à l'équipe du MARDIF, notamment pour l'intérêt du matériel
proposé dans les séminaires, dont certains textes ont alimenté directement plusieurs analyses
présentées dans ce mémoire.
Je tiens à exprimer ma reconnaissance aux personnes qui, à un moment où l'autre de ce travail,
ont contribué à son avancement par leur disponibilité et leur attention. Je pense tout particulière-
ment aux personnels de l'Éducation nationale qui ont bien voulu m'accorder un entretien dans le
cadre de cette recherche, ainsi qu'à l'équipe du Centre départemental de documentation pédago-
gique de la Meuse, dont l'assistance bienveillante et toujours renouvelée à été précieuse.
Je remercie chaleureusement Marguerite-Marie Poirier pour sa relecture attentive, ses conseils
avisés et ses encouragements amicaux, de même que Chloé et Mathilde Girardi pour leur
sympathique contribution.
Enfin, je remercie ma compagne, dont l'écoute et le soutien indéfectible m'ont permis de mener
à terme ce travail qui fut parfois difficilement conciliable avec la vie personnelle et profession-
nelle, ainsi que ma mère, à qui je dois sans doute de toujours considérer les études comme une
source d'enrichissement personnel.
MARDIF
Table des matières1 INTRODUCTION...................................................................................................................52 APPROCHE DESCRIPTIVE : LES COMPARAISONS INTERNATIONALES...................72.1 Définitions.............................................................................................................................7
2.1.1 Les comparaisons internationales.............................................................................72.1.2 Concepts sous-jacents...............................................................................................8
2.1.2.1 Évaluation.........................................................................................................82.1.2.2 Éducation comparée........................................................................................102.1.2.3 Psychométrie, édumétrie, docimologie...........................................................12
2.2 Perspective historique et cadre général...............................................................................142.2.1 Genèse et évolution des comparaisons internationales...........................................14
2.2.1.1 Les années 1950 : Naissance de l'IEA............................................................142.2.1.2 1961-1988 : Domination de l'IEA...................................................................162.2.1.3 1988-1993 : Concurrence de l'ETS ................................................................172.2.1.4 1993-2000 : Arrivée de l'OCDE et création de l'enquête PISA......................18
2.2.2 Les évaluations comparatives internationales aujourd'hui.....................................192.2.2.1 Les deux principaux acteurs............................................................................19
2.2.2.1.1 L'Association internationale pour l’évaluation du rendement scolaire...202.2.2.1.2 L'Organisation de coopération et de développement économiques........22
2.2.2.2 Les enquêtes de l'IEA......................................................................................232.2.2.2.1 Conception et organisation des enquêtes de l'IEA..................................252.2.2.2.2 Financement des enquêtes de l'IEA.........................................................282.2.2.2.3 Diffusion des résultats des enquêtes de l'IEA.........................................29
2.2.2.3 L'enquête PISA de l'OCDE.............................................................................302.2.2.3.1 Conception et organisation de l'enquête PISA........................................322.2.2.3.2 Financement de l'enquête PISA..............................................................362.2.2.3.3 Diffusion des résultats de l'enquête PISA...............................................36
2.2.2.4 Les autres évaluations comparatives internationales......................................372.2.2.4.1 Les enquêtes du RERPESE ....................................................................382.2.2.4.2 Les enquêtes du LLECE et de l'OEI.......................................................382.2.2.4.3 Les enquêtes du SACMEQ.....................................................................402.2.2.4.4 Le Programme d’analyse des systèmes éducatifs de la CONFEMEN....40
2.3 Aspects techniques..............................................................................................................422.3.1 Élaboration..............................................................................................................43
2.3.1.1 Éléments théoriques sur les instruments psychométriques / édumétriques....432.3.1.2 Cas particulier des évaluations comparatives sur les acquis des élèves.........50
2.3.2 Problèmes épistémologiques..................................................................................522.3.2.1 Problèmes d'échantillonnage...........................................................................532.3.2.2 Problèmes de traduction et biais culturels......................................................56
2.3.2.2.1 Biais linguistiques...................................................................................572.3.2.2.2 Biais socioculturels.................................................................................59
2.3.2.3 Problèmes de méthodologie............................................................................61
3/191
MARDIF
2.4 Enjeux politiques et analyse critique des comparaisons internationales.............................662.4.1 Comparaisons internationales et politiques éducatives en France..........................672.4.2 Enjeux politiques....................................................................................................68
2.4.2.1 Conséquences (implicites) des comparaisons internationales........................702.4.2.2 La question de l'instrumentalisation des comparaisons internationales..........78
2.4.3 Intérêt et limites des comparaisons internationales................................................823 APPROCHE EXPÉRIMENTALE : LA RECHERCHE........................................................873.1 Définition de la problématique............................................................................................873.2 Choix de la méthodologie...................................................................................................933.3 Conception de l'enquête......................................................................................................96
3.3.1 Détermination de la population..............................................................................963.3.2 Constitution du corpus : choix des enquêtés...........................................................98
3.3.2.1 Taille du corpus...............................................................................................983.3.2.2 Critères de sélection des enquêtés : variables stratégiques.............................993.3.2.3 Mode d'accès aux enquêtés...........................................................................100
3.3.3 Élaboration du guide d'entretien...........................................................................1013.4 Collecte des données : réalisation des entretiens..............................................................1053.5 Dépouillement, analyse et traitement des données...........................................................107
3.5.1 Préparation des données : retranscription des entretiens......................................1083.5.2 Traitement des informations.................................................................................108
3.6 Interprétation des résultats................................................................................................1123.6.1 Que savent les personnels interrogés des comparaisons internationales ?...........1123.6.2 Que pensent les personnels interrogés des comparaisons internationales ?.........1193.6.3 Quel est l'impact des comparaisons internationales sur les personnels interrogés ?.......................................................................................................................................1243.6.4 Différentiation inter-catégorielle des réponses.....................................................126
3.7 Discussion des résultats....................................................................................................1273.8 Discussion sur la méthodologie........................................................................................1294 CONCLUSION....................................................................................................................131 SIGLES ET ACRONYMES..................................................................................................135 BIBLIOGRAPHIE.................................................................................................................137 ANNEXES.............................................................................................................................142
Annexe 1 : Principales enquêtes internationales sur les acquis des élèves..............143 Annexe 2 : Pays membres de l'OCDE......................................................................146 Annexe 3 : Pays représentés au sein de l'IEA..........................................................147 Annexe 4 : Illustration des biais linguistiques.........................................................148 Annexe 5 : Guide d'entretien....................................................................................149 Annexe 6 : Fiches support annexées au guide d'entretien........................................157 Annexe 7 : Entretien n° 2.........................................................................................159 Annexe 8 : Entretien n° 8.........................................................................................167 Annexe 9 : Tableau de données................................................................................180
4/191
MARDIF Introduction
1 INTRODUCTIONLa France a connu au cours des trente dernières années un nombre important de réformes
curriculaires et structurelles de son système éducatif : décentralisation du fonctionnement
matériel des collèges et lycées (1983, 1985), nouveaux programmes du collège et création du
baccalauréat professionnel (1985), Charte pour bâtir l’école du XXIe siècle et réforme des
programmes (1998), loi d'orientation sur l'éducation (1989), loi de programmation du
« Nouveau Contrat pour l’École » (1995), nouveaux programmes de l’école primaire (2002),
Acte II de la décentralisation et nouveau transfert de compétences aux collectivités territo-
riales concernant les collèges et lycées (2004), loi d’orientation et de programme pour l’avenir
de l’École et apparition du socle commun de connaissances et de compétences (2005), circu-
laire de Robien sur l'apprentissage de la lecture (2006), nouveaux programmes de l'école et du
collège (2008), rénovation de la voie professionnelle (2009), réforme du recrutement et de la
formation (mastérisation) des enseignants (2009), réforme du lycée (2010), assouplissement et
projet de suppression de la carte scolaire, etc. De nombreuses réformes ont également été
mises en œuvre à l’étranger (Allemagne, Belgique, Canada, États-Unis, Finlande, Royau-
me-Uni…).
Partant de ce constat, nous nous interrogeons sur le rôle des comparaisons internationales, qui
ont connu une forte montée en puissance durant la même période, dans ces mouvements de
réformes. Plus précisément, nous nous demandons quel est leur impact sur les politiques
éducatives nationales. Faut-il penser, comme Christian Baudelot et Roger Establet, que les
enquêtes du Programme international pour le suivi des acquis des élèves (PISA) « restent
pour l’essentiel absentes du débat public sur l’école »1, en France tout au moins ? Ou, comme
semblent le montrer Nathalie Mons et Xavier Pons à propos de l'enquête PISA 2006, faut-il
constater que les comparaisons internationales en matière éducative sont aujourd'hui
marquées « par une forte instrumentalisation à des fins politiques »2 ? Si les comparaisons
internationales sont invoquées lors des réformes éducatives, servent-elles avant tout à justifier
des orientations commandées par des mobiles économiques ou idéologiques, ou consti-
1 BAUDELOT Christian, ESTABLET Roger, L’élitisme républicain. L’école française à l’épreuve des comparaisons internationales, Paris, Seuil, 2009, p. 11.
2 MONS Nathalie, PONS Xavier, La réception de Pisa en France, Rapport dans le cadre du projet européen Know&Pol (Knowledge and Policy), 2009, p. 64.
5/191
MARDIF Introduction
tuent-elles un véritable outil de connaissance, de diagnostic et de force propositionnelle pour
améliorer l'efficacité et l'efficience du système éducatif, au bénéfice des élèves et, in fine, de
la société ?
Certes, comme l'écrivent Jean-Richard Cytermann et Marc Demeuse, « la confrontation avec
les autres systèmes fait ressortir de manière éclairante les traits les plus originaux de notre
propre système »3. Parce qu'elles permettent une telle confrontation, les comparaisons interna-
tionales présentent à première vue un intérêt certain. Toutefois, ces deux auteurs poursuivent
leur propos en soulignant le fait que la confrontation avec les autres systèmes « influe de plus
en plus sur l’analyse que nous faisons de celui-ci ». Dès lors comment mesurer cette
influence ? Quels en sont les ressorts sous-jacents et les axes déterminants ? Cette influence
est-elle bénéfique ou, au contraire, empiète-t-elle indirectement sur la souveraineté nationale
en orientant à notre insu et hors de tout débat démocratique nos politiques d'éducation ? Les
enjeux économiques, sociaux, culturels et, bien sûr, éducatifs sont-ils identifiés et explicites ?
Autant de questions qui nous semblent se poser à propos des comparaisons internationales en
matière éducative.
Ce travail de recherche a pour objet de mettre à jour si possible, par une expérimentation,
quelques éléments de compréhension des rapports d'influence qui lient comparaisons interna-
tionales et politiques éducatives nationales. Nous commencerons par définir et décrire notre
champ d'étude dans ses différentes dimensions. Au vu de l'analyse descriptive, nous détermi-
nerons précisément la partie expérimentale de notre recherche, à partir de la connaissance que
nous aurons pu acquérir des recherches existantes et des contraintes, notamment matérielles et
temporelles, qui limitent la portée de ce travail. Compte tenu du caractère très vaste et multi-
dimensionnel de cet objet d'étude, la problématique que nous serons amené à formuler sera
nécessairement très circonscrite quant à sa forme et modeste quant à son ambition. Enfin,
partant des données quantitatives et qualitatives que nous aurons pu collecter et traiter, nous
tenterons d'apporter quelques éléments de réponse à certaines des questions posées plus haut.
3 CYTERMANN Jean-Richard, DEMEUSE Marc, La lecture des indicateurs internationaux en France, Rapport pour le Haut Conseil de l'Évaluation de l'École, Paris, 2005. p. 39.
6/191
MARDIF Approche descriptive : les comparaisons internationales
2 APPROCHE DESCRIPTIVE : LES COMPARAISONS INTERNATIONALES
2.1 Définitions
2.1.1 Les comparaisons internationales
Qu'entendons-nous par comparaisons internationales ? Au sens générique, le terme désigne
tous les programmes visant à comparer, en les confrontant à l'aide d'indicateurs, divers
systèmes nationaux. En l'espèce, nous nous intéressons aux systèmes éducatifs. Ainsi définies,
les comparaisons internationales peuvent être réparties en deux grandes catégories :
• les comparaisons descriptives, effectuées à l'aide d'indicateurs informatifs issus de données factuelles descriptives (nombre d'élèves, nombre d'établissements, taux de scolarisation par tranche d'âges, budget, part du produit intérieur brut (PIB) consacrée à l'éducation, coût par élève, etc.) ;
• les comparaisons de résultats – ou de performances – effectuées à l'aide d'évaluations basées sur des indicateurs statistiques. Elles peuvent concerner les acquis des élèves en termes de connaissances ou de compétences - en référence ou non à des programmes –, la correction des inégalités sociales par le système scolaire, l'efficience budgétaire, etc. Dans ce cas, comme nous le verrons plus loin, il ne peut s'agir que d'évaluations spécifiquement réalisées dans ce but pour des raisons de comparabilité, les systèmes éducatifs de différents pays n'étant pas comparables « en l'état ».
Les comparaisons purement descriptives posent probablement de moindres problèmes épisté-
mologiques mais elles s'avèrent d'un intérêt relativement limité. Leur analyse est en tout cas
insuffisante pour comprendre les enjeux sous-jacents aux mouvements de réforme qui
secouent les systèmes éducatifs de nombreux pays, dont la France, depuis une trentaine d'an-
nées. Dans cette optique, les comparaisons de résultats sont beaucoup plus pertinentes. Parmi
ces dernières, nous verrons que les enquêtes internationales qui évaluent les acquis (PISA,
PIRLS4, TIMSS5, IALS6...) ont pris une importance majeure. C'est donc à ces programmes
comparatifs que nous nous intéresserons particulièrement.
4 Progress in International Reading Literacy Study5 Trends in International Mathematics and Science Study6 International Adult Literacy Survey
7/191
MARDIF Les comparaisons internationales
Pour bien appréhender l'objet de notre étude, nous commencerons par en définir les princi-
paux concepts sous-jacents.
2.1.2 Concepts sous-jacents
2.1.2.1 Évaluation
Le dictionnaire Petit Robert7 donne pour le terme évaluation la définition suivante : « Action
d'évaluer, de déterminer la valeur ou l'importance (d'une chose) ». Dans leur dictionnaire des
concepts clés de la pédagogie8, Françoise Raynal et Alain Rieunier proposent une définition
proche de la précédente mais en y introduisant une nuance non dénuée d'intérêt pour notre
propos : « Action d'évaluer, c'est-a-dire attribuer une valeur à quelque chose... ». Ici, le terme
attribuer introduit une dose supplémentaire de subjectivité dans l'acte d'évaluer. Cette subjec-
tivité est au cœur de notre problématique, comme nous le verrons ultérieurement.
Dans l'article consacré à l'évaluation qu'il a rédigé pour le Dictionnaire encyclopédique de
l'éducation et de la formation, Jean Cardinet reprend la définition proposée par De Ketele et
Roegiers9 pour qui « évaluer signifie confronter un ensemble d'informations à un ensemble de
critères, en vue de prendre une décision »10. Cette définition est très intéressante car elle situe
bien la notion d'évaluation dans une dynamique décisionnelle. Ainsi la question initiale de
savoir quel est l'impact des comparaisons internationales sur les politiques éducatives natio-
nales se trouve-t-elle a priori justifiée, dès lors qu'il s'agit de comparaisons établies à partir
d'évaluations.
La définition plus instrumentale proposée par Marc Demeuse nous intéresse également car
nous serons amené à aborder les aspects techniques des comparaisons internationales : « juge-
ment d'une qualité, d'une performance, d'une caractéristique définie, basé sur une mesure
(issue d'un instrument, un test, etc.), se référant à un critère intrinsèque ou extrinsèque et
prenant diverses formes »11.7 Le Nouveau Petit Robert, Dictionnaires Le Robert, 1993.8 RAYNAL Françoise, RIEUNIER Alain, Pédagogie : dictionnaire des concepts clés, Paris, ESF éditeur, 1997.9 KETELE (de) Jean-Marie, ROEGIERS Xavier, Méthodologie du recueil d'informations, Bruxelles, De
Boeck, 1991.10 CHAMPY Philippe, ÉTÉVÉ Christiane, (s. d.), Dictionnaire encyclopédique de l'éducation et de la
formation, Paris, Nathan/Vuef, 2001, p. 438.11 DEMEUSE Marc, « Introduction aux théories et aux méthodes de la mesure en Sciences psychologiques et
8/191
MARDIF Concepts sous-jacents
Il est intéressant de noter que, toujours selon Cardinet, « l'idée d'évaluer le fonctionnement
d'une institution ou le résultat d'une pratique est d'origine anglo-saxonne ». Elle s'oppose à
« l'approche latine, plus rationaliste » et « se situe dans un contexte politique (au sens large),
où une décision est à prendre, plutôt que dans un cadre scientifique, où un savoir est à
valider ». Le caractère subjectif du processus d'évaluation, conditionné par la fixation préa-
lable d'objectifs ou de résultats à atteindre apparaît donc clairement. Évaluer n'est pas
mesurer ! Pour reprendre les propos de Demeuse, il convient de « distinguer le travail d’ins-
trumentation et les méthodes de mesure de l’interprétation qui pourra être faite du mesurage,
même si la construction de l’instrument est déjà un parti pris »12.
Par ailleurs, le concept d'évaluation se décline de différentes manières, selon :
• l'objet évalué : évaluation institutionnelle (d'un établissement, d'un département ministériel, d'un service public...) ou individuelle (des élèves, des personnels) ;
• ses modalités d'exécution : évaluation interne (auto-évaluation), externe ou négociée ;
• l'objectif poursuivi : évaluation prédictive (estimation du résultat prévisible consécutif à une action), sommative (constat/certification), formative (informe l'évalué et l'évaluateur dans le but de déterminer les mesures correctives appropriées) ou diagnostique (informe l'évaluateur dans le but de déterminer des mesures correctives ou de prendre des décisions).
Évaluation formative et évaluation diagnostique présentent des similitudes. Mais tandis que la
première s'applique plus particulièrement au cas d'évaluations individuelles et a pour objectif
d'amener l'évalué à prendre une part active dans les mesures à adopter pour lui permettre d'at-
teindre les objectifs fixés, la seconde concerne également l'évaluation institutionnelle. Cette
dernière s'inscrit donc moins dans une logique spécifiquement pédagogique et comporte une
dimension plus générale : permettre à l'évaluateur de situer l'objet d'évaluation à un instant
donné par rapport à des résultats attendus, des objectifs fixés ou des éléments de comparaison
externes, en vue de prendre des décisions.
Les évaluations comparatives internationales entrent dans le champ des évaluations diagnos-
tiques. Il s'agit d'évaluations institutionnelles – évaluations des systèmes éducatifs ou des
en Sciences de l’Éducation », Notes de cours, IREDU, Université de Bourgogne, janvier 2008, p. 4.12 Ibid.
9/191
MARDIF Concepts sous-jacents
politiques éducatives – généralement réalisées au moyen d'évaluations individuelles – évalua-
tions des élèves. Elles s'inscrivent en outre dans une logique récente de justification ou
« redevabilité » (accountability) de plus en plus prégnante dans un monde économique et
politique dominé par le dogme salvateur de la nouvelle gouvernance issu du New Public
Management anglo-saxon. Il faut toutefois noter que, dans cette optique, évaluer ne suffit
pas ; comme le précise Claude Pair, « pour provoquer un progrès, l'évaluation doit être inté-
grée dans un pilotage où elle est intégrée dans un processus de régulation »13.
Pour terminer, nous soulignerons le caractère polysémique et culturellement marqué du
concept d'évaluation. En anglais, par exemple, il existe deux termes aux acceptions quelque
peu différentes correspondant au vocable français : evaluation et assessment. Le premier
exprime l'idée d'une photographie, de la description d'une situation à un instant donné, et
pourra correspondre selon l'objectif à la notion d'évaluation diagnostique ou sommative. Le
mot assessment, plus dynamique, évoque une évaluation qui s'intéresse davantage aux
processus. Il peut sans doute être rapproché de l'évaluation formative française, bien que ses
modalités de mise en œuvre en diffèrent souvent. En effet, dans les pays anglo-saxons, parti-
culièrement aux États-Unis et au Canada, l'évaluation passe fréquemment par la constitution
par le sujet évalué d'un portefeuille de compétences – ou portfolio. Ce mode d'évaluation tend
aujourd'hui à se diffuser, notamment au sein des institutions européennes, mais il demeure
encore largement étranger à la culture française.
2.1.2.2 Éducation comparée
Les évaluations comparatives internationales – ou comparaisons internationales – en matière
éducative entrent dans le champ de l'éducation comparée, dont Michel Debeauvais, dans l'ar-
ticle qu'il a rédigé sur ce sujet pour le Dictionnaire encyclopédique de l'éducation et de la
formation, attribue l'origine à Marc-Antoine Jullien de Paris (1775-1848)14. Ce dernier « a
utilisé et défini pour la première fois le terme d'éducation comparée dans une série de trois
13 DEROUET Jean-Louis , NORMAND Romuald, (s. d.), L'Europe de l'éducation : entre management et politique, Lyon, INRP, ESEN, 2007, p. 104.
14 CHAMPY Philippe, ÉTÉVÉ Christiane, (s. d.), op. cit, p. 351.
10/191
MARDIF Concepts sous-jacents
articles parus dans le "Journal d’éducation" »15 en 1817 sous le titre « Esquisse et vues préli-
minaires d'un Ouvrage sur l'éducation comparée ».
Debeauvais reprend la définition de l'éducation comparée proposée par H. Van Deale16 :
« L'éducation comparée est la composante pluridisciplinaire des sciences de l'éducation qui étudie des phénomènes et des faits éducatifs dans leur relation avec le contexte social, politique, économique, culturel, etc., en comparant leurs similitudes et leurs différences dans deux ou plusieurs régions, pays, continents ou niveaux mondiaux, afin de mieux comprendre le caractère unique de chaque phénomène dans son propre système éducatif et de trouver des généralisations valables ou souhaitables, dans le but final d'améliorer l'éducation. »
Les trois grands domaines d'application de l'éducation comparée sont : « la comparaison des
idées pédagogiques, dans l'espace et dans le temps ; la comparaison des contenus et des
méthodes d'enseignement ; la comparaison des systèmes éducatifs ». Les évaluations interna-
tionales sur les acquis des élèves relèvent à notre sens des deux derniers domaines.
Nathalie Mons17 rappelle que l'éducation comparée voit s'opposer traditionnellement deux prin-
cipales écoles : le particularisme, qui utilise la comparaison pour identifier les caractéristiques
propres à chaque système ; l'universalisme, qui recherche les lois invariantes communes à tous
les systèmes pour en extraire généralisations et « bonnes pratiques ». Les comparaisons interna-
tionales dont nous traitons ici se rattachent, nous le verrons, au deuxième courant.
Le développement de l'éducation comparée s'est essentiellement produit dans la deuxième
moité du XXe siècle, en réponse à la forte poussée démographique de l'après-guerre et aux
défis de l'éducation de masse qui s'annonçait. Il est toutefois intéressant de souligner le fait
que cette discipline n'a pas connu le même développement dans tous les pays. Elle a suscité
un intérêt plus marqué dans les pays dans lesquels les enseignants reçoivent une formation
pédagogique généraliste, tels que le Canada, les États-Unis ou le Japon, où l'éducation
comparée est perçue comme une source d'enrichissement professionnel.
15 Site internet de l'Association francophone d'éducation comparée (AFEC) : http://afecinfo.free.fr/afec/histoire/Jullien.htm
16 VAN DAELE Henk, L'éducation comparée, Paris : PUF, « Que sais-je ? », n° 2786, 1993.17 MONS Nathalie, « L’évaluation des politiques éducatives. Apports, limites et nécessaire renouvellement des
enquêtes internationales sur les acquis des élèves », dans Revue internationale de politique comparée, 2007/3, Volume 14, 2007, p. 409-423.
11/191
MARDIF Concepts sous-jacents
Debeauvais observe également que l'éducation comparée donne lieu aux mêmes clivages
méthodologiques que les autres sciences de l'éducation, les chercheurs issus des disciplines
classiques (les « Humanités » : histoire, philosophie...) privilégiant une approche qualitative
ou normative, ceux issus des sciences sociales étant plus enclins à l'utilisation des méthodes
quantitatives et à la démarche expérimentale. Comme nous le verrons, ces « querelles » d'ex-
perts ont parfois pu avoir une incidence non négligeable sur le développement des outils
édumétriques mis en œuvre dans les comparaisons internationales, sur l'influence de certains
pays dans leur conception et, peut-être, sur les résultats auxquels ils ont mené.
2.1.2.3 Psychométrie, édumétrie, docimologie
La psychométrie peut être définie comme la science de la mesure en psychologie. Elle
concerne donc l'ensemble des théories et des méthodes de la mesure en psychologie (Dikes,
Tournois, Flieller et Kop)18. Comme le précise Jean-Luc Bernaud19, elle a pour finalité le
développement de méthodes d'évaluation de caractéristiques individuelles. La difficulté
majeure de la mesure en psychologie provient de l'absence de grandeur objectivable : sur
quelle base mesurer l'intelligence, les connaissances, les compétences, les attitudes ? En
conséquence, « les mesures en psychologie sont souvent considérées comme relatives et non
directes : le recours aux étalonnages […] ne correspondant pas à une mesure directe d'un
trait psychologique, mais à une évaluation du positionnement relatif d'un individu comparati-
vement à un échantillon de personnes présentant les mêmes caractéristiques »20 (nous
soulignons). Cette relativité de la mesure est au centre des problématiques méthodologiques
des évaluations comparatives en éducation.
Mais la psychométrie s'est historiquement attachée à mesurer les différences entre individus,
ce qui n'intéresse pas prioritairement l'éducation et a conduit des chercheurs à définir un
champ d'études particulier, considéré par certains comme une sous-discipline de la première et
par d'autres comme une science à part entière : l'édumétrie, qui se définit donc comme la
science de la mesure en éducation. Selon Marc Demeuse21, la première utilisation francophone
du mot édumétrie est apparue sous la plume de Viviane de Landsheere en 1988. Dans son
18 Cités dans : BERNAUD Jean-Luc, Introduction à la psychométrie, Paris, Dunod, 2007, p 9. 19 Ibid..20 Ibid., p. 10.21 DEMEUSE Marc, « Introduction aux théories... », op. cit., p. 255.
12/191
MARDIF Concepts sous-jacents
ouvrage intitulé « Faire réussir, faire échouer. La compétence minimale et son évaluation »22 ,
cette auteure définit ainsi l'édumétrie : « Mot créé par Carver (1974), sur le modèle de psychomé-
trie, pour désigner l’étude quantitative des variables relatives aux apprentissages suscités par
l’éducation : influence d’une action pédagogique, performance effective par rapport à une
performance attendue, épreuves centrées sur les objectifs… ». Pour expliquer ce qui distingue ces
deux disciplines parentes, Demeuse cite également Carver, pour qui « le problème réside dans la
distinction entre la mesure des différences individuelles et celle de la mesure (des résultats)
de l’apprentissage », et qui précise qu'un test édumétrique « reflète les différences intra-indi-
viduelles liées aux développements des individus eux-mêmes, ce qui constitue plus
généralement l’intérêt premier des tests dans le domaine de l’éducation ».
Abstraction faite de la querelle sémantique autour de cette dualité terminologique, nous
constatons que la psychométrie et l'édumétrie constituent véritablement le socle épistémolo-
gique des comparaisons internationales en éducation. Toutefois, il convient sans doute de
mentionner également un troisième champ disciplinaire en lien étroit avec l'évaluation des
acquis scolaires : la docimologie. Le terme a été introduit par Henri Piéron en 1929 et désigne
la science des examens et de l'évaluation scolaire. D'abord critique, cette discipline était
surtout dédiée à l'étude des erreurs – ou biais – de notation. Dans un deuxième temps, les
docimologues se sont aussi consacrés à la recherche de solutions. Précisons, en reprenant la
formule de de Ketele, que « le paradigme docimologique est essentiellement orienté vers la
fidélité ou la fiabilité des évaluations »23 et en délaisse la dimension interprétative.
Les référents théoriques étant définis, nous aborderons maintenant l'analyse descriptive des
comparaisons internationales dans leurs dimensions historique et fonctionnelle.
22 LANDSHEERE (de) Viviane, Faire réussir – Faire échouer. La compétence minimale et son évaluation, Paris, Presses Universitaires de France, 1988.
23 KETELE (de) Jean-Marie, « L'évaluation conjuguée en paradigmes », dans Revue française de pédagogie, n° 103, INRP, 1993, p. 61.
13/191
MARDIF Perspective historique et cadre général
2.2 Perspective historique et cadre général
2.2.1 Genèse et évolution des comparaisons internationales
2.2.1.1 Les années 1950 : Naissance de l'IEA24
Si l'éducation comparée apparaît au XIXe siècle, l'idée d'évaluer et de comparer les systèmes
éducatifs des différents pays à l'aide d'évaluations de masse sur les acquis des élèves n'est
apparue que dans les années cinquante au sein de l'Institut de l'UNESCO pour l'Éducation
(IUE)25. Ainsi, à partir de 1952, année de création de l'IUE à Hambourg (Allemagne), furent
organisées des rencontres annuelles réunissant les chercheurs en éducation les plus reconnus
au niveau international, afin de faire avancer la réflexion autour des problématiques d'évalua-
tion en confrontant les recherches et de répondre aux défis de l'époque, notamment
l'augmentation de la demande due au babyboum et l'évolution des besoins éducatifs résultant
du développement économique et technologique de l'après-guerre.
C'est dans ce cadre que l'idée d'évaluer les systèmes éducatifs en mesurant les acquis des
élèves est apparue, notamment portée à partir de 1958 par un groupe de chercheurs à l'origine
de l'Association internationale pour l’évaluation du rendement scolaire (généralement dési-
gnée en français par son sigle anglais IEA), officiellement créée en 1967. En effet, cette même
année, ce groupe d'experts fut réuni au siège de l'IUE avec pour objectif, selon les termes
d'Alejandro Tiana, président de l'IEA de 1999 à 2004 :
« de discuter des problèmes liés à l’évaluation des élèves et des établissements éducatifs, avec le désir de mettre en œuvre un projet commun de recherche dans ce domaine qui soit de caractère international et donne des points de vue comparatifs. […] il ne suffisait pas de mesurer les résultats obtenus, encore fallait-il s’efforcer de les expliquer. Autrement dit, il ne suffisait pas de connaître et d’évaluer le rendement des systèmes éducatifs, il fallait aussi faire un effort pour identifier les principaux facteurs qui le produisent. Cette volonté d’explication était associée à la préoccupation d’améliorer le fonctionnement des systèmes et des établissements d’éducation. Il ne s’agissait pas d’évaluer pour la simple envie d’évaluer, mais de le faire pour faciliter l’amélioration de l’éducation. Et pour ceci, il était nécessaire de savoir quels étaient les principaux facteurs qui influençaient le rendement éducatif, comment ils interagissaient entre eux et comment ils se répercutaient sur le travail éducatif et sur ses résultats »26.
24 International Association for the Evaluation of Educational Achievement25 L'IUE a été rebaptisé en 2006 Institut de l'UNESCO pour l'apprentissage tout au long de la vie.26 TIANA Alejandro (2001). « Le monde comme laboratoire éducatif. Les indicateurs comme outils des
politiques éducatives. Politiques d’éducation et de formation », dans Analyses et comparaisons internationales, n° 3, Bruxelles, De Boeck, p. 47-57.
14/191
MARDIF Genèse et évolution des comparaisons internationales
Un groupe de chercheurs se vit alors confier en 1958 l'élaboration d'une étude pilote conduite
entre 1959 et 1962 dont les objectifs étaient les suivants :
• « mieux comprendre le fonctionnement intellectuel, en se servant du test à choix multiple construit pour permettre de dégager des tendances communes dans les réponses d’élèves de plusieurs pays ;
• découvrir les possibilités et les difficultés de réalisation d’une étude internationale de masse sur les acquis des élèves. »27
Les bases conceptuelles des évaluations comparatives internationales en éducation furent en
bonne partie jetées dès cette étude pilote. Or, comme l'observent N. Bottani et P. Vrignaud, les
chercheurs qui eurent un rôle déterminant dans l'élaboration de cette étude pilote étaient majo-
ritairement d'origine anglo-saxonne28, la francophonie étant représentée par un chercheur
français (Gaston Mialaret) et un chercheur belge (Fernand Hotyat). Cette situation, due en
partie au manque d'expert français en éducation comparée et en psychométrie, deux disci-
plines traditionnellement anglo-saxonnes, n'a probablement pas été sans conséquence pour la
suite. Par ailleurs, il n'est peut-être pas inutile de rappeler également, comme le font Bottani et
Vrignaud, que l'intérêt des États-Unis et des pays d'Europe occidentale pour l'évaluation du
rendement scolaire s'inscrivait alors dans un contexte de compétition technologique entre
Américains et Soviétiques pour la conquête spatiale, sur fond de guerre froide. Dans un tel
contexte, la mesure de l'efficacité de l'éducation scientifique de ces pays, gage de suprématie
technologique, était éminemment stratégique. Par conséquent, si les motivations des cher-
cheurs impliqués dans cette phase initiale d'élaboration des évaluations comparatives
internationales en éducation étaient principalement scientifiques, celles des États qui ont
soutenu et financé le projet n'étaient pas désintéressées ; elles comportaient des enjeux poli-
tiques importants situés bien au-delà du cadre scientifique.
La collecte des données de l'étude pilote fut donc réalisée en 1959-1960 dans 12 pays, auprès
de 12 000 élèves de 13 ans. Celle-ci couvrait principalement quatre domaines : mathéma-
27 BOTTANI Norberto, VRIGNAUD Pierre, La France et les évaluations internationales, Rapport pour le Haut Conseil de l'Évaluation de l'École, Paris, La Documentation Française, 2005, p. 12.
28 Benjamin Bloom (Université de Chicago), Arnold Anderson (id.), Bob Thorndike (Columbia University de New York), Arthur Wellesley Foshay (id.), Harry Passow (id.) Douglas Pidgeon (National Foundation for Educational Research, Royaume-Uni), David Walker (Scottish Centre for Research in Education, Royaume-Uni), Torsten Husén (Suède), Walter Schukze (Allemagne).
15/191
MARDIF Genèse et évolution des comparaisons internationales
tiques, compréhension de l'écrit, géographie et sciences. Au-delà des résultats obtenus par les
élèves testés, cette première étude permit surtout de conclure à la faisabilité de telles évalua-
tions comparatives internationales à grande échelle, les problèmes rencontrés en termes de
réalisation technique et de validité scientifique ne semblant pas insurmontables, et les
premiers résultats obtenus paraissant prometteurs aux chercheurs impliqués. Toutefois, il
apparut d'emblée aux concepteurs de l'évaluation pilote qu'il serait indispensable de disposer
d'une structure permanente qui permette de planifier, coordonner, financer et exploiter de
telles études. L'Association internationale pour l’évaluation du rendement scolaire (IEA) fut
donc créée à cet effet en 1958. D'abord sise à Hambourg29 auprès de l'IUE, elle fut légalement
constituée comme entité autonome en 1967.
2.2.1.2 1961-1988 : Domination de l'IEA
Comme nous l'avons évoqué, il apparaît clairement que « les enquêtes de l’IEA ne pouvaient
pas se justifier uniquement sur la base d’un intérêt scientifique, mais qu’elles devaient
fournir aux décideurs des informations utiles pour orienter les politiques de l’éducation »30.
Les chercheurs qui se succédèrent à la présidence de l'IEA jusqu'en 1986, notamment le
Suédois Torsten Husén (de 1963 à 1978) puis l'Américain Neville Postlethwaite (de 1978 à
1986), qui avaient bien compris cet enjeu et furent suffisamment habiles à concilier des inté-
rêts différents, sinon divergents, permirent à l'association de rester l'unique acteur crédible
d'envergure internationale dans le champ des évaluations comparatives en éducation pendant
près de 30 ans. Ainsi, durant cette période, L'IEA réalisa plusieurs évaluations comparatives
internationales sur les acquis des élèves qui permirent aux chercheurs impliqués de déve-
lopper les outils conceptuels nécessaires tout en cherchant à résoudre les nombreux problèmes
méthodologiques que pose ce type de comparaisons. Il est à noter que pendant cette période,
l'IEA fut principalement financée par l'administration américaine31.
Les principales évaluations effectuées par l'IEA pendant cette période furent les suivantes32 :
29 Le siège de l'IEA se situe aujourd'hui à Amsterdam (Pays-Bas).30 BOTTANI Norberto, VRIGNAUD Pierre, op. cit. p. 15.31 BOTTANI Norberto, VRIGNAUD Pierre, op. cit. p. 16.32 Pour une liste complète, voir en annexe le tableau récapitulatif des principales évaluations internationales sur
les acquis des élèves depuis l'origine de ces études.
16/191
MARDIF Genèse et évolution des comparaisons internationales
Tableau 1 : Principales évaluations comparatives internationales de l'IEAentre 1961 et 1988
Année Dénomination de l'évaluation
1964 Première enquête internationale sur les mathématiques (FIMS)
1970-1971 Enquête sur six matières :- Première enquête internationale sur les sciences (FISS)- Compréhension de l'écrit- Littérature- Anglais langue étrangère- Français langue étrangère- Éducation civique
1982 Deuxième enquête internationale sur les mathématiques (SIMS)
1983-1984 Deuxième enquête internationale sur les sciences (SISS)
1985 Enquête sur la composition écrite
Parallèlement, face au développement et à l'évolution rapides des besoins éducatifs à la fin
des années soixante, et du fait du rôle grandissant de l'éducation dans la valorisation du capital
humain33, le Conseil de l'OCDE34 décida de la création en 1968 du Centre pour la recherche et
l’innovation dans l’enseignement (CERI) en réponse « à un besoin urgent de changement et
d’innovation au sein des systèmes éducatifs face aux pressions et aux exigences des sociétés
modernes »35. Le CERI supervise notamment le programme INES (indicateurs des systèmes
d'enseignement), qui « vise à mettre en place un ensemble riche d’indicateurs de l’éducation
comparables à l’échelon international »36. Mais ces indicateurs ne relèvent pas d'évaluations
comparatives sur les acquis des élèves.
2.2.1.3 1988-1993 : Concurrence de l'ETS
En 1988, l'administration américaine mit fin au monopole de l'IEA sur les évaluations compa-
ratives internationales en confiant à l'Educational Testing Service (ETS), organisation non
gouvernementale américaine basée à Princeton (New Jersey) œuvrant dans le domaine de
l'éducation et spécialisée dans les évaluations, la réalisation d'une étude internationale sur les
acquis des élèves concurrente à celle de l'IEA : l'International Assessment of Educational
Progress (IAEP-I). Cette dernière fut réitérée en 1991 sous l'appellation IAEP-II. Bien que 33 Rôle rappelé sur le site de la revue « L'Observateur OCDE » :
http://www.observateurocde.org/news/fullstory.php/aid/2301/_C9ducation_Innovante.html 34 Organisation de coopération et de développement économique.35 OCDE, Centre de l'OCDE pour la recherche et l’innovation dans l’enseignement, Paris, OCDE Publications,
2008 : http://www.oecd.org/dataoecd/38/41/38446921.pdf 36 OCDE, L'éducation à l'OCDE 2005-2006, Paris, OCDE Publications :
http://www.oecd.org/dataoecd/35/41/30471121.pdf
17/191
MARDIF Genèse et évolution des comparaisons internationales
contestées au plan méthodologique, ces deux enquêtes affaiblirent l'IEA, qui continua toute-
fois son activité, avec notamment une enquête sur la compréhension de l'écrit en 1990-1991,
la troisième enquête internationale sur les mathématiques et les sciences (TIMSS) en 1994-
1995, puis l'enquête sur l'éducation civique de 1999.
2.2.1.4 1993-2000 : Arrivée de l'OCDE et création de l'enquête PISA
L'étude controversée IAEP-II affaiblit la position de l'ETS dans le domaine des évaluations
comparatives internationales de masse. A partir de 1993, l'OCDE, souhaitant compléter son
système d'indicateurs descriptifs des systèmes éducatifs par des indicateurs mesurant l'effica-
cité de ces derniers en termes de connaissances et compétences acquises par les élèves,
s'intéressa à cette question. Après une tentative infructueuse de rapprochement avec l'IEA, les
pays membres de l'OCDE décidèrent de lancer sous l'égide de cette dernière un programme
international d'évaluation des acquis des élèves. Ce projet lancé en 1997 aboutit, en 2000, à la
première évaluation PISA (Programme international pour le suivi des acquis des élèves),
réalisée auprès d'élèves de 15 ans de 32 pays. Comme l'indique la brochure de présentation de
l'enquête PISA37, « le cadre conceptuel et les méthodes de compte rendu de l’évaluation ont
été choisis pour permettre aux gouvernements de tirer des enseignements politiques des résul-
tats ». Nous constatons donc que les objectifs poursuivis par l'OCDE furent dès l'origine bien
différents de ceux qui motivaient les chercheurs de l'IEA. L'enquête PISA s'inscrivit claire-
ment dès sa conception dans une perspective politique, avec pour objectif de fournir aux
décideurs des pays concernés une mesure de la performance relative de leur système éducatif
en termes de compétences acquises par leurs élèves, en vue d'orienter leurs politiques éduca-
tives.
Cette brève perspective historique permet de constater que, si les comparaisons internatio-
nales des systèmes éducatifs furent initialement imaginées et développées par une
communauté de chercheurs dont l'objectif était avant tout d'identifier, de comprendre et de
maîtriser les critères d'efficacité des systèmes d'enseignement dans un but de développement
humain, dans un deuxième temps, ce champ de la recherche fut investi par les responsables
politiques des pays occidentaux afin d'en faire un instrument décisionnel fondé sur des batte-
37 OCDE, PISA. Programme International pour le Suivi des Acquis des élève, en ligne sur le site internet PISA.
18/191
MARDIF Genèse et évolution des comparaisons internationales
ries d'indicateurs de performances standardisés. Nous verrons que les évaluations internatio-
nales ont par la suite également été parfois instrumentalisées pour justifier les réformes mises
en œuvre en matière éducative. Un tableau synoptique récapitule en annexe les principales
évaluations comparatives internationales réalisées, de leur origine à 2009.
2.2.2 Les évaluations comparatives internationales aujourd'hui
2.2.2.1 Les deux principaux acteurs
Si elles ne sont pas seules dans le paysage de l'éducation comparée, l'IEA et l'OCDE semblent
bel et bien être les deux principaux pourvoyeurs d'évaluations internationales sur les acquis
des élèves aujourd'hui, en tous cas en matière d'évaluations de masse à une échelle interconti-
nentale. En France, la page internet du site du ministère de l'Éducation nationale consacrée à
l'évaluation38 ne mentionne, en ce qui concerne les comparaisons internationales, que PISA
(OCDE) et PIRLS (IEA).
Il semble que l'évaluation PISA de l'OCDE ait pris en France une place prépondérante au
cours de la dernière décennie, au moins du point de vue médiatique. Cette hypothèse intuitive
paraît d'ailleurs confirmée par une recherche rapide effectuée sur internet, à titre indicatif, à
l'aide des moteurs de recherche Google et Yahoo. Ainsi, le nombre de pages en français conte-
nant les expressions « PISA évaluations » (PISA seul pouvant être équivoque), « PIRLS » et
« TIMSS »39 est évalué par Google respectivement à 12 800 pour PISA, 5 850 pour PIRLS et
2 300 pour TIMSS40. Ces résultats sont corroborés par ceux obtenus à l'aide de Yahoo France,
qui renvoie les chiffres suivants : 70 900 pour PISA, 40 000 pour PIRLS, 10 300 pour
TIMSS41. Ils sont de plus en cohérence avec l'analyse de Barroso et De Carvalho, pour qui
« l'acronyme PISA semble être devenu une catégorie incontournable du lexique du nouveau
38 URL : http://www.education.gouv.fr/cid265/l-evaluation-globale-du-systeme-educatif.html (consultée le 24/04/10)
39 Les enquêtes PIRLS et TIMSS font partie des programmes phares de l'IEA.40 Recherche effectuée le 12/08/2010 sur le site http://www.google.fr/, avec les paramètres suivants : Option
Recherche avancée ; Page contenant tous les mots suivants = 1°) « PISA évaluations », 2°) « PIRLS », 3°) « TIMSS » ; Langue = « français » ; Région = « France ».
41 Recherche effectuée le 12/08/2010 sur le site http://fr.search.yahoo.com/, avec les paramètres suivants : Option Recherche avancée ; Faire une recherche sur tous ces mots = 1°) « PISA évaluations », 2°) « PIRLS », 3°) « TIMSS » ; Langue = « français » ; Pays = « France ».
19/191
MARDIF Les évaluations comparatives internationales aujourd'hui
planetspeak éducatif »42 dans le monde. Nous chercherons à vérifier cet ascendant de PISA en
France dans la partie expérimentale de ce travail.
Une raison à la suprématie probable de l'enquête PISA en France réside sans doute dans ses
objectifs, qui, comme nous le verrons, ont été, dès les origines, politiques. Une autre raison
tient certainement au statut de l'OCDE. L'éducation comparée est un champ d'étude complexe
nécessitant des outils d'analyse sophistiqués, difficiles à mettre en œuvre et à interpréter.
Essentiellement destinées à une population d'experts, ou au moins de professionnels de l'édu-
cation, les évaluations de l'IEA n'ont pas été conçues pour être diffusées à un large public,
contrairement à l'enquête PISA, avant tout destinée aux responsables politiques, donc
formatée pour des non-spécialistes. La diffusion par les médias des résultats de PISA,
exprimés sous forme de classement à échelle unidimensionnelle, s'en trouve donc facilitée.
2.2.2.1.1 L'Association internationale pour l’évaluation du rendement scolaire43
Créée en 1958 et d'abord rattachée à l'Institut de l'UNESCO pour l'Éducation de Hambourg en
Allemagne, L'IEA (International Association for the Evaluation of Educational Achievement)
fut légalement constituée comme entité autonome en 1967. C'est une société scientifique
internationale à buts non lucratifs de droit privé enregistrée en Belgique, dont le siège se
trouve à Liège. Son secrétariat est situé à Amsterdam (Pays-Bas) ; son centre de recherche et
de traitement des données est installé à Hambourg (Allemagne). Association non gouverne-
mentale, elle regroupe des centres et instituts de recherche en éducation et pédagogie, publics
et privés, d'une soixantaine de pays44. La représentation au sein de l'IEA de certains pays est
assurée par une agence gouvernementale ou un département ministériel d'analyse statistique.
C'est notamment le cas de la France, dont la participation à l'IEA est confiée depuis 1997 à la
Direction de l'évaluation, de la prospective et de la performance (DEPP)45 du ministère de
l'Éducation nationale. Ses missions sont aujourd'hui les suivantes :
42 BARROSO João, de CARVALHO Luis Miguel, « PISA : un instrument de régulation pour relier des mondes », dans Revue française de pédagogie, n° 164, INRP, 2008, p. 77.
43 Les informations descriptives de cette section proviennent essentiellement du site internet de l'IEA. 44 La liste des pays représentés au sein de l'IEA (par une entité publique ou privée) est fournie en annexe.45 Son représentant à l'assemblée générale de l'IEA est Claude Sauvageot, Chef de la Mission aux relations
européennes et internationales.
20/191
MARDIF Les évaluations comparatives internationales aujourd'hui
• fournir aux responsables politiques des indicateurs standardisés (benchmarks) qui les aident à identifier les forces et faiblesses relatives du système éducatif de leur pays ;
• fournir aux responsables politiques des données pertinentes et fiables leur permettant de comprendre les facteurs de réussite scolaires et extra-scolaires de l'enseignement et de l'ap-prentissage ;
• produire des données de qualité qui permettent d'identifier les enjeux importants en matière d'éducation, et de préparer et d'évaluer les réformes éducatives ;
• accroître la capacité des responsables nationaux des systèmes éducatifs à développer des stratégies de pilotage et de progrès en matière éducative ;
• contribuer au développement de la communauté internationale des chercheurs en évaluation des systèmes éducatifs.
Nous constatons que les missions de l'IEA s'adressent aux responsables politiques et aux cher-
cheurs. La formulation de ces missions est très centrée sur l'acte éducatif, l'enseignement et la
compréhension des facteurs de réussite des apprentissages.
Depuis sa création, l'IEA a réalisé 23 enquêtes internationales. Son financement provient des
contributions de ses adhérents, des recettes émanant des participants aux évaluations (tickets
d'entrée) et de divers concours, notamment ceux de la National Science Foundation (NSF) et
du National Center for Education Statistics (NCES) américains, des gouvernements japonais,
néerlandais et norvégiens, de la Banque mondiale, du Programme des Nations Unies pour le
développement (PNUD) ou encore de la Fondation Ford. Il est important de noter ici que les
évaluations internationales de l'IEA ne sont pas financées sur fonds propres. Chaque projet
d'évaluation donne lieu à un montage budgétaire faisant appel à des sources spécifiques. Le
financement de l'Association se caractérise donc par une grande complexité de montages
budgétaires et une multiplicité de partenaires qui ont toujours été source de difficultés. Ces
dernières, relevées par Bottani et Vrignaud46 se confirment d'ailleurs à la lecture des derniers
comptes-rendus d'assemblée générale, qui font notamment état de difficultés de trésorerie
récurrentes.
46 BOTTANI N., VRIGNAUD P., op. cit., p. 51.
21/191
MARDIF Les évaluations comparatives internationales aujourd'hui
Au delà de ce constat, l'origine des bailleurs de fonds de l'IEA, notamment la contribution très
majoritaire du gouvernement des États-Unis à certaines périodes, laisse entrevoir de probables
interférences méthodologiques dans la construction des enquêtes. En effet, au vu de la réparti-
tion très inégale des charges entre les différentes sphères d'influence culturelle du monde, il
nous semble que nous pouvons légitimement nous interroger sur les biais éventuellement
introduits dans la construction d'outils d'évaluation à dimension internationale, d'autant plus
que, comme nous le verrons par la suite, la problématique des biais culturels s'avère centrale
dans la construction des instruments psychométriques.
Ainsi, née à l'initiative de la communauté des chercheurs en éducation, l'IEA doit aujourd'hui
composer avec des intérêts divergents, sinon contradictoires : d'une part ceux de la recherche
scientifique, d'autre part ceux liés aux politiques éducatives. De ce point de vue, les choses
semblent plus simples pour l'OCDE.
2.2.2.1.2 L'Organisation de coopération et de développement économiques47
Créée en 1961, l’OCDE regroupe les gouvernements de 30 pays48 attachés aux principes de la
démocratie et de l’économie de marché en vue de soutenir une croissance économique
durable, développer l’emploi, élever le niveau de vie, maintenir la stabilité financière, aider
les autres pays à développer leur économie et contribuer à la croissance du commerce
mondial.
L'OCDE offre aux gouvernements un cadre leur permettant de comparer leurs expériences en
matière d’action publique, de chercher des réponses à des problèmes communs, d’identifier
les bonnes pratiques et de coordonner leurs politiques nationales et internationales.
L'un des domaines d'action privilégiés de l'OCDE pour favoriser le développement écono-
mique est l'éducation. Pour cela, l'Organisation s'est dotée d'une Direction de l'éducation qui a
pour mission « d’aider les pays membres et non membres à mettre en place les conditions
d’un apprentissage tout au long de la vie de haute qualité pour tous afin de favoriser le
perfectionnement personnel, une croissance économique durable et la cohésion sociale ». Ses 47 Les informations descriptives de cette section proviennent principalement du site internet de l'OCDE.
Certaines parties du texte en ont été reproduites. 48 La liste des pays membres de l'OCDE est présentée en annexe.
22/191
MARDIF Les évaluations comparatives internationales aujourd'hui
travaux sont organisés selon les sept axes suivants : les politiques d’éducation et de formation
(ETP) ; le Centre pour la recherche et l'innovation dans l'enseignement (CERI) ; les indica-
teurs des systèmes d'enseignement (INES) ; le Programme international pour le suivi des
acquis des élèves (PISA) ; le Programme sur la gestion des établissements d’enseignement
supérieur (IMHE) ; le Programme pour la construction et l’équipement de l’éducation (PEB) ;
l’Unité pour la coopération avec les économies non membres (NME). La Direction de l'éduca-
tion de l'OCDE contribue de deux manières aux comparaisons internationales : d'une part, par
la publication chaque année de ses indicateurs éducatifs (édition annuelle depuis 1992 de
Regards sur l'éducation) ; d'autre part, par différents programmes d'évaluation des compé-
tences des jeunes scolarisés (dont PISA) et des adultes.
L’OCDE est financée par ses pays membres. Les contributions nationales sont calculées en
fonction de la taille relative de l'économie de chacun des pays membres49. Les États-Unis, qui
financent près de 25 % du budget, sont le premier contributeur, suivis par le Japon. Les pays
peuvent également apporter leurs contributions de manières distinctes à des programmes qui
ne sont pas financés à partir du budget de base. Le budget de l’OCDE et son programme de
travail sont établis sur deux ans par les pays membres. La planification, la budgétisation et la
gestion de l’Organisation se font selon un système fondé sur les résultats.
Ainsi, les objectifs de l'OCDE sont clairement des objectifs de développement économique
dans un cadre d'économie de marché. Cette organisation internationale ne se positionne pas
dans une perspective générale de développement humain, mais bien dans une approche de
valorisation du capital humain, ce qui ne saurait être ignoré pour aborder la question des
comparaisons internationales en matière éducative. Dans ces conditions, l'implication – ou
plutôt l'investissement – de l'OCDE dans les évaluations comparatives internationales sur les
acquis des élèves ne peut que sous-tendre une conception instrumentale de l'éducation.
2.2.2.2 Les enquêtes de l'IEA
Le tableau ci-dessous récapitule les principales évaluations internationales sur les acquis des
élèves menées par l'IEA au cours de la dernière décennie ainsi que les projets en cours.
49 La part de contribution (en % du budget 2010) de chaque pays est indiquée en annexe.
23/191
MARDIF Les évaluations comparatives internationales aujourd'hui
Tableau 2 : Principales enquêtes internationales de l'IEA sur les acquis des élèvesdepuis l'an 2000
Année Désignation Public cible(âge ou niveau)
Nbre de pays (ou systèmes
éducatifs)
Disciplines ou compétences évaluées
2001 Progress in International Reading Literacy Study (PIRLS)
4ème année (~9 ans) 36 Lecture
2003 Trends in International Mathematics and Science Study (TIMSS)
4ème année8ème année(~9 ans, 13 ans)
50 Mathématiques, sciences
2006 Progress in International Reading Literacy Study (PIRLS)
4ème année (~9 ans) 45 Lecture
2007 Trends in International Mathematics and Science Study (TIMSS)
4ème année8ème année(~9 ans, 13 ans)
67 Mathématiques, sciences
2008 Trends in International Mathematics and Science Study (TIMSS) – Advanced 2008
fin du secondaire 10 Mathématiques, sciences
2008-2009
International Civic and Citizenship Education Study
8ème année(13-14 ans)
38 Instruction civique , citoyenneté
2011 Trends in International Mathematics and Science Study (TIMSS)
4ème année8ème année(~9 ans, 13 ans)
Mathématiques, sciences
2011 Progress in International Reading Literacy Study (PIRLS)
4ème année (~9 ans) Lecture
2013 International Computer and Information Literacy Study (ICILS)
8ème année(13-14 ans)
Maîtrise des technologies de l'information et de la communication
NB : La période indiquée est celle de collecte des données. Source : IEA
Les programmes PIRLS et TIMSS sont aujourd'hui au cœur des activités de l'IEA, et ce pour
plusieurs raisons : l'ancienneté de l'enquête TIMSS et son caractère cyclique (les enquêtes
actuelles dérivent des premières études menées dans les années soixante) ; les champs disci-
plinaires évalués, qui sont centraux dans les apprentissages scolaires de tous pays (ils
recoupent d'ailleurs les compétences évalués par PISA) ; le nombre de pays ou systèmes
éducatifs participants (45 pour PIRLS 2006 ; 67 pour TIMSS 2007). Il convient toutefois de
signaler que la France, qui participe actuellement aux enquêtes PISA et PIRLS, s'est retirée du
programme TIMSS depuis 1995.
PIRLS et TIMSS se caractérisent notamment par certains choix méthodologiques qui les
distinguent du programme PISA. Ainsi, la population étudiée est définie en fonction de
l'année de scolarisation des élèves et non selon leur âge. Les compétences évaluées sont, elles,
définies par champs disciplinaires en référence aux programmes d'enseignement. Ces choix
24/191
MARDIF Les évaluations comparatives internationales aujourd'hui
méthodologiques de l'IAE, qui diffèrent de ceux adoptés par l'OCDE pour PISA, ne sont pas
neutres et font l'objet de discussions entre experts depuis les débuts de la psychométrie éduca-
tive comparée. Nous aborderons plus en détail ces questions dans un chapitre consacré aux
aspects techniques des évaluations comparatives internationales.
2.2.2.2.1 Conception et organisation des enquêtes de l'IEA
L'organe décisionnel de l'IEA est son assemblée générale, où siègent les représentants de ses
membres. C'est donc cette dernière qui décide des orientations stratégiques et opérationnelles
de l'Association, sélectionne les projets d'enquête, vote leur lancement, suit leur exécution,
etc. Les décisions de l'assemblée générale sont préalablement instruites par différents comités
qui sélectionnent les propositions qui lui sont soumises, en fonction de différents critères :
contribution prévisible du projet à l'élargissement des connaissances des systèmes éducatifs et
à leur amélioration ; validité méthodologique ; adéquation aux missions et aux savoir-faire de
l'IEA ; possibilité de financement aux niveaux national et international. Ce mode de fonction-
nement induit un délai long – plusieurs années – entre la phase de réflexion initiale et la
réalisation sur le terrain d'une évaluation.
Il semble qu'une importance constante ait été accordée au critère de validité scientifique de la
méthodologie envisagée lors du vote des projets, ce qui a permis la reconnaissance dans la
durée de l'Association en matière d'éducation comparée. Cependant, les nécessités incontour-
nables du financement ont également joué un rôle non négligeable dans le choix des
programmes d'études, ce qui a certainement orienté les décisions de l'IEA au détriment de
certaines recherches intéressantes.
Les étapes de réalisation d'une évaluation comparative internationale sont nombreuses. La
démarche générale en est résumée de la manière suivante par Bottani et Vrignaud50 :
50 BOTTANI Norberto, VRIGNAUD Pierre, op. cit., p. 48.
25/191
MARDIF Les évaluations comparatives internationales aujourd'hui
1. Décisions préliminaires :- Définition du cadre de l’enquête- Questions à poser- Population concernée- Objectifs à atteindre- Calendrier à tenir
2. Préparation de l’appel d’offre international3. Choix du/des maître(s) d’ouvrage4. Planification de l’enquête : construction des instruments5. Administration des tests6. Traitement des données7. Vérifications nationales8. Analyses et diffusion des résultats
L'IEA a longtemps fonctionné sur un modèle décentralisé, chaque étude étant confiée à un
centre de recherche différent. Mais ce mode opératoire s'est avéré coûteux et inefficace du fait
de la multiplication des moyens et de la dilution de l'expertise scientifique, ce qui a été préju-
diciable au développement de l'Association. Depuis 1995, l'IEA fonctionne de manière plus
centralisée, avec un centre de recherche et de traitement des données unique situé en Alle-
magne (à Hambourg) : le Data Processing and Research Center (DPC). L’Association
conserve donc en partie la maîtrise d'œuvre de ses enquêtes. L'organisation de ces dernières
demeure toutefois complexe, impliquant de nombreux partenaires, et peut varier d'une étude à
l'autre. Nous ne pouvons décrire ici de manière détaillée toutes les enquêtes de l'IEA. A titre
d'illustration, nous présentons ci-dessous quelques éléments descriptifs concernant la mise en
œuvre de PIRLS 2006.
26/191
MARDIF Les évaluations comparatives internationales aujourd'hui
Tableau 3 : Éléments descriptifs de l'organisation de PIRLS 2006 (IEA)
Données générales
Domaine évalué Compétences en lecture (dans la langue maternelle)
Public cible Élèves en 4ème année de scolarité obligatoire
Nombre de pays ou systèmes éducatifs participants 45
Nombre total d'écoles concernées 7 926
Nombre d'écoles concernées dans chaque pays ou système participant (théorique/minimum/maximum)
150119 (Qatar) ; 405 (Allemagne)
Méthode d'échantillonnage des écoles Stratifié - Probabilité proportionnelle à la taille
Nombre total d'élèves évalués 215 137
Nombre d'élèves évalués dans chaque pays ou système participant (théorique/minimum/maximum)51
4 0003 249 (Maroc) ; 14 657 (Afrique du Sud)
Méthode d'échantillonnage des élèves 1 ou 2 classes entières par école (tirage aléatoire parmi toutes les classes du niveau concerné de l'école)
Nombre total d'items conçus 126
Langue originale des items Anglais
Nombre de langues de passation (traductions) 45
Durée de l'épreuve 80 minutes (+ 15-30 min. de questionnaire contextuel)
Mesure de l'effet-établissement et de l'effet-classe Oui
Répartition des tâches et partenariats
Direction générale et pilotage du projet TIMSS & PIRLS International Study Center, Boston College (USA)
Supervision et vérification des traductions Secrétariat de l'IEA, Amsterdam (Pays-Bas)
Contrôle et traitement des données d'évaluation Centre de recherche et de traitement des données de l'IEA, Hambourg (Allemagne)
Échantillonnage des écoles et des élèves participants Statistics Canada, Ottawa (Canada)
Conseils sur la méthodologie psychométrique et fourniture de logiciels pour la gradation des données
Educational Testing Service (ETS), Princeton, New Jersey (USA)
Supervision et suivi technique IEA’s Technical Executive Group
Contacts au niveau national Un coordinateur PIRLS national par participant
Principaux contributeurs financiers Banque mondiale, National Center for Education Statistics (U.S. Department of Education), pays participants, Boston College, National Foundation for Educational Research (UK)
Source : PIRLS 2006 Technical Report (IEA / TIMSS & PIRLS International Study Center, 2007)
Des questionnaires contextuels sont complétés par les élèves, les directeurs d'écoles et les
enseignants lors de la passation des évaluations pour permettre le croisement des résultats
avec les facteurs socio-démographiques, socio-économiques et pédagogiques.
51 Pour garantir la fiabilité statistique des résultats, les concepteurs de PIRLS ont fixé des seuils minimums théoriques de taille des échantillons (nombre d'écoles et nombre d'élèves). Dans certains pays, ces seuils ne peuvent pas être atteints. Par ailleurs, certains pays participants présentent des échantillons de taille supérieure, soit du fait de la composition socio-linguitique de leur population soit en vue d'analyses secondaires.
27/191
MARDIF Les évaluations comparatives internationales aujourd'hui
2.2.2.2.2 Financement des enquêtes de l'IEA
Le financement des évaluations de l'IEA provient de plusieurs sources. L'organisation, la
coordination, le traitement et l'exploitation des données sont financés par un budget spécifique
à chaque enquête, directement géré par l'Association et indépendant du budget de fonctionne-
ment de celle-ci évoqué plus haut. Ainsi, chaque projet d'évaluation internationale fait l'objet
d'un montage financier ad hoc complexe. Du fait de la singularité de chaque évaluation et du
nombre important de partenaires, l'Association est depuis toujours confrontée à des difficultés
pour financer ses projets. Historiquement, les évaluations de l'IEA ont été financées en grande
partie par le gouvernement des États-Unis, ce qui explique sans doute certains choix méthodo-
logiques dans l'élaboration des enquêtes.
Par ailleurs, la collecte des données est à la charge des pays (ou régions) participants. Pour ces
derniers, le coût global de participation à une évaluation est donc constitué de deux compo-
santes : la contribution aux charges internationales d'une part, et les coûts de mise en œuvre
nationale d'autre part. Ce deuxième poste de dépenses est difficile à connaître ; il dépend bien
évidemment du contexte : démographie et structure géographique du pays, organisation des
tests, type d'intervenants (publics/privés), etc. La contribution internationale de chaque parti-
cipant varie d'une enquête à l'autre. À titre indicatif, la participation à TIMSS 2003 s'élevait à
40 000 ou 60 000 USD52 pour trois ans (respectivement pour une ou deux populations incluses
dans l'étude). Il convient de souligner que l'importance des financements publics a certaine-
ment pour conséquence de limiter la participation effective des pays les plus pauvres, faute de
moyens.
Les inévitables mais difficiles compromis entre motivations scientifiques et contraintes de
financement n'ont pas toujours été sans incidence sur les choix opérés. Ainsi, faute de volonté
de la part des principaux bailleurs de fonds, certains projets d'un intérêt reconnu n'ont jamais
pu se concrétiser (évaluation des compétences en langue étrangère par exemple). Dans
d'autres cas, l'analyse diachronique des indicateurs n'a pas pu être menée à terme (compé-
tences rédactionnelles évaluées en 1985 mais non ré-évaluées depuis...). En revanche, compte
tenu de leur intérêt stratégique, les mathématiques ou les sciences – qui trouvent des applica-
52 Source : ROSS N. Kenneth, JÜRGENS GENEVOIS Llona, Cross-national studies of the quality of education : planning their design and managing their impact, IIEP, UNESCO, 2006, p. 185.
28/191
MARDIF Les évaluations comparatives internationales aujourd'hui
tions industrielles, spatiales et militaires de première importance – ont pu faire l'objet d'en-
quêtes régulières. D'une façon générale, il semble que l'influence des responsables politiques,
notamment américains, sur l'activité de l'IEA ait été grandissante à partir de la fin des années
quatre-vingts (Bottani & Vrignaud), la dépendance financière de cette structure théoriquement
indépendante ouvrant la voie à une forme d'ingérence gouvernementale.
2.2.2.2.3 Diffusion des résultats des enquêtes de l'IEA
Longtemps à diffusion restreinte du fait de leur complexité, les résultats des évaluations de
l'IAE sont aujourd'hui publiés après chaque enquête dans les rapports officiels de l'Associa-
tion. Ces rapports sont, pour l'essentiel, mis à la disposition du public sur le site internet du
programme53 où ils peuvent être téléchargés, gratuitement pour la plupart. Par ailleurs, depuis
les années quatre-vingt-dix, l'IAE accompagne systématiquement la sortie des résultats des
enquêtes TIMSS, puis PIRLS, d'une conférence de presse. La diffusion en est assez largement
assurée par les grands médias français : presse écrite, télévision, radio, internet. Toutefois, à
l'exception de quelques titres (Le Monde, Le Monde de l'éducation...), l'information livrée
semble succincte et les analyses superficielles voire inexistantes.
En France, les résultats de TIMSS (dans les années quatre-vingt-dix)54 et, plus récemment, PIRLS
2001 et 2006 ont fait l'objet de publications ponctuelles de la Direction de l'évaluation, de la pros-
pective et de la performance du ministère de l'Éducation nationale, prioritairement destinées aux
enseignants et autres professionnels de l'éducation mais également disponibles au grand public sur
le site internet du ministère : bulletins Note d'information55, collections Les Dossiers56.
Enfin, tant sur leur méthodologie que sur leurs résultats, les comparaisons internationales font
par ailleurs l'objet de publications scientifiques à diffusion plus restreinte dans lesquelles les
enquêtes de l'IEA sont analysées : articles et communications dans les revues et sites internet
à comité de lecture (essentiellement dans deux champs disciplinaires : sciences de l'éducation
et politique comparée), travaux universitaires (thèses), rapports produits à la demande des
pouvoirs publics ou d'autorités publiques de contrôle ou conseil, etc.
53 Site de l'IAE : http://www.iea.nl/ 54 Rappelons que la France s'est retirée du programme TIMSS après l'enquête de 1995.55 Note d'information, n° 97.06 (1997), n° 03.22 (2003), n° 08.14 (2008)56 Les dossiers d'éducation et formation, n° 99 (1998)
29/191
MARDIF Les évaluations comparatives internationales aujourd'hui
2.2.2.3 L'enquête PISA de l'OCDE
Comme nous l'avons vu, le premier recueil de données PISA a eu lieu en 2000. Ce programme
d'évaluation est organisé selon une périodicité de trois ans, dont les occurrences sont récapitu-
lées dans le tableau ci-dessous.
Tableau 4 : Récapitulatif Programme international pour le suivi des acquis des élèves (PISA) depuis la création du programme
Année Nbre de pays (ou systèmes
éducatifs)
Disciplines ou compétences évaluées
2000 32 Compréhension de l'écrit (majeur), culture mathématique, culture scientifique
2003 41 Compréhension de l'écrit, culture mathématique (majeur), culture scientifique, résolution de problèmes
2006 57 Compréhension de l'écrit, culture mathématique, culture scientifique (majeur)
2009 65 Compréhension de l'écrit (majeur), culture mathématique, culture scientifique
2012 Compréhension de l'écrit, culture mathématique (majeur), culture scientifique
2015 Compréhension de l'écrit, culture mathématique, culture scientifique (majeur)NB : La période indiquée est celle de collecte des données. Source : OCDE
Comme il apparaît à la lecture du tableau, bien que piloté par l'OCDE, le programme PISA
n'est pas restreint aux trente pays membres de cette organisation.
PISA présenta dès sa conception plusieurs différences importantes par rapport aux enquêtes
antérieures, notamment celles de l'IEA :
• Périodicité régulière triennale fixée dès la première occurrence : une fréquence aussi élevée, difficilement tenable et a priori injustifiée d'un point de vue scientifique étant donné la temporalité plutôt longue qui prévaut en matière éducative, avait surtout pour but de convaincre les responsables politiques des pays ou régions potentiellement intéressés par son attrait en termes de réactivité et d'échéancier électoral. Cette exigence de délais courts de la part du politique est d'ailleurs soulignée par Rolf et Svein57.
• Population ciblée : élèves de 15 ans. Ce choix résulte de la volonté d'évaluer les acquis des élèves qui arrivent au terme de la scolarité obligatoire. Nous reviendrons sur les problèmes spécifiques inhérents à la définition de la population évaluée (âge ou degré scolaire) dans le chapitre consacré aux aspects techniques.
57 ROLF V. Olsen, SVEIN Lie, « Les évaluations internationales et la recherche en éducation : principaux objectifs et perspectives », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 16.
30/191
MARDIF Les évaluations comparatives internationales aujourd'hui
• Acquis évalués définis en termes de compétences ou aptitudes et non en fonction des programmes scolaires des différents pays. En effet, comme le précisent le site internet et la brochure PISA de l'OCDE, ce programme « évalue l’acquisition de savoirs et savoir-faire essentiels à la vie quotidienne » et « indispensables pour participer pleinement à la société de la connaissance ». Ainsi, rompant avec la logique disciplinaire qui prévalait traditionnel-lement jusqu'alors pour l'évaluation des élèves, l'OCDE a opté pour une approche centrée sur les compétences et aptitudes des élèves. Tout le problème réside alors dans la définition de ces compétences et sur leur légitimité, cette dernière étant à l'évidence culturellement et politiquement marquée. Là encore, nous aborderons cet aspect dans le chapitre consacré aux aspects techniques.
• Association de trois champs de compétences évalués à chaque enquête58 – compréhen-sion de l'écrit (ou littéracie), culture mathématique, culture scientifique – dont un majeur « tournant » évalué plus en profondeur tous les trois ans, et deux mineurs. Le champ majeur change à chaque occurrence de l'évaluation selon une séquence définie une fois pour toutes.
La définition de ces trois domaines de compétences a connu quelques évolutions au fil des
cycles d'enquête. Pour PISA 2006, ils étaient officiellement définis de la manière suivante :
Compréhension de l’écrit : non seulement comprendre et utiliser des textes écrits, mais aussi réfléchir à leur propos. Cette capacité devrait permettre à chacun de réaliser ses objectifs, de développer ses connaissances et son potentiel et de prendre une part active dans la société.
Culture mathématique : aptitude d’un individu à identifier et à comprendre le rôle joué par les mathématiques dans le monde, à porter des jugements fondés à leur propos et à s’engager dans des activités mathématiques, en fonction des exigences de sa vie en tant que citoyen constructif, impliqué et réfléchi.
Culture scientifique :
• connaissances scientifiques de l’individu et sa capacité d’utiliser ces connaissances pour identifier les questions auxquelles la science peut apporter une réponse, pour acquérir de nouvelles connaissances, pour expliquer des phénomènes scientifiques et pour tirer des conclusions fondées sur des faits à propos de questions à caractère scientifique ;
• compréhension des éléments caractéristiques de la science en tant que forme de recherche et de connaissance humaines ;
• conscience du rôle de la science et de la technologie dans la constitution de notre environnement matériel, intellectuel et culturel ;
58 Un quatrième domaine de compétences est ajouté à certains cycles de l'évaluation. La résolution de problèmes a ainsi été intégrée à PISA 2003.
31/191
MARDIF Les évaluations comparatives internationales aujourd'hui
• volonté de s’engager en qualité de citoyen réfléchi à propos de problèmes à caractère scientifique et touchant à des notions relatives à la science.
Le domaine de la compréhension de l'écrit mérite sans doute quelques précisions. Les concep-
teurs de PISA déclarent s'intéresser au rôle actif et interactif du lecteur dans un large éventail
de situations dans lesquelles la compréhension de l’écrit intervient, situations relevant de la
vie privée, de la vie professionnelle et de la citoyenneté. A cette fin, différents formats de
texte sont mis en œuvre dans les évaluations PISA : texte continu (narratif, informatif,
descriptif, argumentatif, injonctif) et texte non continu (diagrammes et graphiques, tableaux,
schémas, cartes, formulaires, publicités). En outre, les concepteurs de PISA déclarent vouloir
mesurer les cinq processus de compréhension de l'écrit suivants : trouver de l’information,
comprendre globalement un texte, développer une interprétation, réfléchir sur le contenu d’un
texte et l’évaluer, réfléchir sur la forme d’un texte et l’évaluer. À première vue intéressante,
cette définition des trois domaines de compétences de PISA et sa traduction instrumentale
pose toutefois un certain nombre de questions, tant d'un point vue opérationnel qu'idéolo-
gique, comme nous le verrons par la suite.
Contrairement aux évaluations de l'IEA, l'enquête PISA permet aux pays qui le souhaitent de
procéder à des tests et des collectes de données complémentaires. Certains de ces instruments
additionnels de portée nationale ou régionale permettent des analyses secondaires spécifiques
très instructives, réalisées par l'administration de ces pays ou des laboratoires de recherche, et
qui permettent notamment de contextualiser les scores globaux de l'enquête, d'en affiner les
résultats et d'en accroître les enseignements.
2.2.2.3.1 Conception et organisation de l'enquête PISA
Abstraction faite du Secrétariat de l'OCDE, en charge de l'administration générale de PISA,
l'organe central du programme est le Comité directeur, au sein duquel chaque pays membre de
l’OCDE participant à PISA dispose d’un représentant nommé par son ministère de l’éduca-
tion. Les pays partenaires non-membres participant à PISA y possèdent quant à eux un
observateur, également nommé par le ministère de l’éducation. Le Comité détermine les prio-
rités d’action PISA en fonction des objectifs de l’OCDE en matière d’éducation, et s’assure
que celles-ci sont respectées durant la mise en œuvre de chaque cycle d’enquête. Il approuve
32/191
MARDIF Les évaluations comparatives internationales aujourd'hui
également l'adhésion des pays souhaitant participer à PISA en fonction de certains critères.
Les pays participants doivent notamment posséder l’expertise technique nécessaire.
La conception et la mise en œuvre de chaque enquête PISA est confiée à un maître d’œuvre
international, généralement constitué de centres d'études spécialisés dans le domaine de l’éva-
luation, et désigné sous le nom de « Consortium PISA ». Ce maître d’œuvre est choisi par le
Comité directeur de PISA au moyen d’un appel d’offres international. Par ailleurs, des chefs
de projet nationaux, également nommés par leur gouvernement, supervisent la mise en œuvre
de PISA dans chaque pays participant, en lien avec un comité national composé d'experts.
Compte tenu de l'importance des tâches qui incombent aux pays participants à PISA (constitu-
tion de l'échantillon, vérification des fichiers, vérification des traductions, impression du
matériel, formation des personnels de terrain, passation des épreuves, etc.), les équipes natio-
nales jouent un rôle essentiel dans la validité de l'évaluation. Enfin, des groupes fonctionnels
spécialisés par domaine (compréhension de l'écrit, mathématiques, sciences, questionnaire
contextuel), et composés d’experts de différents pays, sont en charge de la conception du
cadre conceptuel d’évaluation de chaque enquête PISA. Ces groupes sont assistés d'un groupe
technique consultatif lui-même composé d'experts indépendants. Les différents groupes étant
généralement constitués de six à dix personnes, tous les pays participants ne peuvent y être
représentés, ce qui n'est pas sans incidence en termes d'orientation du programme vu les
compromis qui y sont négociés et les décisions qui y sont préparées.
Il convient sans doute ici de s'interroger sur l'appel d'offres international permettant d'attribuer
la maîtrise d'œuvre de chaque cycle d'enquête. En effet, si aucun élément probant ne permet
de mettre en doute l'impartialité formelle de la procédure d'appel d'offres, le nombre réel de
candidats potentiels à une prestation aussi complexe, mettant en jeu une expertise scientifique
et technique à la fois concentrée sur un nombre réduit de laboratoires de recherche à travers le
monde (qui « partagent » peut-être en partie les mêmes chercheurs) et très inégalement
répartie sur la planète, nous semble questionner la pluralité réelle des offres recevables.
D'ailleurs, il semble que la composition du Consortium PISA ait peu évolué depuis l'origine
du programme. Par ailleurs, la composition des groupes d'experts59 montre que les différentes
59 Pour PISA 2009, la composition des groupes d'experts fonctionnels est la suivante :Compréhension de l'écrit : 10 experts (Allemagne, Belgique, Espagne, États-Unis (2 représentants), France, Japon, Pays-Bas, République de Corée, Royaume-Uni) ; culture mathématique : 6 experts (Allemagne,
33/191
MARDIF Les évaluations comparatives internationales aujourd'hui
sphères culturelles du monde ne sont représentées de façon ni égale ni proportionnelle à leur
population, certaines étant totalement absentes. Dans ces conditions, se pose à l'évidence la
question des biais culturels éventuellement présents dans ces enquêtes, tant au niveau des
orientations conceptuelles choisies que des items produits. Nous reviendrons sur ce point ulté-
rieurement.
Les items des évaluations sont conçus par le maître d’œuvre international, qui supervise et
valide l'ensemble, mais les pays participants peuvent également proposer des items. Seules les
questions approuvées à l’unanimité sont utilisées pour l’enquête. Jusqu'à PISA 2006, les
évaluations ont toujours pris la forme d'épreuves sur table (tests papier-crayon). À compter de
PISA 2009, l'exploitation de documents électroniques a également été testée. Les items
adoptent la forme de questions à choix multiples et de questions ouvertes. Chaque enquête
comporte environ sept heures de matériel, mais la technique des cahiers tournants60 permet de
limiter à deux heures le temps de passage de chaque élève. Un pré-test est effectué avant
chaque enquête dans tous les pays participants pour en valider le protocole et les items.
A l'instar des enquêtes de l'IEA, les élèves remplissent également un questionnaire contextuel
de 20 à 30 minutes sur eux-mêmes et leur environnement familial, qui permet notamment de
croiser résultats et facteurs socio-démographiques ou socio-économiques. Les chefs d'établis-
sement concernés remplissent également un questionnaire d'environ 20 minutes. En revanche,
contrairement aux protocoles des enquêtes de l'IEA, celui de PISA ne prévoit aucun question-
naire à l'attention des enseignants, ce qui interdit toute analyse secondaire en lien avec la
pédagogie mise en œuvre. Ce choix, fruit d'âpres discussions entre les représentants des pays
participants, n'est pas neutre. Il témoigne d'une stratégie politique qui ne doit rien au hasard.
Quelques éléments descriptifs de PISA 2006 sont présentés ci-dessous à titre d'exemple.
Danemark, États-Unis, Japon, Pays-Bas, Pologne) ; culture scientifique : 6 experts (Allemagne, Australie, États-Unis, France, Japon, Norvège) ; questionnaire contextuel : 8 experts (Allemagne (2 rep.), États-Unis (2 rep.), Finlande, France, Hong-Kong, Pays-Bas). Lors de la création de PISA (2000), la France n'était représentée que par un seul expert, dans le groupe Compréhension de l'écrit.
60 Cette technique présente notamment l'avantage de permettre d'augmenter la diversité des items du test sans surcharger chaque répondant et en garantissant l'équivalence de difficulté des tests soumis à tous les répondants.
34/191
MARDIF Les évaluations comparatives internationales aujourd'hui
Tableau 5 : Éléments descriptifs de l'organisation de PISA 2006 (OCDE)
Données générales
Domaines évalués Compréhension de l'écrit, culture mathématique, culture scientifique (majeur)
Public cible Élèves de 15 ans
Âge réel des élèves échantillonnés De 15 ans 3 mois à 16 ans 2 mois révolus
Nombre de pays ou systèmes éducatifs participants 57
Nombre total d'écoles concernées 14 365
Nombre d'établissements concernées dans chaque pays ou système (théorique/minimum/maximum)
15012 (Liechtenstein) ; 1 140 (Mexique)
Méthode d'échantillonnage des établissements Stratifié - Probabilité proportionnelle à la taille
Nombre total d'élèves évalués 398 750
Nombre d'élèves évalués dans chaque pays ou système participant (théorique/minimum/maximum)61
4 500339 (Liechtenstein) ; 30 971 (Mexique)
Méthode d'échantillonnage des élèves 35 élèves de établissement (tirage aléatoire parmi tous les élèves d'âge concerné de l'établissement)
Nombre de pays ayant proposé des d'items au consortium PISA (dans leur langue ou en anglais)
21
Nombre de langues de passation (traductions) 44
Nombre de versions nationales62 87
Durée de l'épreuve 2 heures (+ 30 min. de questionnaire contextuel)
Type des items QCM et questions ouvertes
Mesure de l'effet-établissement et de l'effet-classe Non
Répartition des tâches
Direction générale et pilotage du projet Direction de l'éducation de l'OCDE
Définition du cadre général de l'évaluation et suivi Comité directeur PISA / PISA Governing Board (PGB)
Maître d'œuvre international (Consortium PISA, à la tête duquel se trouve un maître d'œuvre principal)
Australian Council for Educational Research (ACER) (MO principal) ; National Institute for Educational Measurement (Cito Group) (Pay-Bas) ; Unité d’analyse des systèmes et des pratiques d’enseignement (aSPe), Université de Liège (Belgique) ; Westat (société privée, USA) ; Educational Testing Service (ETS) (USA) ; National Institute for Educational Research (NIER) (Japon)
Source : PISA 2006 Technical Report (OCDE, 2009)
61 Pour garantir la fiabilité statistique des résultats, les concepteurs de PISA ont calculé des seuils minimums théoriques de taille des échantillons (nombre d'écoles et nombre d'élèves). Néanmoins, dans certains pays, ces seuils ne peuvent pas être atteints, par exemple lorsque la population totale n'atteint pas le nombre minimum théorique d'individus. Dans ce cas, la totalité de celle-ci est testée (pas d'échantillonnage). Par ailleurs, les pays participants ont la possibilité d'élargir ou de multiplier les échantillons pour différentes raisons (prise en compte du multilinguisme/multiculturalisme, analyses secondaires, etc.).
62 Détail des versions nationales de PISA 2006 selon la langue : allemand (6 versions), anglais (10 versions), arabe (4 versions), azéri, basque, bulgare, catalan, chinois (3 versions), coréen, croate, danois, espagnol (6 versions), estonien, finnois, français (5 versions), galicien, grec, hébreu, hongrois (3 versions), indonésien Bahasa, irlandais, islandais, italien (3 versions), japonais, kirghiz, lettonien, lituanien, néerlandais (2 versions), norvégien (Bokmål), norvégien (Nynorsk), polonais (2 versions), portugais (3 versions), roumain, russe (5 versions), serbe (variante Ekavienne), serbe (variante Yekavienne), slovaque, slovène (2 versions), suédois (2 versions), tchèque, thaï, turque, uzbek, valencien.
35/191
MARDIF Les évaluations comparatives internationales aujourd'hui
2.2.2.3.2 Financement de l'enquête PISA
Conduit sous l'égide de l'OCDE, le programme PISA présente un cadre budgétaire relative-
ment simple et très solide qui engage les gouvernements des pays participants. Il se distingue
en cela des enquêtes de l'IEA. La conception, l'organisation et le pilotage international du
programme63 sont exclusivement financés par les contributions directes des pays participants,
généralement versées par le ministère de l’Éducation. La participation de chaque pays est
déterminée en référence à l'échelle des contributions nationales au budget de l'OCDE, ce qui
permet théoriquement d'éviter toute contestation. À titre d'exemple, les droits de participation
à PISA s'échelonne approximativement de 50 000 à 600 000 euros par an64. Les coûts inhé-
rents à la mise en œuvre des évaluations sur le terrain sont directement à la charge des pays
participants.
Pour être autorisés à adhérer au programme, les pays candidats doivent montrer qu'ils sont en
mesure de régler l’ensemble des coûts afférents à leur participation. A titre d'exemple, les
coûts totaux (contribution aux charges internationales + coûts nationaux) de PISA 2000 se
sont élevés pour la France à environ 750 000 USD65. Comme pour les enquêtes de l'IEA, le
mode de financement de PISA en interdit probablement l'accès aux pays les plus pauvres.
2.2.2.3.3 Diffusion des résultats de l'enquête PISA
Les résultats des évaluations de chaque pays font l'objet de rapports et comptes-rendus officiels
publiés par l'OCDE après chaque enquête. Ces documents sont généralement mis à la disposi-
tion du public sur le site internet du programme66 où ils peuvent être téléchargés, gratuitement
pour la plupart. Par ailleurs, depuis la création du programme, l'OCDE accompagne la sortie des
résultats de chaque enquête d'une conférence de presse. Toutefois, les informations communi-
quées à cette occasion demeurent volontairement succinctes afin de laisser l'initiative de la
communication des résultats nationaux à chaque gouvernement concerné.
63 Cela inclut le contrat de maîtrise d'œuvre qui, pour PISA 2000, s'élevait à environ 7,6 millions d'euros.64 Source : ROSS N. Kenneth, JÜRGENS GENEVOIS Llona, op. cit., p. 185.65 Montant exprimé en devise courante. Source : BOTTANI Norberto, VRIGNAUD Pierre, op. cit., p. 78.66 Site de l'OCDE dédié à PISA : http://www.pisa.oecd.org/
36/191
MARDIF Les évaluations comparatives internationales aujourd'hui
La diffusion des résultats de PISA est très variable d'un pays à l'autre, comme le montrent les
travaux de Martens et Niemann67 ou de Cytermann. La couverture par les grands médias fran-
çais (presse écrite, télévision, radio, internet) demeure ponctuelle, les résultats étant largement
mais essentiellement commentés lors de leur sortie « officielle ». À l'instar du traitement des
enquêtes de l'IEA, l'information livrée concernant le programme de l'OCDE est le plus
souvent centrée sur le classement des pays, et accompagnée d'analyses superficielles ou orien-
tées idéologiquement.
En France, les résultats de PISA font l'objet de publications ponctuelles de la Direction de
l'évaluation, de la prospective et de la performance du ministère de l'Éducation nationale
(bulletins Note d'information68 et Note évaluation69, collections Les Dossiers70 et Éducation &
formations71), prioritairement destinées aux enseignants et autres professionnels de l'éducation
mais également disponibles au grand public. Ces documents sont, pour la plupart, accessibles
sur les sites internet institutionnels du ministère. Cependant, nous verrons que le communica-
tion du ministère sur les résultats de PISA a considérablement évolué au fil du temps,
anticipant parfois la communication officielle des résultats par l'OCDE pour mieux en
contrôler la teneur et la portée.
Enfin, tout comme les études de l'IEA, la méthodologie et les résultats de PISA sont analysés
dans des publications scientifiques s'intéressant aux comparaisons internationales.
2.2.2.4 Les autres évaluations comparatives internationales
Si les enquêtes de l'IEA et de l'OCDE sont aujourd'hui les seules évaluations comparatives
internationales de portée mondiale, il existe par ailleurs un certain nombre de programmes
continentaux ou régionaux de comparaisons internationales dans le domaine de l'éducation.
Ne pouvant prétendre ici à un panorama exhaustif, nous nous limiterons à présenter briève-
ment les plus importants.67 MARTENS Kerstin, NIEMANN Dennis, « Governance by Comparison – How Ratings &Rankings can
Impact National Policy Making in Education », article présenté au 50ème congrès annuel de l'ISA (International Studies Association) ayant pour thème « Exploring the past, anticipating the future », New York Marriott Marquis, New York, NY, USA, 15/02/2009.
68 Note d'information, n° 01.52 (2001), n° 07.42 (2007), n° 08.08 (2008).69 Note évaluation, n ° 04.12 (2004)70 Les dossiers évaluations et statistiques, n° 137 (2002), n° 180 (2007)71 Éducation & formations, n° 70 (2004), n° 78 (2008)
37/191
MARDIF Les évaluations comparatives internationales aujourd'hui
2.2.2.4.1 Les enquêtes du RERPESE
Au niveau européen, il convient de mentionner le Réseau européen des responsables des poli-
tiques d'évaluation des systèmes éducatifs (RERPESE), qui organise une réflexion sur les
politiques d'évaluation et met en œuvre des études comparatives en liaison avec la Commis-
sion européenne. Crée en 1995, ce réseau intergouvernemental qui regroupe les pays de
l'Union européenne (UE) et quelques pays européens hors UE (Islande, Norvège, Suisse...) a
pour objectif de :
« 1°) permettre des échanges d’informations sur les réformes et les innovations en cours ou en projet dans chacun des pays dans le domaine de l’évaluation et du pilotage des systèmes éducatifs européens ; 2°) définir, faciliter et initier des actions de coopération européenne dans ce même domaine de l’évaluation et du pilotage des systèmes éducatifs européens.
Pour mettre en œuvre ce second objectif, le Réseau lance et conduit, sur la base des décisions prises lors des réunions annuelles, des projets regroupant plusieurs pays. Ces projets se déroulent soit dans un cadre intergouvernemental, soit en répondant à des appels d’offres de la Commission dans le cadre du programme SOCRATES. Des agences ou des instituts de recherche nationaux sont chargés par les gouvernements concernés de la mise en œuvre des projets. »72
Les trois champs d'actions des projets du RERPESE sont l'évaluation des systèmes éducatifs,
l'évaluation des institutions et les enquêtes internationales. Au titre de ces dernières, le
RERPESE a par exemple organisé des évaluations comparatives sur les compétences en
anglais des élèves de plusieurs pays européens en 1996 et 2002. Le Réseau mène également
des réflexions sur les problématiques spécifiques aux comparaisons internationales : défini-
tion des compétences, conception des épreuves, échantillonnage, questions méthodologiques
liées à la comparabilité des résultats, etc. Globalement, l'action du RERPESE demeure plutôt
une affaire de spécialistes. Elle n'a pas la portée politique de celle de l'IEA ou de l'OCDE.
2.2.2.4.2 Les enquêtes du LLECE et de l'OEI73
Le Laboratoire latino-américain d'évaluation de la qualité de l'éducation74 (LLECE) est un
réseau latino-américain d'unités d'évaluation qualitative de l'éducation coordonné par le
72 Site internet du RERPESE : http://www.reva-education.eu/ 73 Site internet de l'OEI : http://www.oei.es/ ; site internet du LLECE : http://portal.unesco.org/74 LLECE : Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación
38/191
MARDIF Les évaluations comparatives internationales aujourd'hui
bureau régional de l'UNESCO pour l'éducation en Amérique latine et dans les Caraïbes75. Le
LLECE a pour mission de produire des données sur les acquis des élèves et d'en analyser les
facteurs explicatifs ; d'aider les agences et unités d'évaluation nationales des pays du sous-
continent ; d'être un forum de réflexion, de discussion et d'échange en matière d'évaluation en
éducation.
L'OEI (Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura)
est une organisation intergouvernementale de coopération dans les domaines de l'éducation,
de la science et de la culture qui regroupe les pays latino-américains et ibériques76. Sa mission
s'inscrit dans une perspective de développement et d'intégration régionale. Ses activités sont
financées par les pays membres et par les contributions versées par les organismes partenaires
privés. En matière éducative, l'OEI a pour mission de :
• contribuer à une meilleure connaissance et compréhension mutuelle de ses membres, pour favoriser la coopération et la solidarité, facteurs de paix entre les peuples ibéro-américains, par le biais de l'éducation, la science, la technologie et la culture ;
• promouvoir l'éducation et la culture comme instrument de maintien de la paix, préparer les citoyens à l'exercice responsable de leur liberté, de la solidarité et à la défense des droits humains, et favoriser l'avènement d'une société plus juste sur le sous-continent latino-amé-ricain ;
• aider les pays membres à développer leur système éducatif dans une triple dimension huma-niste, démocratique et d'intégration socioprofessionnelle ;
• contribuer à la diffusion des langues espagnole et portugaise, notamment par le développe-ment de leur méthodes et techniques d'enseignement, et favoriser le bilinguisme nécessaire à la sauvegarde de l'identité multiculturelle des peuples latino-américains.
L'OEI et le LLECE organisent conjointement des évaluations comparatives à l'échelle du
sous-continent latino-américain. Ainsi, en 1996-1998, a été réalisée dans 13 pays une enquête
sur les acquis en mathématiques et en langue maternelle des élèves en 3ème et 4ème année de
scolarisation (6-7 ans), intitulée Primer Estudio Internacional Comparativo sobre Lenguaje,
75 Oficina Regional de Educación de la UNESCO para América Latina y el Caribe76 Pays membres de l'OEI : Argentine, Bolivie, Brésil, Colombie, Costa Rica, Cuba, Chili, Équateur, Espagne,
Guatemala, Guinée Équatoriale, Honduras, Mexique, Nicaragua, Panama, Paraguay, Pérou, Porto Rico, Portugal, République Dominicaine, Salvador, Uruguay, Venezuela.
39/191
MARDIF Les évaluations comparatives internationales aujourd'hui
Matemática y Factores Asociados. Cette première étude a été suivie et complétée, de 2004 à
2008, par une deuxième enquête – Segundo Estudio Regional Comparativo y Explicativo
(SERCE) – menée cette fois dans 17 pays auprès d'élèves effectuant leur 3ème ou 6ème année
de scolarité (6 ans, 9 ans), en mathématiques, langue maternelle et sciences naturelles.
2.2.2.4.3 Les enquêtes du SACMEQ77
Le SACMEQ (Southern and Eastern Africa Consortium for Monitoring Educational Quality)
est une organisation internationale à but non lucratif qui réunit les ministres de l'éducation de
15 pays d'Afrique australe et de l'Est78 avec pour objectif de développer la coopération et le
partage d'expertise en vue de fournir aux responsables de l'éducation de ces pays les instru-
ments scientifiques et méthodologiques nécessaires à l'évaluation et au pilotage de leur
système éducatif. Le SACMEQ bénéficie de l'assistance technique de l'Institut international
de planification de l’éducation de l’UNESCO (IIEP).
Entre 1995 et 2005, le SACMEQ a effectué deux grandes évaluations comparatives (projets
SACMEQ-I dans 7 pays et SACMEQ-II dans 14 pays) sur les acquis d'élèves âgés de 12 ans,
respectivement en lecture/écriture (1995-1998) puis en lecture/écriture et mathématiques
(1999-2004). Cette dernière est reproduite actuellement sur des bases identiques et devrait
s'achever cette année (projet SACMEQ-III, 2007-2010).
2.2.2.4.4 Le Programme d’analyse des systèmes éducatifs de la CONFEMEN79
Créée en 1960, la Conférence des ministres de l'éducation des pays ayant le français en
partage, plus ancienne institution francophone (CONFEMEN), est depuis 2005 une entité de
l’Organisation internationale de la Francophonie (OIF). Elle regroupe aujourd'hui 41 États et
gouvernements membres de la Francophonie, à qui elle offre un cadre d’échange et de concer-
tation sur leurs systèmes éducatifs nationaux et sur l'évolution de ces derniers.
77 Site internet du SACMEQ : http://www.sacmeq.org/78 Pays membres du SACMEQ : Afrique du Sud, Botswana, Kenya, Lesotho, Malawi, Maurice, Mozambique,
Namibie, Seychelles, Swaziland, Tanzanie continentale, Ouganda, Zambie, Zanzibar (Tanzanie), Zimbabwe.79 Site internet de la COFEMEN : http://www.confemen.org/
40/191
MARDIF Les évaluations comparatives internationales aujourd'hui
La CONFEMEN a pour mission d'informer ses membres sur l’évolution des systèmes éduca-
tifs et les réformes en cours, de nourrir la réflexion sur des thèmes d’intérêt commun en vue
d’actions à mener en coopération, d’élaborer des positions communes et de formuler des
recommandations pour appuyer les politiques régionales et internationales en matière d’édu-
cation. Son cadre d'action s’articule autour de quatre axes prioritaires : promouvoir
l’éducation pour tous dans le cadre de la lutte contre la pauvreté ; mobiliser et diversifier les
ressources ; viser l’efficience dans l’utilisation des ressources ; développer le pilotage des
systèmes éducatifs.
Pour mener à bien ses missions, La Conférence s'est dotée en 1991 d'un programme qui vise à
« mettre en relation les aspects quantitatifs et qualitatifs des systèmes éducatifs et à dégager
les choix possibles des stratégies éducatives les plus efficaces » : le Programme d’analyse des
systèmes éducatifs de la CONFEMEN (PASEC). Outil d’analyse et d’évaluation qui fournit
aux décideurs des informations objectives pour orienter leurs choix en matière de politiques
éducatives, le PASEC comporte des évaluations sur les acquis scolaires des élèves du
primaire. Le site internet de la COFMEN précise que ces « rapports et études, basés sur une
méthodologie spécifique, contribuent au dialogue politique sur les questions de la qualité de
l’éducation en Afrique francophone et dans l’Océan Indien ». Le Programme participe ainsi à
la diffusion des méthodes d’évaluation et au renforcement des capacités des pays du Sud en
cette matière.
Les principaux objectifs concrets du PASEC sont explicités de la manière suivante :
• identifier des modèles d’écoles efficaces et peu coûteux, en procédant à des enquêtes par échantillonnage dans les écoles, puis en effectuant des comparaisons à l’échelle nationale et internationale ;
• développer dans chacun des États participants, une capacité interne et permanente d’éva-luation de leur système éducatif ;
• diffuser les méthodes et les instruments d’évaluation préconisés, de même que les résultats obtenus.
41/191
MARDIF Les évaluations comparatives internationales aujourd'hui
Les premières évaluations du PASEC ont été réalisées en deux phases entre 1993 et 1995 :
Congo, Djibouti et Mali, puis Sénégal et République Centrafricaine. Ces dernières ont été
menées par des instituts de recherche des pays du Nord (Université de Mons, Université de
Montréal, Université Laval, Centre international d’études pédagogiques...), en collaboration
avec des partenaires nationaux. Depuis, le PASEC a poursuivi et élargi son activité, notam-
ment par des évaluations diagnostiques et des suivis de cohortes dans certains pays. Ce
programme bénéficie du soutien technique et financier de nombreux partenaires : la Banque
mondiale, le ministère de l'Éducation nationale français, le Bureau régional de l’UNESCO
pour l’éducation en Afrique, le Pôle de Dakar, l’ADEA80, l’UNICEF, l’IREDU81, l’Université
Cornell (Etats-Unis) et le Laboratoire d’économie appliquée de l’Institut national de la
recherche agronomique (INRA, France).
Après ce bref tour d'horizon descriptif, il nous semble indispensable d'analyser plus en détail
les aspects techniques et politiques des évaluations internationales sur les acquis des élèves.
En France, ces comparaisons ont fait l'objet de nombreuses critiques non seulement méthodo-
logiques mais également sur leur portée politique et culturelle. Sans prétendre en décrypter de
manière approfondie tous les ressorts, nous essaierons d'en comprendre les contraintes, les
limites et les enjeux principaux, de manière à inscrire notre problématique et la recherche
subséquente dans un cadre clairement identifié et suffisamment contextualisé pour en garantir,
autant que possible, la pertinence.
2.3 Aspects techniques
Ce qui fait l'intérêt mais aussi la difficulté des enquêtes internationales d'évaluation des acquis
scolaires est, « à la fois d’un point de vue scientifique et politique, de faire la part entre ce qui
est joué du fait du contexte extérieur au système scolaire et ce qui est proprement du ressort
de ce dernier et de certaines de ses caractéristiques institutionnelles (structures, organisation
pédagogique…) »82. Or, comme l'écrit Vrignaud, « un des problèmes cruciaux de ces enquêtes
[est] que la compréhension des résultats et surtout de leurs limites est liée à des questions
80 Association for the Development of Education in Africa81 Institut de Recherche sur l’Éducation (Université de Bourgogne)82 DURU-BELLAT Marie, MONS Nathalie, SUCHAUT Bruno, Caractéristiques des systèmes éducatifs et
compétences des jeunes de 15 ans : l’éclairage des comparaisons entre pays. Résumé, IREDU, janvier 2004.
42/191
MARDIF Aspects techniques
méthodologiques complexes. [...] Il est donc utile pour expliciter ce qu’est et n’est pas la
compétence évaluée [...], de donner et de discuter les éléments méthodologiques qui valident
ce passage entre la performance à un ensemble de tests et la compétence de populations de
nombreux pays »83. Sans entrer dans le détail des méthodes, outils et instruments édumétriques
mis en œuvre, nous nous attacherons ici à expliciter brièvement les aspects techniques essen-
tiels à une bonne compréhension des contraintes et limites des comparaisons internationales.
2.3.1 Élaboration
2.3.1.1 Éléments théoriques sur les instruments psychométriques / édumétriques84
La psychométrie constitue le fondement méthodologique et instrumental des évaluations
internationales sur les acquis des élèves. Les instruments psychométriques s'appuient sur les
méthodes statistiques. Ils exigent une grande rigueur conceptuelle et opérationnelle.
L'une des caractéristiques essentielles de la psychométrie et de l'édumétrie est que, en l'espèce,
la grandeur mesurée est toujours un construit reposant sur un modèle théorique et non une gran-
deur objectivable. Le passage d'un score calculé à la compétence correspondante est effectué par
inférence, tout le problème étant alors de garantir la fiabilité de cette inférence, notamment
d'éviter les erreurs de mesure et les biais, ou du moins de les maîtriser.
L'étape centrale d'élaboration d'une évaluation psychométrique consiste en la création d'items.
Selon les termes de Bernaud, l'item correspond à l'unité de mesure la plus élémentaire affé-
rente à un problème ou à une question. Il est essentiel que l'échantillonnage des items soit
représentatif de tout l'univers évalué et n'en omette aucune dimension. En cas d'item à choix
multiples, la formulation de l'item intègre les réponses proposées, c'est-à-dire la réponse
correcte et les distracteurs (réponses erronées). Dans ce cas, il importe de garantir l'équiproba-
83 VRIGNAUD Pierre, « La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ? », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 29.
84 Les éléments théoriques relatifs aux instruments psychométriques sont tirés principalement de trois sources :- BERNAUD Jean-Luc, Introduction à la psychométrie, Paris, Dunod, 2007.- BOTTANI Norberto, VRIGNAUD Pierre, La France et les évaluations internationales, Rapport pour le HCÉÉ, Paris, La Documentation Française, 2005.- DEMEUSE Marc, « Introduction aux théories et aux méthodes de la mesure en Sciences psychologiques et en Sciences de l’Éducation », Notes de cours, IREDU, Université de Bourgogne, 2008.
43/191
MARDIF Élaboration
bilité des réponses proposées. A ce propos, Bernaud rappelle qu'au-delà de quatre distracteurs,
l'équiprobabilité de ces derniers devient délicate à assurer. La rédaction formelle des items est
traditionnellement assise sur quatre principes : la non-ambiguïté, l'unidimensionnalité (mesure
d'un seul construit, par ex. une connaissance précise), l'économie (nombre d'items, durée du
test, etc. limités au strict nécessaire), l'exactitude.
La mise au point des items et leur validation doit être effectuée avec la plus grande rigueur
scientifique de manière à en garantir la pertinence et la fiabilité statistiques. A cette fin, la
phase de conception d'une évaluation psychométrique comporte généralement une pré-expéri-
mentation permettant d'évaluer les items élaborés, par l'observation de l'épreuve, le retour
d'information des répondants et l'analyse des items. Il existe plusieurs modèles d'analyse des
items. Bernaud en répertorie quatre : le modèle – ou théorie – classique ; l'analyse factorielle ;
le modèle empirique ; les modèles – ou théorie – de réponse à l'item. Nous nous contenterons
de présenter les caractéristiques essentielles des modèles relevant de la Théorie de Réponse à
l'Item (TRI), qui sont les modèles probabilistes utilisés pour la mise au point des items des
évaluations internationales sur les acquis des élèves, tant par l'IEA que pour PISA.
Les scores bruts (le nombre de points obtenus à un test) n'ayant pas, en psychométrie, de
signification intrinsèque mais dépendant des caractéristiques de chaque épreuve, l'appareil de
mesure utilisé doit classiquement faire l'objet d'un étalonnage. Cette opération consiste à
mettre en rapport les performances d'un individu avec celles de la population dont il est issu,
en rapprochant son score de celui obtenu par d'autres (par exemple un échantillon de réfé-
rence). Les items dont les caractéristiques psychométriques seront jugées trop faibles seront
alors retirés du test. Cependant, les modèles de réponse à l'item (MRI)85 utilisent une méthode
alternative qui consiste à reporter sur une même échelle difficulté des items et compétences
des sujets. La construction de l’échelle de compétence dans les enquêtes utilisant la TRI est
donc basée sur les regroupements d’items à partir de leurs indices de difficulté86. Le score de
chaque sujet est alors calculé sur l'échelle ainsi définie. Une fois les paramètres de l'item
estimés, il est possible de déterminer la compétence du sujet sur la même échelle que celle de
l'item par l'association des relations sujet/compétence et item/difficulté. En pratique, les MRI
85 La TRI et les modèles afférents sont apparus dans les années soixante.86 Pour la plupart des enquêtes internationales, plusieurs niveaux de compétences (en général cinq) sont
définis.
44/191
MARDIF Élaboration
définissent la compétence du sujet comme sa probabilité de résoudre des items d'une difficulté
donnée, énoncé qui peut se traduire sous forme de fonction mathématique. Il est important de
retenir que la compétence d'un sujet se définit ici par rapport à des tâches et non par rapport à
d'autres sujets.
Les MRI permettent donc d'évaluer la performance de différents groupes d'individus sur une
même échelle y compris si ces groupes ont passé des items différents. Cette caractéristique est
particulièrement intéressante dans le cas des comparaisons internationales sur les acquis
scolaires, d'autant qu'elle permet la constitution de banques d'items volumineuses sans
surcharger chaque élève, ces derniers n'étant soumis qu'à une fraction des items. Elle autorise
également le contrôle des biais d'item. La TRI se décline en trois modèles principaux : modèle
dit de Rasch à un paramètre (niveau de difficulté de l'item), utilisé dans PISA ; modèle à deux
paramètres (niveau de difficulté et discrimination de l'item) ; modèle à trois paramètres (on
ajoute le niveau de devinage « au hasard » de l'item). Nous n'entrerons pas dans le détail de
mise en œuvre des MRI. Signalons tout de même que leur utilisation complexe et coûteuse alliée
à des conditions de validité difficiles à remplir en font un instrument délicat à manier, objet de
diverses controverses entre experts (cf. chapitre consacré aux problèmes de méthodologie).
La fiabilité des mesures effectuées à l'aide des tests psychométriques dépend de la qualité
métrologique des items. Celle-ci est déterminée par trois critères qu'il importe de maîtriser :
• La validité : qualité essentielle, elle décrit dans quelle mesure un test psychométrique évalue bien ce qu'il est censé évaluer, autrement dit à quel degré les scores obtenus rendent compte de la caractéristique que l'on cherche à mesurer. La grandeur évaluée étant ici un construit, la validité de l'instrument de mesure n'est pas absolue mais relative, ce qui la rend complexe à établir. La validité se décline elle-même selon plusieurs axes :
➢ validité de contenu : elle exprime le rapport entre le contenu du test et l'objet à mesurer. Ainsi, la mesure des acquis scolaires sera faite en référence aux contenus d'apprentissage supposés être enseignés, par exemple les programme scolaires.
➢ validité critérielle ou prédictive : elle repose, selon les termes de Demeuse, sur la possi-bilité de prédire les résultats qu'obtiendront les sujets à d'autres tests ou lors d'un événement particulier, comme la réussite en fin de scolarité.
45/191
MARDIF Élaboration
➢ validité de construction ou conceptuelle : elle intervient lorsque l'objet à mesurer n'est pas matérialisable en termes de contenus énonçables mais est lui-même basé sur un modèle théorique. C'est par exemple le cas des tests d'intelligence.
➢ validité incrémentale : elle représente la contribution, ou la valeur ajoutée, individuelle d'un test par rapport à l'ensemble auquel il appartient.
➢ validité concourante : elle permet de valider un nouveau test à partir d'un test existant déjà validé. Elle est utile lorsqu'il est nécessaire de multiplier les formes équivalentes d'une épreuve qui ne peut être proposée à l'identique d'une fois sur l'autre (examen, concours...).
➢ A ces formes de validité, certains auteurs ajoutent la validité apparente – ou manifeste – qui, bien que n'étant pas a proprement parler une qualité métrologique, peut influer sur la qualité du résultat des tests. Elle correspond à la perception de l'évalué et de l'évaluateur quant à la validité de l'épreuve. Ce critère traduit donc un sentiment subjectif. Un test jugé pertinent et acceptable pourra induire une conduite positive susceptible d'en améliorer la validité, tant de la part du répondant que de l'évaluateur, et inversement. La validité appa-rente peut avoir une importance non négligeable en édumétrie, notamment dans les comparaisons internationales sur les acquis scolaires, car l'implication des élèves et des personnels chargés d'administrer les évaluations peut influer sur les résultats.
• La fidélité : elle représente la précision avec laquelle l'item exprime l'aptitude du sujet testé. Pour être considérée comme fidèle une mesure doit être reproductible et constante dans le temps. Précisons que le score observé à un item pour un individu ne peut être envisagé comme « vrai » mais doit être considéré comme la somme d'une composante vraie (valeur réelle du sujet sur la compétence mesurée) et d'une composante d'erreur de mesure. En effet, les sources d'erreur sont nombreuses : fluctuation des performances d'un même indi-vidu (rythme biologique, maladie, humeur, motivation...), variation des conditions de l'épreuve (ergonomie du poste d'examen, consignes émises...), erreurs de cotation ou de transcription, nombre d'items du test insuffisant, etc.
• La sensibilité : elle exprime le pouvoir discriminant des items, c'est-à-dire leur capacité à différencier les individus testés. Un item au pouvoir discriminant élevé apporte beaucoup d’information sur la compétence du sujet ; un item peu discriminant renseigne peu. L'ob-jectif d'un test édumétrique étant de pouvoir distinguer les sujets testés en fonction de leurs compétences, un défaut de sensibilité caractérise un item inutile puisque porteur de peu d'information. La sensibilité insuffisante d'un test peut être due, par exemple, à une concep-tion défaillante des items, à un nombre d'items insuffisant ou au caractère non différenciateur de la compétence évaluée. Les items doivent être conçus de manière à éviter l'effet plancher (épreuve trop facile ; presque tous les répondants réussissent) et l'effet plafond (épreuve trop difficile ; presque tous les répondants échouent). En outre, le pouvoir
46/191
MARDIF Élaboration
discriminant d'un item doit être apprécié en relation avec son niveau de difficulté, c'est-à-dire en fonction de la zone de compétences sur laquelle il doit informer. Un item facile ne renseigne que sur les sujets faibles, et inversement.
Il est à noter qu'il ne suffit pas de contrôler les propriétés individuelles des items. La consis-
tance interne de l'ensemble de l'épreuve doit également être éprouvée. Celle-ci dépend de
l'homogénéité des items et de leur nombre. Compte tenu de la longueur généralement assez
importante des évaluations internationales, il est intéressant de remarquer que, à homogénéité
donnée, la consistance interne d'une épreuve peut être augmentée en augmentant le nombre
d'items.
Par ailleurs, le traitement des non-réponses n'est pas sans incidence. Il dépend du type
d'épreuve (test de puissance ou de vitesse) et de la position de l'item dans le test. En effet,
pour les items intermédiaires l'absence de réponse témoigne d'une ignorance ou d'une absence
de prise de risques. Pour les items terminaux elle peut résulter d'un manque de temps ; les
items concernés pourront alors dans certains cas être exclus de l'interprétation (notamment
pour les tests de vitesse). Ce paramètre est important dans les évaluations internationales sur
les acquis des élèves car il est établi que le comportement des répondants en cas d'incertitude
sur la réponse varie d'un pays à l'autre. Il s'agit d'ailleurs d'un argument fréquemment avancé
pour expliquer les modestes performances des élèves français à PISA, leur taux de non-ré-
ponses étant plus élevé que la moyenne.
L'échantillonnage de la population à tester appelle une attention particulière. Il existe de
nombreuses méthodes d'échantillonnage dont l'inventaire serait de peu d'intérêt ici. Celles
généralement utilisées pour les enquêtes de l'IEA et pour PISA ont été mentionnées dans les
tableaux descriptifs de PIRLS et PISA 2006. Il faut cependant signaler que les évaluations sur
les acquis des élèves font l'objet d'un double échantillonnage : l'un pour sélectionner des
établissements scolaires ; l'autre concernant les élèves testés dans chaque établissement de
l'échantillon. Lors des enquêtes édumétriques, il arrive que le nombre d'individus requis pour
assurer la représentativité de l'échantillon soit supérieur à la population totale. Dans ce cas,
tous les individus de la population de référence sont testés.
47/191
MARDIF Élaboration
Avant le lancement à grande échelle d'une enquête, il est indispensable de procéder sur un
échantillon de taille réduite à une expérimentation – ou pré-test –, généralement dans des
conditions identiques à celles prévues pour l'administration du test, afin d'en vérifier les diffé-
rents paramètres conceptuels et organisationnels : faisabilité, pertinence et qualité
métrologique des instruments de mesure, etc.
Nous l'avons évoqué à propos de la validité apparente des tests psychométriques, l'attitude des
acteurs d'une épreuve d'évaluation peut avoir une incidence sur ses résultats. Le savoir-faire
procédurale requis pour l'administration d'un test doit donc intégrer les dimensions psycholo-
giques et relationnelles de l'exercice. Il importe notamment de rassurer et de motiver les
participants. Pendant les épreuves, les personnels qui administrent les tests doivent par
ailleurs respecter deux règles de conduite : neutralité bienveillante et standardisation procédu-
rale (consignes, attitudes, gestion du temps, etc.). La phase d'information et de formation des
administrateurs des épreuves ne doit donc pas être négligée.
La correction des épreuves est une étape importante de toute démarche psychométrique car,
mal contrôlée, elle peut abaisser la validité et la fidélité des données recueillies. Des
recherches ont mis en évidence la fréquence des erreurs de cotation, surtout dans les épreuves
corrigées par des êtres humains87, ce qui est courant pour les tests édumétriques et qui est le
cas, au moins pour partie, des comparaisons internationales sur les acquis des élèves. Les
erreurs peuvent être dues à des fautes d'attention de la part des correcteurs mais également à
des instructions imprécises ou ambiguës. Là encore, il est donc essentiel de ne pas négliger la
phase d'information et de formation des correcteurs et de vérifier la rigueur du guide de cota-
tion dès le stade préliminaire de mise au point de l'instrument. D'une manière générale, toutes
les étapes faisant intervenir le facteur humain doivent être maîtrisées au maximum.
En général, une révision des méthodes psychométriques est préconisée tous les 10 à 12 ans.
Elle est rendue nécessaire par plusieurs phénomènes : les évolutions générationnelles, les
résultats aux tests psychométriques s'avérant différents d'une génération à l'autre notamment
du fait de l'augmentation progressive du QI des adultes (« effet de Flynn ») ; les changements
culturels ou technologiques (évolutions linguistiques, changements des objets de la vie
87 Bernaud cite à cet égard les travaux de Alfonso et Pratt.
48/191
MARDIF Élaboration
courantes, etc.) ; l'évolution des concepts et outils théoriques de la psychométrie (innovations
conceptuelles, correction d'erreurs, améliorations, etc.) ; les changements relatifs aux condi-
tions économiques et matérielles des méthodes psychométriques. Dans le cas particulier de
l'édumétrie, la révision de l'appareil de mesure nous semble toutefois soumise à des tensions
contradictoires dues à l'amplitude importante du temps éducatif. D'un côté, les évolutions
technologiques et sociétales imposeraient une adaptation des instruments psychométriques
pour tenir compte des conditions réelles d'apprentissage des répondants. D'un autre côté, cette
révision limite la comparabilité diachronique des données et les possibilités d'analyses longi-
tudinales qui en découlent. Tout dépendra donc de la priorité accordée : comparaison inter-
groupes (classement) à un instant donné ou évolution des performances de chaque groupe
d'une fois sur l'autre.
Bien que le premier test d'intelligence ait été créé en 1904 par un Français, Alfred Binet, la
France se situe aujourd'hui plutôt en retrait au plan international dans les disciplines psycho-
métriques, notamment en édumétrie. A cet égard, il est peut-être significatif de constater la
faible part consacrée à cette matière dans les dictionnaires français de l'éducation et de la
pédagogie. Par exemple, le Dictionnaire encyclopédique de l'éducation et de la formation88
propose une entrée pour l'éducation comparée et une pour la docimologie, mais la psychomé-
trie n'est pas traitée directement et ne fait l'objet que d'une mention – certes référencée dans
l'index – dans l'article consacré à la notion de test. L'édumétrie est apparemment totalement
absente de l'ouvrage. Le Dictionnaire des concepts clés de la pédagogie89, quant à lui, ne
propose que deux entrées, très succinctement développées : l'une pour la docimologie, l'autre
concernant la mesure (des apprentissages) ; aucune entrée pour éducation comparée, psycho-
métrie ou édumétrie, et pas d'index permettant d'en retrouver la mention dans les articles.
Bottani et Vrignaud expliquent cette situation d'une part par l'absence de cursus universitaire
dédié à ces disciplines, et d'autre part par le fait que les méthodes d'analyse des données tradi-
tionnellement utilisées en France diffèrent de celles généralement utilisées dans les autres
pays. Ce contexte semble expliquer, au moins en partie, la faible implication relative des cher-
cheurs français en sciences de l'éducation – majoritairement peu enclins aux statistiques –
88 CHAMPY Philippe, ÉTÉVÉ Christiane, (s. d.), Dictionnaire encyclopédique de l'éducation et de la formation, Paris, Nathan/Vuef, 2001.
89 RAYNAL Françoise, RIEUNIER Alain, Pédagogie : dictionnaire des concepts clés, Paris, ESF éditeur, 1997.
49/191
MARDIF Élaboration
dans la conception et le développement des comparaisons internationales, ce qui n'a pas
toujours permis de défendre les positions françaises dans ce domaine.
2.3.1.2 Cas particulier des évaluations comparatives sur les acquis des élèves
L'une des questions fondamentales liées à l'évaluation des acquis d'une population d'élèves
réside dans la définition des contenus supposés être assimilés : savoirs, savoir-faire, savoir-
être ? connaissances, compétences, aptitudes ? en référence à un programme scolaire, à des
« attendus » sociaux et professionnels ?
Les choix opérés historiquement par l'IEA et l'OCDE à cet égard s'avèrent différents. En effet,
comme nous l'avons vu, la première a généralement opté pour des évaluations en référence à
des programmes d'enseignement. Mais, dans le cas de comparaisons internationales, cette
option oblige les concepteurs des évaluations à définir un méta-programme théorique représen-
tant soit le dénominateur commun à tous les systèmes scolaires concernés (« intersection »
mathématique) – c'est l'option qui a été le plus souvent retenue par l'IEA –, soit l'ensemble des
contenus de tous les programmes scolaires concernés (« union » mathématique), méta-pro-
gramme sur lequel seront construits les items des tests. Ces deux solutions présentent des
difficultés et une complexité de mise en œuvre qui, si elles dépassent le cadre de notre
recherche, sont aisément perceptibles. Elles présentent toutefois l'avantage de clarifier la défi-
nition du construit à mesurer puisque le référent (ensemble des acquis à évaluer) est connu.
Devant les difficultés persistantes rencontrées par l'IEA face au problème de définition d'un
méta-programme commun, et vu les contestations soulevées par les évaluations internatio-
nales réalisées par l'ETS en 1988 et 1991 (IAEP I et II)90, construites à partir des programmes
d'enseignement américains, l'OCDE a opté, nous l'avons vu, pour des évaluations indépen-
dantes des curricula nationaux centrées sur trois grands domaines de compétences. Toutefois,
cette solution, pour intéressante qu'elle puisse paraître à première vue en termes de compara-
bilité, pose également un certain nombre de problèmes difficiles à résoudre. En effet, la
définition de contenus d'apprentissage en référence à des compétences ne peut être isolée d'un
environnement socioculturel. Normand souligne que « les performances des élèves reflètent
90 IAEP : International Assessment of Educational Progress (cf. tableau des principales enquêtes internationales sur les acquis des élèves en annexe)
50/191
MARDIF Élaboration
les contenus des programmes nationaux et les valeurs qui y sont attachées »91. A cet égard, la
définition de la notion de compétence donnée par les ministres de l'éducation des pays
membres de l'OCDE est éloquente : « "compétences" s’entend ici comme un ensemble de
connaissances, de savoirs, de dispositions et de valeurs »92 (nous soulignons). Dès lors
comment définir des connaissances et compétences requises ou attendues rigoureusement
identiques partout dans le monde compte tenu des différences culturelles importantes qui,
heureusement, subsistent malgré la mondialisation ? Une telle démarche ne relève-t-elle pas
d'une forme d'ethnocentrisme occidental ? Et, surtout, envisager une telle possibilité est-il
scientifiquement acceptable ? Sur le site internet de PISA et dans la brochure de présentation
de l'enquête, nous lisons que celle-ci « évalue l’acquisition de savoirs et savoir-faire essen-
tiels à la vie quotidienne », qu'elle « teste l’aptitude des élèves à appliquer les connaissances
acquises à l’école aux situations de la vie réelle », ou encore qu'elle « vise à évaluer dans
quelle mesure les adolescents de 15 ans [...] sont préparés à relever les défis de la société de
la connaissance ». Mais les savoirs et savoir-faire essentiels sont-ils les mêmes en tout point
du globe ? La vie quotidienne est-elle la même dans les pays riches ou pauvres (en dépit de la
situation supposément transitoire des derniers...) ? La vie réelle dans des régions monta-
gneuses ou désertiques sous-développées et dans des mégapoles est-elle comparable ? Enfin,
il y a-t-il un sens à mesurer l'aptitude à relever les défis de la société de la connaissance dans
des pays où la démocratie demeure un concept très théorique ou dans des régions où les popu-
lations luttent encore pour leur survie ? Ces questions soulèvent le problème de la
comparabilité intrinsèque des curricula réels dans une perspective internationale. Il est clair
que le programme PISA a été voulu, conçu et développé par et pour les dirigeants des pays
riches. Son caractère international doit se comprendre dans l'acception purement spatiale du
terme et non dans sa dimension socioculturelle.
Enfin, d'un point de vue plus instrumental, les comparaisons entre pays présentent deux autres
caractéristiques propres : elles ne peuvent être considérées comme fidèles qu'à condition de
prouver l'équivalence des mesures dans les différentes cultures (équivalence de construit,
équivalence de mesure, équivalence scalaire) ; elles nécessitent l'application d'une procédure
91 NORMAND Romuald, « Les comparaisons internationales de résultats : problèmes épistémologiques et questions de justice », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 82.
92 OCDE, La définition et la sélection des compétences clés. Résumé, 2005.
51/191
MARDIF Élaboration
de parallélisation93 permettant de reporter les résultats obtenus aux différentes versions
linguistiques ou nationales, non comparables en l'état, sur une échelle commune.
2.3.2 Problèmes épistémologiques
Comme a pu le rappeler Thierry Rocher (DEPP/MEN) le 14 mai 2009 lors d'un séminaire à
l'EHESS, pour assurer la comparabilité synchronique et diachronique des évaluations il est
essentiel d'utiliser un instrument de mesure fiable (mesure objective) et stable (échelle de
mesure identique au cours du temps). Et s'il convient certes de garder à l'esprit le fait que,
comme toute vérité scientifique, l'objectivité recherchée dans la mesure des acquis scolaires
n'est que l'expression d'un consensus inscrit dans un contexte socio-historique et temporel
donné, il importe que les instruments psychométriques utilisés permettent de fonder les
comparaisons internationales sur des bases aussi solides et objectives que possibles. C'est-à-
dire en évitant les biais de toute nature, interne (méthodologiques) ou externe (culturels,
linguistiques...) et en contextualisant les résultats pour éviter des conclusions erronées. Rappe-
lons ici pour mémoire que toute observation modifie le comportement de la personne observée et
que la quantification de ces modifications est impossible ou, à tout le moins, incertaine.
Les sources d'erreurs en psychométrie comparée sont nombreuses. Elles peuvent être :
• internes, c'est-à-dire liées à l'appareil de mesure : défaut de qualité métrologique des instru-ments psychométriques, en l'occurrence les items (sensibilité, fidélité, validité insuffisante), défaut d'étalonnage des items, modèle d'analyse des données inapproprié, défaut d'échan-tillonnage, présence de biais (cf. ci-après) ;
• externes : disponibilité, qualité et homogénéité des données d’échantillonnage et contex-tuelles, écart entre caractéristiques formelles et fonctionnement réel du système, etc.
Bernaud identifie trois types de biais possibles94 :
• biais liés au construit : ce sont par exemple les biais socioculturels relatifs aux acquis évalués (l'objet mesuré n'a pas la même signification dans différentes cultures). En l'espèce, le problème se pose différemment pour les enquêtes de l'IEA et pour PISA. En effet, dans le premier cas, le construit évalué étant bâti sur un noyau curriculaire commun, son équiva-
93 En anglais : equating ou scaling.94 BERNAUD Jean-Luc, Introduction à la psychométrie, Paris, Dunod, 2007, p. 61.
52/191
MARDIF Problèmes épistémologiques
lence d'un pays à l'autre est a priori assurée. En revanche, dans le cas de PISA (évaluation de compétences auto-référencées), l'équivalence du construit dans les différentes cultures devra être démontrée ;
• biais liés à la méthode : il s'agit des biais d'échantillonnage, qui entachent la comparabilité des échantillons testés (motivation des élèves face aux évaluations internationales variable selon les pays...) ; des biais liés aux instruments (familiarité inégale au formalisme des items : présentation des questions, instructions, modalités des réponses...) ; des biais liés à l'administration des épreuves (conditions matérielles de passation...) ;
• biais d'items : items ayant des propriétés statistiques culturellement différenciées, par exemple du fait d'erreurs de traduction ou d'un texte faisant référence à une activité cultu-rellement marquée (pétanque, baseball...). L'équivalence entre les différentes versions linguistiques/culturelles d'un test doit être établie par l'identification d'un éventuel fonction-nement différentiel des items (FDI). Cette procédure est systématiquement exécutée pour les comparaisons internationales sur les acquis des élèves ; les items présentant un FDI en sont retirés. Cependant, pour Bottani et Vrignaud, les résultats de ce « toilettage » ne sont pas totalement satisfaisants (problème de choix du/des référent(s), traitement imparfait des différentes versions linguistiques, insuffisances méthodologiques). Tout comme Goldstein, ces auteurs suggèrent par ailleurs, que le FDI est porteur d'informations intéressantes sur les différences entre pays et que la cause pourrait en être analysée.
Nous concentrerons notre analyse dans les pages qui suivent sur les écueils les plus caractéris-
tiques des comparaisons internationales.
2.3.2.1 Problèmes d'échantillonnage
L'échantillonnage de la population testée dans chaque pays participant est une opération
complexe faisant appel à des techniques statistiques sophistiquées. Nous n'entrerons pas ici
dans le détail de la construction mathématique des échantillons (rappelons que deux échan-
tillonnages sont nécessaires : l'un pour la sélection des établissements scolaires, l'autre pour le
choix des élèves) ; sujet trop vaste et de peu intérêt pour notre recherche. En revanche, nous
porterons notre attention sur quelques questions plus particulièrement spécifiques aux évalua-
tions internationales sur les acquis des élèves.
Bottani et Vrignaud rappellent que dès la conception de la première étude pilote de
l'UNESCO (1959-1962) « deux problèmes s’imposèrent d’emblée : celui des critères de défi-
53/191
MARDIF Problèmes épistémologiques
nition de la population concernée (l’âge ou le degré d’école) et celui de la construction d’un
échantillon représentatif »95. En d'autres termes, se pose, d''une part, la question de la repré-
sentativité statistique de l'échantillon testé au niveau du pays ou de la région concernée ; et,
d'autre part, la question de la comparabilité des échantillons testés d'un pays / d'une région à
l'autre, particulièrement dans le cas de PISA puisque le résultat est exprimé sous forme de
classement.
Du strict point de vue de la représentativité statistique, les techniques modernes d'échantillon-
nage des populations devraient théoriquement permettre d'obtenir des données fiables. Mais
de nombreuses questions spécifiques se posent pour en garantir la comparabilité. Par exemple,
les élèves dont la langue maternelle n'est pas celle de l'évaluation doivent-ils être exclus ? Si
oui, après combien d'années de scolarisation dans la langue d'évaluation un élèves d'origine
linguistique différente doit-il être intégré au test ? Les élèves pris en charge dans des struc-
tures ad hoc extra-scolaires pour cause de troubles du comportement ou d'apprentissage, de
handicap, etc., doivent-ils être évalués avec les autres, sachant que dans certains systèmes
éducatifs ces élèves sont scolarisés sans distinction dans les établissements scolaires ? Il est
bien évident que les réponses apportées à ces questions auront un impact sur les résultats.
Pour des raisons évidentes d'accès aux informations requises, l'échantillonnage de la popula-
tion cible est effectué par chaque pays participant. Dans ces conditions, bien que les questions
d'échantillonnage fassent l'objet d'un arbitrage international et d'une supervision technique par
le maître d'œuvre, la tentation peut être grande pour certains pays d'orienter l'échantillon, dans
un sens favorable ou défavorable, pour des raisons de stratégie politique.
La question des critères de définition de la population étudiée ne semble pas tranchée à ce
jour. Alors que l'OCDE a choisi de s'intéresser aux élèves de 15 ans, les enquêtes réalisées par
l'IEA (TIMSS, PIRLS...) concernent des populations définies par leur année – ou degré – de
scolarisation. Dans un rapport publié en 2002, le National Research Council américain
concluait que chacune de ces approches présente des avantages et des inconvénients96.
95 BOTTANI Norberto, VRIGNAUD Pierre, op. cit., p. 13.96 Actes d'un symposium organisé en novembre 2000 par le Board on International Comparative Studies in
Education (BICSE) du National Research Council américain, publiés en 2002 sous le titre « Methodological advances in cross-national surveys of educational achievement ». Références complètes en bibliographie sous l'auteur National Research Council.
54/191
MARDIF Problèmes épistémologiques
D'une manière générale, les évaluations sur population d'un âge donné sont plus difficiles à
organiser du fait de l'éparpillement des individus dans des classes de différents niveaux –
rendant en outre impossible toute évaluation basée sur les curricula – et de la plus grande
complexité dans le cas de l'échantillonnage par grappes, ce qui en accroît le coût. De plus, les
élèves d'un âge donné n'ont pas tous suivi le même nombre d'années de scolarisation du fait
de la différence d'âge légal d'instruction obligatoire d'un pays à l'autre. La pratique du redou-
blement, très variable également d'un système à l'autre, introduit des disparités importantes
entre élèves évalués quant au niveau (degré) de scolarisation. A titre d'exemple, en France, les
élèves de 15 ans pourront être en classe de 4ème, 3ème, 2nde voire 1ère97. Enfin, dans le cas
de PISA, « les données, portant sur les élèves (encore) scolarisés à 15 ans, vont concerner un
pourcentage d’une génération variable selon les pays, proche de 100 % dans les pays de
l’OCDE les plus riches, mais bien plus faible dans des pays comme la Thaïlande, le Brésil et
le Mexique »98, ce qui ne sera pas sans influence sur les résultats.
D'un autre côté, les évaluations sur population d'un niveau donné posent des problèmes de
comparabilité des résultats obtenus du fait de la variation importante de l'âge des individus
testés99 et des différences curriculaires entre pays, notamment quant au nombre d'années de la
scolarité primaire et secondaire et à la répartition des apprentissages sur cette période. En
outre, cette alternative avantage les pays pratiquant le redoublement par rapport à ceux qui ne
le pratiquent pas.
Parallèlement se pose également la question de la pertinence des populations choisies en fonc-
tion de l'objet d'étude. L'objet des évaluations de l'IEA et de l'OCDE étant a priori identiques
(même si les objectifs divergent), il est surprenant de constater les différences d'option entre
les deux institutions. Nous l'avons vu, la première évalue des élèves de 9-10 ans (4ème année
de scolarisation) et de 13-14 ans (8ème année)100 ; la seconde s'intéresse aux jeunes de 15 ans.
Si l'âge de 9 ou 10 ans est aisément compréhensible car il représente généralement la fin du
97 Pour PISA 2000, environ 50 % des Français étaient scolarisés en classe de 2nde, 36 % en 3ème, 10 % en 4ème. (Source : RÉMOND Martine, « Éclairage des évolutions internationales PIRLS et PISA sur les élèves français », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 77)
98 DURU-BELLAT Marie, MONS Nathalie, SUCHAUT Bruno, op. cit.99 A titre d'exemple, l'âge moyen des élèves évalués pour PIRLS 2006 s'échelonnait de 9,7 ans en Italie à 11
ans en Lettonie. (Source : PISA 2006 Technical report)100 Nous faisons ici référence à TIMSS et PIRLS.
55/191
MARDIF Problèmes épistémologiques
cycle primaire, la différence dans les choix effectués sur le cycle secondaire inférieur peut
étonner. Cet écart est peut-être justifié par la composition du panel de pays participants. En
effet, certains des pays participants aux évaluations de l'IEA étant relativement pauvres, la
durée de scolarisation obligatoire y est plus faible que dans les pays membres de l'OCDE,
dont le niveau de développement est généralement élevé. Il est évident que la réalisation
d'évaluations de masse sur un échantillon représentatif de l'ensemble de la population mais
dont les individus ne sont plus scolarisés pose des problèmes organisationnels difficilement
surmontables. Les populations étudiées ont donc probablement été choisies en fonction de ce
critère (Bottani et Vrignaud).
2.3.2.2 Problèmes de traduction et biais culturels
Une mesure est dite biaisée si elle mesure imparfaitement ce qu'elle est supposée mesurer. Le
problème des biais édumétriques ne se limite donc pas aux biais d'origine linguistique ou
culturelle. Nous concentrerons néanmoins notre analyse sur ces derniers car ce sont les biais
les plus fréquemment invoqués à l'encontre des évaluations comparatives internationales.
Nous l'avons dit, l'objet d'évaluation (connaissances, compétences, aptitudes, attitudes...) est
ici un construit porteur d'une charge socioculturelle et non une grandeur objectivable. Comme
il est établi que la présentation ou le contenu des items peuvent avantager certains élèves, le
problème n'est pas de mesurer « objectivement » des acquis mais de réduire au minimum la
marge d'erreur et d'en contrôler autant que possible les paramètres, afin de neutraliser les biais
internes et externes.
Le problème des biais socioculturels et linguistiques, bien connu des psychométriciens101, a
été identifié dès l'origine des comparaisons en éducation. L'étude pilote réalisée en 1961 sous
l'égide de l'UNESCO comportait déjà un test non verbal, c'est-à-dire ne mobilisant pas les
compétences verbales ou linguistiques du sujet testé. Dans le rapport qu'il a rédigé sur le sujet
en 1993 à la demande de l'UNESCO, Harvey Goldstein estimait d'ailleurs qu'il est impossible
de déterminer si un test mesure les mêmes connaissances dans deux cultures différentes :
101 Bottani et Vrignaud rappellent toutefois qu'après le quasi abandon de l'idée de tests culture free, les concepteurs de tests ont plutôt cherché à développer et à perfectionner des méthodes d'identification des biais, en vue d'assurer l'équité entre les individus lors des évaluations.
56/191
MARDIF Problèmes épistémologiques
« Il s'agit plutôt pour les auteurs des diverses versions d'un même test de définir l'équivalence de ces versions. La décision sera normalement provisoire et le plus souvent satisfera à des critères raisonnables, par exemple en matière de traduction. »102
La problématique des biais en éducation comparée ne se pose pas en termes d'équivalence
absolue mais bien en termes d'équivalence statistique, la solution passant par la recherche du
meilleur ajustement possible des modèles explicatifs développés pour tenir compte des diffé-
rences observées. Rappelons que la problématique des biais est beaucoup plus prégnante pour
les comparaisons internationales qui évaluent des compétences (PISA...) que pour celles
basées sur les curricula (TIMSS, PIRLS...), ces dernières limitant grandement les biais liées
au construit.
Nous proposons dans les paragraphes qui suivent une brève analyse des biais linguistiques et
socioculturels. Des exemples extraits d'un article de Goldstein paru dans la Revue française
de pédagogie sont par ailleurs reproduits en annexe à titre illustratif.
2.3.2.2.1 Biais linguistiques
Le nombre de langues parlées dans le monde se situe selon les évaluations entre six et sept
mille103. Selon le modèle gravitationnel développé par Calvet104, le système linguistique
mondial serait structuré de manière hiérarchisée, les rapports entre les langues du monde
pouvant se représenter en termes de gravitations étagées autour de langues pivots de niveaux
différents ; avec au sommet du système l’anglais, langue hypercentrale, puis des langues
supercentrales (espagnol, français, hindi, arabe, malais...), etc. Ce modèle sociolinguistique
théorique montre bien ce qui, par ailleurs, peut paraître une évidence empirique : l'inégale
position des langues dans le monde et la position dominante de l'anglais. Dans ces conditions,
comment tenir compte du différentiel (positif ou négatif) entre les locuteurs natifs anglo-
phones de culture anglo-saxonne et les autres individus testés dans le cadre d'évaluations
comparatives internationales dont les items sont majoritairement conçus et rédigés initiale-
102 GOLDSTEIN Harvey, « Interprétation des comparaisons internationales des résultats scolaires », dans Études et documents d'éducation, n° 63, Paris, UNESCO, 1995, p. 28.
103 Source : OSEKI-DÉPRÉ Inês, Questions de traductologie, cours de Master-2 « Coopération linguistique et éducative », Université de Provence, 2008.
104 CALVET Louis-Jean, « Les effets linguistiques de la mondialisation », article publié en 2004 sur le site Cafés géographiques, reproduit sur le site de l'Observatoire européen du plurilinguisme (http://plurilinguisme.europe-avenir.com).
57/191
MARDIF Problèmes épistémologiques
ment en anglais par des experts issus d'un nombre restreint de sphères socio-linguistiques et
culturelles puis traduits ? D'autant que la langue est au minimum vecteur des savoirs évalués
(mathématiques, sciences) mais parfois l'objet même du test (compréhension de l'écrit).
Une autre caractéristique du modèle de Calvet réside dans l'importance du bilinguisme dans la
diffusion des langues et la structuration du système linguistique mondial, avec d'un côté des
anglophones, généralement monolingues, et de l'autre des régions entières du globe ou le
multilinguisme est aujourd'hui la règle. Dans ces dernières, quelle doit alors être la langue de
passation des évaluations internationales ?
Si l'on accepte l'idée que le langage structure la pensée, la perspective universaliste adoptée
par les concepteurs d'évaluations internationales basées sur des compétences (non curricu-
laires) est tout à fait discutable. Les difficultés phonologiques et lexicales, l'acquisition des
concepts, l'usage de figures de style, etc. ne sont pas les mêmes d'une langue à l'autre.
Certaines inférences sont probablement plus difficiles à faire dans certaines langues que dans
d'autres. Par exemple, il est connu que les langues endémiques aux régions septentrionales
extrêmes comportent une grande variété de mots pour désigner ce que nous appelons commu-
nément la neige ; en existe-t-il seulement un dans toutes les langues des régions au climat
tropical ? Autre exemple : il est établi qu'un même texte sera plus long en français qu'en
anglais, donc plus long à lire... Par ailleurs, les rapports entre langue et culture, les questions
de fidélité de la traduction (traduire = trahir ?) ou l’opposition source/cible (traduction
orientée vers la langue/culture de départ ou la langue/culture d’arrivée) sont bien connus. Ces
difficultés ont conduit les concepteurs des tests à édicter certaines règles de rédaction des
items pour en limiter les biais. Néanmoins, ces règles risquent d'être elles-mêmes porteuses de
biais (Goldstein). En outre, en évitant par exemple certaines formes syntaxiques, elles font
l'impasse sur la maîtrise des compétences correspondantes.
Certaines recherches semblent indiquer que les erreurs de traduction constituent la première
source d'imperfections dans ce type d'enquêtes internationales105, avant les problèmes de biais
culturel ou de curriculum évalué. Différentes techniques sont certes utilisées par les concep-
105 Auteurs cités dans le rapport technique de PISA 2006 : Harkness, Van de Vijver et Mohler, Hambleton, Merenda et Spielberger.
58/191
MARDIF Problèmes épistémologiques
teurs des évaluations pour limiter les risques d'erreurs : double traduction, rétro-traduction,
double traduction depuis deux langues sources différentes, etc. Mais des erreurs subsistent et
certains obstacles sont difficilement surmontables.
Tous ces éléments mettent en évidence la complexité des problématiques linguistiques et,
surtout, l'imbrication difficilement quantifiable des enjeux sociaux, culturels et cognitifs liés à
la traduction. Pour toutes ces raisons, les biais linguistiques constituent un obstacle substantiel
à la comparabilité des résultats de tests psychométriques réalisés à une échelle internationale,
du fait du caractère interculturel et interlinguistique de telles épreuves. Ces biais sont
d'ailleurs depuis l'origine des évaluations internationales l'un des obstacles majeurs auxquels
ont été confrontés les concepteurs de ces enquêtes, sources de contestation des résultats par
les dirigeants de certains pays et de nombreuses controverses entre experts.
Une des solutions possibles permettant d'éviter les biais linguistiques consiste à utiliser des
tests non traduits. Ainsi, des épreuves originales dans la langue nationale des élèves ont été
conçues par plusieurs pays européens avec le soutien du RERPESE pour évaluer leur compé-
tences en compréhension de l'écrit106. L'élaboration des grilles de compétences communes
présente certes des difficultés d'étalonnage importantes. Néanmoins, pour Bottani et Vrignaud,
cette piste est insuffisamment explorée et mériterait un plus fort investissement de la part des
acteurs concernés.
2.3.2.2.2 Biais socioculturels
L'un des biais observés dans les tests édumétriques provient du degré de familiarité des élèves
avec le type de questionnaire utilisé, tant sur le fond que sur la forme : rédaction et présenta-
tion des items ; neutralité culturelle du contenu des items. La force de la dimension culturelle
de l'apprentissage de la lecture à l'école trouve d'ailleurs son illustration dans la part générale-
ment négligeable de la littérature étrangère dans les programmes scolaires de nombreux pays
européens107. Au-delà de la familiarité plus ou moins importante des élèves avec le type de
106 Cette réflexion du RERPESE a conduit à la création du projet C-BAR (Culturally Balanced Assessment of Reading) auquel ont participé huit pays européens : Angleterre, Belgique (Communauté flamande), Finlande, France, Italie, Pays-Bas, Norvège et Suède.
107 Ce constat a notamment été mis en évidence par Françoise Mattossi, inspectrice de l'Éducation nationale chargée de mission pour les écoles européennes, dans un compte-rendu de recherche non publié intitulé « Place de la culture européenne au travers de la littérature à l’école en France » (2009).
59/191
MARDIF Problèmes épistémologiques
tests auquel ils sont soumis, les modalités mêmes d'évaluation varient grandement d'un pays à
l'autre : fréquence et importance relative des contrôles (continu vs terminal), mode d'évalua-
tion privilégié (sommatif vs formatif), importance de l'écrit par rapport à l'oral, etc. Les
dimensions psychologiques et cognitives liées à la passation d'évaluations diagnostiques ne
peuvent être ignorées.
Un autre problème, si l'on s'attache à mesurer l'efficacité ou la performance d'un système d'en-
seignement, réside dans la différence de niveau des élèves à leur entrée dans la scolarité, et, plus
généralement, nous l'avons évoqué, dans la part des acquis imputables au système éducatif. Il
faut d'ailleurs noter que la scolarisation pré-élémentaire varie grandement d'un pays à l'autre. Il
est bien évident que les facteurs tels que le milieu social, la santé ou l'éducation donnée par les
parents influent sur le niveau et le champ des connaissances et des compétences préscolaires
acquises par les enfants, ces facteurs dépendant eux-mêmes de la situation socio-démogra-
phique et socio-économique du pays, et, plus largement, de son niveau de développement. À cet
égard, pays pauvres et pays riches ne peuvent être considérés sur un pied d'égalité. Duru-bellat,
Mons et Suchaut rappellent que les relations dégagées dépendent de l’échantillon de pays sur
lequel on travaille. Ainsi, certaines corrélations pourront varier sensiblement selon que l’on
traite l’ensemble des pays ou seulement les plus riches.
Bien que les outils de redressement statistique aient été perfectionnés au fil du temps, ces
derniers ne semblent pas avoir permis de résoudre le problème de façon unanime et les spécia-
listes ne paraissent pas s'accorder sur cette question. Dans le rapport publié en 2002 par le
National Research Council (op. cit., chapitre « Problèmes d'échantillonnage »), les experts
américains faisaient d'ailleurs d'une meilleure connaissance et d'une meilleure prise en compte
de l'influence du contexte socioculturel propre à chaque pays sur les résultats des évaluations
comparatives internationales l'un des enjeux du futur.
Pour ce qui concerne la France, le problème des biais culturels a souvent été invoqué pour
contester les comparaisons internationales au motif que ces évaluations étaient imprégnées de
la culture anglo-saxonne. D'un point de vue technique, cet argument est contesté par certains
chercheurs. Duru-Bellat, Mons et Suchaut, par exemple, adoptent une rhétorique plus
nuancée :
60/191
MARDIF Problèmes épistémologiques
« A cela on peut objecter que techniquement, toutes les précautions ont été prises : les matériaux d’évaluation ont été préparés à la fois en anglais et en français, et traduits par la suite dans les langues des pays participants, à partir de ces deux sources, dans la plupart des cas, le format des items a été diversifié autant que possible… On note par ailleurs qu’à la fois les pays dont les élèves sont le plus performants appartiennent à des aires culturelles très différentes (Corée, Finlande, Canada) et que les élèves des pays culturellement proches peuvent manifester des performances relativement inégales (les USA et le Canada par exemple). La question de la réalité de biais culturels reste néanmoins ouverte, même si la recherche peine à les identifier. Les chercheurs responsables du dispositif ont en effet ré-estimé les performances des élèves à la seule aune d’items considérés par les pays eux-mêmes comme particulièrement bien adaptés à leurs élèves, et cela ne modifie que fort peu la position des différents pays (par exemple, la France passe de la 14ème à la 12ème position). Ceci constitue à l’évidence un argument fort à l’encontre de la thèse selon laquelle les résultats de l’enquête PISA seraient disqualifiés par l’existence de biais culturels. »108
Si le débat reste ouvert, il semble qu'il doive être en tout cas porté plutôt sur le terrain de la
valeur explicative accordée aux évaluations comparatives que sur leur validité générale.
En définitive, bien que très réels d'un point de vue scientifique, peut-être les problèmes de
biais culturels ne sont-ils que d'une importance opératoire relative. En effet, compte tenu – ou
en dépit – de ces biais, les élèves qui obtiennent les meilleurs scores sont peut-être ceux qui
s'avèrent finalement les mieux adaptés à la réalité socio-professionnelle dans laquelle ils
devront s'insérer. Dans une telle optique, peu importe les biais culturels ; la raison instrumen-
tale pourrait valider les comparaisons internationales sur les acquis des élèves du seul point de
vue du capital humain, car ces enquêtes sont bien le révélateur de la capacité d'un système
éducatif à préparer les élèves au monde actuel, dominé par les valeurs anglo-saxonnes de
régulation sociale par l'économie libérale de marché. Mais une telle approche met à mal la
dimension axiologique de l'éducation et se trouve en porte à faux avec les fondements huma-
nistes des systèmes éducatifs de certains pays, dont la France.
2.3.2.3 Problèmes de méthodologie
Nous avons évoqué, dans la partie consacrée à l'élaboration technique des évaluations interna-
tionales, les difficultés conceptuelles liées à la mesure de compétences. Cette approche
comporte une autre difficulté, plus prosaïque, liée au caractère polysémique et flou de la
notion de compétence : une fois un domaine de compétence défini, comment s'assurer que
108 DURU-BELLAT Marie, MONS Nathalie, SUCHAUT Bruno, op. cit., p. 4.
61/191
MARDIF Problèmes épistémologiques
l'ensemble du domaine est bien intégré dans les items du test ? Comment définir précisément
les contours d'un domaine de compétence ? Comment garantir l'exhaustivité de la mesure ?
Comment éviter que les contenus assignés aux domaines de compétence ne soient culturelle-
ment marqués ? Autrement dit, pour paraphraser Binet et sa célèbre formule à propos de
l'intelligence, comment éviter d'en rester au constat suivant : « la compétence, c'est ce que
mesure mon test » ?
Consciente de ces problèmes, l'OCDE a mis en place le programme DeSeCo109 (Définition et
Sélection des Compétences clés), indépendant de PISA mais qui fournit un cadre conceptuel
pour orienter le développement à long terme des évaluations. Selon les termes du document
de présentation du DeSeCo proposé sur son site internet, le cadre conceptuel de ce programme
classe les compétences en trois catégories transdisciplinaires et interdépendantes : 1°) Se
servir d’outils de manière interactive ; 2°) Interagir dans des groupes hétérogènes ; 3°) Agir de
façon autonome. Selon cette rhétorique officielle, la capacité des individus à réfléchir et à agir
de façon réflexive est au cœur de ce cadre de compétences ; cette pratique réflexive n’im-
plique pas seulement d’appliquer une formule ou une méthode de manière routinière dans une
situation donnée, mais aussi de faire face au changement, de tirer des enseignements des
expériences et de réfléchir et d’agir avec esprit critique. La notion de compétence définie dans
le DeSeCo sur des bases théoriques – et non psychométriques – apparaît conceptuellement
très ouverte. Son opérationnalisation semble toutefois poser problème.
L'approche de PISA demeure à ce jour beaucoup plus actionnelle, très instrumentale et condi-
tionnée par la nécessité de mesurabilité. Pour Vrignaud, ce type d’évaluation des compétences
n'est pas exempt de questionnement :
« Il y a un risque de dérive idéologique à considérer ces compétences comme dotées d’une réalité autonome et objective alors qu’elles sont étroitement dépendantes d’un modèle de mesure. »110
Cet auteur observe par ailleurs le danger de réification auquel l'approche par compétences
peut donner lieu.
109 Le programme DeSeCo fait l'objet d'un site internet dédié : http://www.deseco.admin.ch/ 110 VRIGNAUD Pierre, « La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle
était la question ? », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 38.
62/191
MARDIF Problèmes épistémologiques
« Dans le cadre de l’évaluation psychométrique qui est celui de ces enquêtes, les compétences sont avant tout des construits et ne sont pas séparables de la manière dont ces construits ont été opérationnalisés. Perdre de vue cette caractéristique laisse la porte ouverte à des généralisations abusives voire à des extrapolations que ne soutiennent pas réellement l’interprétation des résultats. »111
Nous pouvons également nous demander si la mesure comparée de compétences en compré-
hension de l'écrit peut avoir une valeur interprétative en termes de performance relative des
systèmes éducatifs alors que les langues ont des degrés de difficulté différents. Pour employer
une métaphore sportive, si le nombre et la hauteur des haies varient d'un couloir à l'autre de la
piste, que nous dira le classement d'arrivée sur la performance de chaque coureur ?
Une autre source de difficulté résultant de l'approche par compétences provient de ce que les
compétences acquises par des élèves ne l'ont pas toutes été dans le cadre scolaire. En effet, la
famille, les pairs, les médias, la vie quotidienne, etc., sont également une source importante
d'apprentissages. La question est alors, tant d'un point de scientifique que politique, de distin-
guer la part imputable au système éducatif, dans toutes ses dimensions (structurelles,
pédagogiques...), de celle due au contexte extérieur.
Un certain nombre de critiques ont également pu être émises à l'encontre des modèles de
réponse à l'item utilisés pour les enquêtes de l'IEA et PISA. Ces critiques soulignent que les
conditions de validité des MRI sont délicates à respecter et mettent en cause la pertinence
psychologique du modèle. Les deux conditions de validité jugées problématiques dans la litté-
rature consultée sont l'unidimensionnalité, et l'indépendance conditionnelle des items.
L'unidimensionnalité traduit le caractère univoque de la mesure de l'item, présupposant que, la
réussite à l'item ne mettant en jeu qu'une seule compétence, les différences interindividuelles
ne résultent que de différences de puissance et les différences de difficultés entre items ne sont
que quantitatives. Or l'idée selon laquelle les individus mettent en œuvre des stratégies et des
processus identiques – ou même similaires – pour répondre aux items est contestable. Politi-
quement parlant, la condition d'unidimensionnalité a des conséquences importantes sur la
111 VRIGNAUD Pierre, op. cit., p. 28.
63/191
MARDIF Problèmes épistémologiques
présentation des résultats des comparaisons internationales car elle conduit à privilégier dans
l'exploitation des résultats l'ordre de performances des pays, c'est-à-dire leur classement.
L'indépendance conditionnelle de l'item, quant à elle, traduit le fait que la réponse à un item
ne dépend aucunement de la réponse donnée aux autres items du test, notamment ceux situés
chronologiquement avant. Vrignaud observe, d'une part, que cette caractéristique est difficile à
tester faute d'outil statistique adéquate et, d'autre part, que de nombreuses situations de testing
ont été identifiées où, par construction, la condition d’indépendance conditionnelle n’est pas
respectée. En effet, pour des raisons évidentes d'optimisation du temps (rentabilisation de l'in-
vestissement cognitif du répondant pour prendre connaissance de l'item), il est fréquent que
les épreuves comportent plusieurs questions sur un même texte ou énoncé. Une non-réponse
ou une réponse erronée risque donc d'influer négativement sur les autres réponses se rappor-
tant à ce texte ou cet énoncé. Les effets des biais ainsi induits ne sont pas négligeables112,
comme l'ont montré les recherches de Wainer et Thissen (1996)113.
Nous l'avons vu, les MRI sont des modèles probabilistes. La définition de la zone de compé-
tence d'un sujet nécessite de décider du seuil de probabilité de réussite à partir duquel un item
est considéré comme maîtrisé : 50 %, 80 %, 100 % ? Le bon compromis n'est pas aisé à déter-
miner, ce qui questionne la pertinence de cette approche probabiliste : un sujet évalué comme
ne maîtrisant pas une compétence donnée pourra malgré tout réussir une tâche relevant de la
zone de compétence correspondante voire d'un niveau de difficulté supérieur ; a contrario, un
sujet jugé « compétent » pourra échouer sur des compétences inférieures. Ce problème est
d'autant plus gênant que les évaluations internationales utilisent une classification en plusieurs
niveaux de compétence (cinq généralement) qui « caricature » les résultats en les simplifiant.
Surtout, pour Vrignaud, « l’interprétation en termes de fonctionnement cognitif n’est pas
fondée sur l’analyse des tâches et des processus mais apparaît plutôt comme un produit
dérivé du modèle de mesure psychométrique »114. Sans être totalement invalide, la notion de
niveau de compétence est donc moins objective qu'elle ne peut sembler au premier abord.
112 Ces biais conduisent notamment à surestimer la consistance interne des évaluations.113 Cités par : VRIGNAUD Pierre, op. cit., p. 31.114 VRIGNAUD Pierre, op. cit., p. 34.
64/191
MARDIF Problèmes épistémologiques
Bien évidemment, les problèmes méthodologiques relatifs à l'évaluation des acquis ne se
limitent pas à la construction des items ou à l'analyse des données. Fabrice Murat115 rappelle
que des études ont mis en évidence l'incidence du protocole de collecte des informations sur
les résultats. Des écarts importants ont pu être observés sur les résultats obtenus par une popu-
lation évaluée sur un même corpus d'acquis selon différents protocoles. Dans le cas de
comparaisons internationales, un protocole pourra avantager les répondants de certains pays.
Nous avons vu que pour mettre en relation les résultats des élèves avec certaines variables
explicatives, des questionnaires contextuels sont complétés par les élèves, les chefs d'établis-
sement concernés et, pour certaines enquêtes, les enseignants. Goldstein observe toutefois que
la fiabilité de ces questionnaires risque d'être faible et de varier d'un système éducatif à l'autre,
notamment parce que le niveau d'information des répondants fluctue selon les pays. L'inter-
prétation des résultats pourra donc être faussée.
Concernant la comparaison des résultats dans le temps, c'est-à-dire entre deux cycles d'en-
quêtes, Goldstein estime que, compte tenu du changement de contexte social, culturel ou
scolaire, il est très difficile d'interpréter la variation de performance d'un groupe d'élèves. Par
exemple, en cas d'amélioration du score, celle-ci est-elle due à l'augmentation du niveau des
élèves ou à la baisse relative du niveau du test ? Les procédures de parallélisation (test equa-
ting) utilisées ne permettraient pas de garantir la justesse de l'interprétation.
Deux critiques très générales sont encore adressées par certains auteurs à l'encontre des instru-
ments édumétriques développés et mis en œuvre dans les évaluations internationales sur les
acquis des élèves : leur extrême sophistication en rend la compréhension et l'utilisation
éclairée difficiles (phénomène accentué par la non-diffusion des items), y compris pour les
chercheurs concernés par les questions éducatives non spécialistes des techniques psychomé-
triques ; les problèmes méthodologiques qui subsistent fragilisent (invalident ?) l'ensemble de
l'instrument en dépit – ou à cause – de sa sophistication. D'autre part, la recherche et la réduc-
tion systématique des biais conduisent à gommer des informations potentiellement
intéressantes dans une approche qui serait plus axée sur l'analyse interprétative de la diversité.
115 MURAT Fabrice, « L’évaluation des compétences des adultes : des méthodes en plein développement », dans Éducation et formations, n° 78, MEN, DEPP, 2008, p. 85-96.
65/191
MARDIF Problèmes épistémologiques
Enfin, à la frontière entre dimensions épistémologiques et politiques se trouve un autre effet
pervers des évaluations, surtout lorsque celles-ci sont mal utilisées par le politique ou mal
comprises par les acteurs du système éducatif. Ce que Demeuse appelle l'effet de reflux : le
contenu du test finit par déterminer ce qui est enseigné et non plus l'inverse. Cette inversion
des rôles se produit lorsque, se sentant déconsidérés ou menacés par des résultats jugés
médiocres comparativement à ceux des autres, tout ou partie du système adapte l'enseigne-
ment à la forme et au contenu des évaluations. Dans le cas des comparaisons internationales,
le caractère collectif des résultats et l'échantillonnage partiellement aléatoire des élèves
limitent les risques de déviance individuelle dans ce sens de la part des enseignants, mais la
tentation pour certains responsables politiques « d'adapter » leur système aux évaluations pour
en améliorer le classement ne peut être écartée. De fait, la diffusion des items de PISA hors du
cadre des enquêtes est très contrôlée et restreinte à quelques exemples. Ce teaching-to-test a
au moins deux conséquences : d'une part il biaise le résultat du groupe concerné car le score
obtenu est imputable non à une bonne maîtrise des compétences testées mais à une prépara-
tion efficace aux évaluations ; d'autre part il modifie le curriculum réel – et parfois formel –
du système concerné dans les domaines testés, hors de toute réflexion de fond sur les contenus
d'enseignement.
Ce bref aperçu des aspects conceptuels et techniques des évaluations comparatives internatio-
nales sur les acquis des élèves met en lumière l'importance des choix effectués à chaque étape
de leur élaboration et de leur mise en œuvre. L'investissement humain, institutionnel et finan-
cier des pays participants à chacune de ces étapes en détermine le rôle et la position : acteur
du processus décisionnel ou « client » passif d'un produit fini. Ces choix, apparemment pure-
ment techniques, peuvent être lourds de conséquences quant aux résultats obtenus, à leurs
validité, à leur intérêt et à leur portée. D'autant que, comme nous allons le voir, les enjeux
politiques – visibles ou sous-jacents – sont loin d'être anodins.
2.4 Enjeux politiques et analyse critique des comparaisons internationales« À l'évidence, les études comparatives internationales sont soumises à des contraintes politiques »116.
116 GOLDSTEIN Harvey, « Interprétation des comparaisons internationales des résultats scolaires », dans Etudes et documents d'éducation, n° 63, Paris, UNESCO, 1995, p. 11.
66/191
MARDIF Enjeux politiques et analyse critique des comparaisons internationales
Si la littérature détaillée émanant de chercheurs français sur les aspects techniques et métho-
dologiques des comparaisons internationales en éducation est relativement peu abondante,
celle qui traite des enjeux socio-politiques ou éducatifs de ces enquêtes s'avère plus riche.
Après avoir établi la présence formelle de ces évaluations comparatives dans la gestion des
politiques éducatives en France, nous tenterons d'en exposer brièvement l'essentiel des tenants
et aboutissants.
2.4.1 Comparaisons internationales et politiques éducatives en France
Les comparaisons internationales sont entrées dans l'arsenal juridique français comme outil de
pilotage des politiques éducatives en 2006, par un décret117 d'application de la loi du 23 avril
2005 d'orientation et de programme pour l'avenir de l'école. Ces textes ont depuis été codifiés.
Ainsi, dans son Chapitre II consacré aux objectifs et missions de l'enseignement scolaire,
après avoir constaté que « l'établissement d'un socle commun des savoirs indispensables
répond à une nécessité ressentie depuis plusieurs décennies en raison de la diversification des
connaissances » et que « la scolarité obligatoire doit au moins garantir à chaque élève les
moyens nécessaires à l'acquisition d'un socle commun constitué d'un ensemble de connais-
sances et de compétences qu'il est indispensable de maîtriser pour accomplir avec succès sa
scolarité, poursuivre sa formation, construire son avenir personnel et professionnel et réussir
sa vie en société », le Code de l'éducation stipule que « la définition du socle commun prend
également appui sur la proposition de recommandation du Parlement européen et du Conseil
de l'Union européenne en matière de " compétences clés pour l'éducation et l'apprentissage
tout au long de la vie" » et que cette définition se réfère « aux évaluations internationales,
notamment au Programme international pour le suivi des acquis des élèves (PISA) »118.
En juillet 2007, la lettre de mission de Nicolas Sarkozy, Président de la République, à son
nouveau ministre de l'Éducation nationale, Xavier Darcos, mentionne les classements aux
évaluations internationales à la fois comme indicateur de diagnostic du système scolaire fran-
çais et comme objectif à atteindre :
117 Décret n°2006-830 du 11 juillet 2006 relatif au socle commun de connaissances et de compétences.118 Code de l'éducation, partie réglementaire, article « Annexe ». Consultable en version consolidée sur le site
Legifrance.
67/191
MARDIF Comparaisons internationales et politiques éducatives en France
« Les classements internationaux des différents systèmes éducatifs montrent pour leur part que notre école ne tire pas assez vite les conséquences de la bataille mondiale de l'intelligence sur le niveau de formation requis des élèves et les qualités intellectuelles qu'il convient de développer chez eux pour répondre aux attentes du monde professionnel. […] Sur l'ensemble des points de cette lettre de mission, vous nous proposerez des indicateurs de résultat dont le suivi sera conjoint. Nous souhaitons que figurent notamment, parmi ceux-ci […] l'amélioration de notre classement dans l'évaluation internationale des systèmes éducatifs... »119 (Nous soulignons.)
Par ailleurs, le projet annuel de performance de la mission interministérielle « Enseignement
scolaire » annexée au projet de loi de finances (PLF) 2010 prévoit deux indicateurs de perfor-
mances qui font explicitement référence à PISA (cf. tableau ci-dessous).
Tableau 6 : Extrait du projet annuel de performance de la mission interministérielle « Enseignement scolaire » (PLF 2010)
Programme 141, « Enseignement scolaire public du second degré »
Objectif n° 1 :Conduire le maximum d’élèves aux niveaux de compétences attendues en fin de scolarité et à l’obtention des diplômes correspondants
Indicateur 1.7 :Proportion des jeunes de 15 ans "ayant d’importantes difficultés de lecture" (dont le niveau 1 de lecture est inférieur ou égal à 1 aux tests de PISA)
Programme 139, « Enseignement privé du premier et du second degrés »
Objectif n° 2 :Conduire le maximum d’élèves aux niveaux de compétences attendues en fin de scolarité et à l’obtention des diplômes correspondants
Indicateur 2.3 :Proportion des jeunes de 15 ans "ayant d’importantes difficultés de lecture" (dont le niveau 1 de lecture est inférieur ou égal à 1 aux tests de PISA)
Source : http://www.performance-publique.gouv.fr/farandole/2010/pap/pdf/PAP2010_BG_Enseignement_scolaire.pdf
Ainsi, les comparaisons internationales, et plus particulièrement le programme PISA de
l'OCDE apparaissent explicitement dans les orientations politiques, dans les lois de finances
et dans le droit français.
2.4.2 Enjeux politiques
En matière de gestion publique, la notion même de résultat ne va pas de soi ; elle ne peut être
dissociée des missions du service publique et, en définitive, des objectifs politiques sous-ja-
cents. Comme a pu le dire Nathalie Mons120, l'évaluation est un acte politique et non
technique. Il importe donc d'en définir clairement les enjeux politiques, ce qui, nous le
verrons, n'est pas toujours le cas sur la scène politico-médiatique.
119 Cité dans : MONS Nathalie, PONS Xavier, La réception de Pisa en France, Rapport dans le cadre du projet européen Know&Pol (Knowledge and Policy), 2009, p. 59.
120 MONS Nathalie, « La gouvernance des établissements et leurs performances dans les pays de l'UE », conférence du 15 octobre 2009, La Sorbonne, Paris .
68/191
MARDIF Enjeux politiques
En préambule, il convient de souligner à quel point la réalisation d'évaluations comparatives
internationales à grande échelle sur les acquis des élèves est une opération complexe à mettre
en œuvre, notamment du fait de l'articulation des niveaux international, national et local.
Bottani et Vrignaud121 en proposent la synthèse suivante :
Tableau 7 : Composantes de mise en œuvre d'un projet d'évaluations comparatives internationales sur les acquis des élèves
OrganisationPilotageGestion
Financementet
comptabilité
Opérationnalisation : construction des
instruments
Centre de calculs
Niveau international
Coordination internationale
Gestion du financement de la partie internationale (ticket d’entrée par pays/système d’enseignement ; répartition des frais, etc.)
Construction des instruments :- cadre théorique- typologie des problèmes- recueil d’items- sélection des itemsValidation des instrumentsTraductionÉchantillonnage
Traitement des données et production des résultats
Niveau national
Coordination nationale
Financement des frais nationaux
Proposition d’itemsModules nationauxAdministration des testsApprofondissements analytiques
Vérification, nettoyage, extraction des données
Source : Bottani, Vrignaud, 2005
Comme nous l'avons vu, et comme le soulignent ces deux auteurs, les pays qui ne disposent
pas de l'expertise et des moyens nécessaires pour participer activement aux différentes
composantes de projets d'une telle complexité sont condamnés à mettre à exécution, voire
subir, les décisions prises par d'autres en fonction de leurs objectifs et de leurs intérêts
propres. Or peu de pays disposent des ressources internes, notamment en matière d'expertise
et d'infrastructures, leur permettant de jouer un rôle actif en matière d'évaluation en éducation
et de psychométrie comparée. En l'espèce, nous ne pouvons non plus faire abstraction de la
dimension géopolitique de ces projets, qui se trouvent inévitablement soumis aux rapports de
forces et tensions spécifiques aux relations internationales. Pour ces raisons, il est bien évident
que la conception et la mise en œuvre des évaluations internationales sur les acquis des élèves
ne peuvent être vues comme un simple champ de recherche scientifique autonome. Bien au
contraire, ces évaluations, tant par leur objet que par leurs conditions de réalisation recèlent
des enjeux éminemment politiques qui ne peuvent être ignorés pour en faire bon usage.
121 BOTTANI Norberto, VRIGNAUD Pierre, op. cit., p. 47
69/191
MARDIF Enjeux politiques
Au delà des problèmes spécifiques de biais évoqués par ailleurs, les évaluations comparatives
internationales font l'impasse sur de nombreuses compétences/connaissances transmises dans
les établissements scolaires mais jugées secondaires, ou moins essentielles, par les concep-
teurs de ces études ou, plus précisément, par leurs donneurs d'ordre et financeurs, à savoir les
responsables politiques des pays participants. Résultat d'un compromis entre nations, les
compétences testées dans PISA se concentrent autour d'un socle jugé indispensable pour vivre
et travailler dans le monde actuel. Mais à l'aune de quelles valeurs, de quelles finalités éduca-
tives, ces compétences ont-elles été choisies ? En vertu de quelle logique d'autres
compétences, telles que l'intelligence relationnelle ou le raisonnement philosophique, ne sont-
elles pas mesurées/valorisées ? Évoquées avec les aspects techniques de l'élaboration des
enquêtes, ces questions ont également – et avant tout – une portée politique. La relativité d'un
construit aussi consubstantiel aux fondements éducatifs et philosophiques de nos sociétés
confère à ces comparaisons un caractère éminemment politique dont il importe d'examiner les
conséquences, notamment pour ce qui concerne la France.
2.4.2.1 Conséquences (implicites) des comparaisons internationales
Les comparaisons internationales induisent un changement de perspective quant aux finalités de certains systèmes éducatifs.
L'impact des comparaisons internationales ne peut être considéré isolément et doit être replacé
dans un contexte éducatif plus large. En effet, les politiques éducatives s'inscrivent dans le
cadre plus général des orientations politiques qui prévalent à chaque période. Elles ne sont pas
définies par le pouvoir en place selon une logique rationnelle autonome mais dépendent des
multiples facteurs qui déterminent les décisions politiques : contexte économique, social,
démographique, etc. ; situation et calendrier politiques (forces politiques en présence, réparti-
tion des pouvoirs, échéances électorales...) ; stratégies individuelles et collectives de conquête
ou de conservation du pouvoir ; état des connaissances scientifiques, controverses « idéolo-
giques » et phénomènes de mode en matière d'idées éducatives et dans les sciences de
l'éducation ; etc.
Depuis une trentaine d'années et la fin des Trente Glorieuses, les enjeux économiques ont,
avec la montée du chômage dans les pays occidentaux et le développement des moyens de
70/191
MARDIF Enjeux politiques
transport et de communication, progressivement envahi la sphère politique. Ce mouvement
s'est accéléré avec la chute du bloc soviétique au début des années quatre-vingt-dix, qui a
rendu possible la globalisation à l'échelle planétaire du libre échange des biens et services,
accompagnée de la diffusion d'un modèle de pensée dit « néolibéral », phénomène aujourd'hui
appelé mondialisation.
Dans ce contexte, les États, plus particulièrement ceux des pays les plus riches, se trouvent
confrontés à une concurrence internationale qui les amène à revoir leurs politiques afin de
permettre au secteur marchand de leurs économies de renforcer sa compétitivité, particulière-
ment face à la concurrence étrangère. Dans cette optique, l'éducation tend à perdre sa valeur
normative (disparition de la dimension axiologique) et à abandonner les projets humaniste –
issu des Lumières – et républicain qu'elle poursuivait dans certains pays dont la France, au
profit d'une visée instrumentale. Ainsi, un certain nombre de pays dont les politiques
publiques étaient assises sur le concept d'État-providence, ou du moins sur un État interven-
tionniste et régulateur, ont progressivement engagé des réformes visant à réduire les dépenses
publiques afin de diminuer le poids de la fiscalité qui pèse sur les charges des entreprises.
Cette rationalité instrumentale fondée sur la théorie du capital humain développée par Gary
Becker dans les années soixante est d'ailleurs explicitement assumée, encouragée, voire
promue par l'Union européenne et l'OCDE. En effet, sur son site internet, après avoir défini le
capital humain comme « l'ensemble des capacités, connaissances et compétences que les
personnes acquièrent par l'éducation, la formation et l'expérience », la Commission euro-
péenne rappelle que « en assignant à l'UE l'objectif global de devenir l'économie de la
connaissance la plus compétitive et la plus dynamique au monde, le Conseil européen de
Lisbonne a placé le capital humain au cœur de sa stratégie de développement »122. Par
ailleurs, le site internet de l'OCDE explicite clairement les conceptions éducatives de cette
organisation intergouvernementale : « Le capital humain joue un rôle important dans la crois-
sance économique et les résultats des individus sur le marché du travail sont liés à leur
niveau d'instruction. L'OCDE examine les mesures qui influent sur les incitations à investir
122 Site de la Commission européenne, rubrique « Emploi, affaires sociales et égalité des chances / Capital humain » : http://ec.europa.eu/social/main.jsp?catId=643&langId=fr
71/191
MARDIF Enjeux politiques
en capital humain et sur l'efficience des services d'éducation »123. On notera que le terme d'ef-
ficience utilisé ici n'est évidement pas neutre.
S'inscrivant dans cette dynamique générale, l'État français s'est lancé depuis une dizaine d'an-
nées dans un vaste mouvement de réformes visant à dynamiser son économie et à renforcer sa
position sur les marchés mondiaux. Ce mouvement a été marqué par deux grands chantiers.
En premier lieu, la Loi organique relative aux lois de finances (LOLF) d'août 2001124, qui
modifie l'architecture du budget de l’État dans le but d'accroitre la lisibilité de l'action
publique et l'efficacité de la dépense publique. A propos de la LOLF, le site internet du minis-
tère de l'Éducation nationale indique explicitement qu'elle vise « à réformer en profondeur la
gestion publique en instaurant une culture de la performance et du résultat »125. Plus récem-
ment, en juillet 2007, le gouvernement français a lancé un grand chantier de modernisation de
l'action publique baptisée « Révision générale des politiques publiques » (RGPP), qui a pour
objectif de « réduire les dépenses de l’État, tout en en améliorant l’efficacité des politiques
publiques »126. Cette initiative conçue comme un coup d’accélérateur à la réforme de l'État est
justifiée selon ses promoteurs par le fait que « les citoyens sont en droit d’attendre des
services publics efficaces au moindre coût »127.
Intuitivement, nous sentons bien que ces évènements ont une incidence sur les politiques
éducatives des pays concernés. Comme l'écrit Derouet, « l'enjeu principal [des politiques
d'éducation] n'est plus l'égalité ou la cohésion à l'intérieur d'une société nationale mais le
maintien des performances du pays dans la compétition internationale »128. Ainsi, l'école
semble de plus en plus soumise à des tensions nées des forces contradictoires qu'elle subit :
être un lieu d'éducation protégé des influences extérieures et apporter une réponse immédiate
et concrète aux besoins d'un marché de plus en plus concurrentiel.
123 Site de l'OCDE, rubrique « Département des Affaires économiques / Capital humain » : http://www.oecd.org/department/0,3355,fr_2649_34605_1_1_1_1_1,00.html
124 Loi organique n°2001-692 du 1er août 2001 relative aux lois de finances. Version consolidée au 13/07/2005. 125 Site du MEN, page consacrée à l'évaluation globale du système éducatif :
http://www.education.gouv.fr/cid265/l-evaluation-globale-du-systeme-educatif.html126 La révision générale des politiques publiques, dossier du 10 juillet relatif au lancement de la RGPP, en
ligne : http://www.rgpp.modernisation.gouv.fr/uploads/media/dossier_RGPP_10_juillet_2007.pdf 127 Ibid.128 DEROUET Jean-Louis, NORMAND Romuald, (s. d.), L'Europe de l'éducation : entre management et
politique, Lyon, INRP, 2007, p. 144.
72/191
MARDIF Enjeux politiques
Parallèlement, la fin des « grands récits » positivistes qui caractérise notre société postmoderne
marque un glissement du collectif vers l'individuel qui accompagne, facilite et légitime l'avène-
ment de la gestion par projet (projet pédagogique, projet d'orientation, projet professionnel...), la
contractualisation (contrats d'objectifs...) et la responsabilisation individuelle. Les parcours de
réussite et les programmes personnalisés de réussite éducative (PPRE), pour ne citer que deux
dispositifs en vigueur, s'inscrivent dans cette logique. Nous assistons véritablement à un change-
ment de paradigme. Agnès Van Zanten relève d'ailleurs qu'« il existe aujourd'hui un discours
global sur l'éducation composé d'un certain nombre de concepts comme la décentralisation,
l'évaluation, la professionnalisation, le management ou le marché »129.
Comme nous l'avons évoqué, les comparaisons internationales sont entrées dans le droit fran-
çais comme outil de pilotage des politiques éducatives par un décret du 11 juillet 2006 relatif au
socle commun de connaissances et de compétences qui fait explicitement référence à l'enquête
PISA. De plus, certains indicateurs de performances des documents budgétaires annexés aux
projets de lois de finances pour la mission « Enseignement scolaire » mentionnent également le
programme de l'OCDE . Cette situation est d'ailleurs illustrée par les propos de Cytermann,
inspecteur général de l’administration de l’Éducation nationale et de la recherche et professeur
associé à l'EHESS, lors d'un séminaire organisé dans cette école en novembre 2005130, consta-
tant que l’interprétation des indicateurs internationaux est « au cœur de la réforme de la
procédure budgétaire axée sur la notion de performance et d’ indicateurs de résultats ».
De toute évidence, l'utilisation des comparaisons internationales pour le pilotage des poli-
tiques publiques n'est pas une spécificité du domaine éducatif. Elle découle plus largement
des nouveaux modes de pilotage par les résultats prenant appui sur les méthodes et concepts
anglo-saxons de benchmarking131, evidence-based policy132 et accountability133, dont la formu-
129 VAN ZANTEN Agnès, « Régulation des systèmes éducatifs - entre globalisation et localisation », dans DEROUET Jean-Louis, NORMAND Romuald, (s. d.), L'Europe de l'éducation : entre management et politique, Lyon, INRP, 2007, p. 135.
130 CYTERMANN Jean-Richard., « La lecture et l’interprétation des indicateurs internationaux », intervention dans le cadre d'un séminaire à l'École des Hautes Études en Sciences Sociales (EHESS) le 27/11/2005.
131 Le terme anglais benchmarking, qui désigne la mise en œuvre d'un processus de comparaison des performances et de diffusion des meilleures pratiques, peut être traduit ici par analyse comparative, un benchmark étant un indicateur chiffré de performances (repère de référence).
132 Evidence-based policy : politique fondée sur des preuves, des choix éprouvés empiriquement.133 Accountability : obligation faite aux services publics de rendre des comptes sur leur gestion, leur efficacité et
leur efficience. Ce terme peut être traduit par redevabilité (Mons).
73/191
MARDIF Enjeux politiques
lation synthétique, et parfois incantatoire, peut se résumer par l'expression nouvelle gouvernance.
Ainsi peut-on lire sur le site du ministère français du Budget, des comptes publics, de la fonc-
tion publique et de la réforme de l'État :
« L'étude des modèles étrangers et de leurs expériences innovantes de réforme est riche en enseignements, dans les domaines les plus divers. C'est pourquoi le ministère de l'économie, des finances et de l'industrie s'est doté de plusieurs dispositifs d'études, de veille et de comparaisons internationales. Le but de cette démarche est simple : identifier les bonnes pratiques et, quand elles sont transposables, s'en inspirer dans la démarche de performance et de modernisation de la gestion publique que la France a engagée. »134
Ainsi, comme l'écrit Hélène Buisson-Fenet, « la définition de " bonnes pratiques" devient
centrale dans le développement de politiques éducatives supranationales »135, et la diffusion
de ces « bonnes pratiques » participe d'un mouvement d'uniformisation des systèmes éduca-
tifs, corollaire de la mondialisation, qui néglige les dimensions socio-historique et politique de
la construction de ces systèmes. Or il faut rappeler qu'en France, l'éducation a été un instru-
ment d'unification nationale. Aujourd'hui encore, l'État-éducateur des lois de Jules Ferry
habite l'imaginaire collectif français.
En s'affranchissant des programmes scolaires, en se fixant pour objectif d'évaluer l'acquisition
de savoirs et savoir-faire « universels » définis en référence à la vie quotidienne – ou réelle –
et en focalisant le débat sur les résultats, l'évaluation PISA opère donc un changement, impli-
cite mais fondamental, de perspective quant aux finalités de certains systèmes éducatifs
nationaux. Cette approche très opératoire des contenus d'enseignement sous-tend une concep-
tion instrumentale de l'éducation en décalage avec la vision humaniste officiellement en
vigueur dans certains pays, dont la France. Le caractère implicite de ce changement de para-
digme nous semble poser problème.
134 Site du ministère du budget, des comptes publics, de la fonction publique et de la réforme de l'État, rubrique « Les ressources documentaires », http://www.performance-publique.gouv.fr/les-ressources-documentaires/les-enjeux-des-finances-publiques/la-veille-internationale.html (consultée le 20/12/09).
135 BUISSON-FENET Hélène, « L’éducation scolaire au prisme de la science politique : vers une sociologie politique comparée de l’action publique éducative ? », dans Revue internationale de politique comparée 2007/3, Volume 14, p. 386.
74/191
MARDIF Enjeux politiques
L'approche techniciste des comparaisons internationales déplace les centres de décision hors de tout débat démocratique.
Certains auteurs considèrent que le discours technicien tend à se substituer au discours poli-
tique. Ils dénoncent le fait que l'approche techniciste des organisations internationales déplace
les centres de décision, confisquant le pouvoir aux représentations nationales hors de tout
débat démocratique et instituant une forme de gouvernement par les normes. Ainsi, pour
Normand136, les organisations internationales édictent des normes, standards, etc., internatio-
naux, sans processus de contrôle (donc sans légitimité) démocratique qui, même si elles n'ont
pas de caractère réglementaire, s'imposent aux États du fait de l'importance médiatique des
résultats et classements des pays dans les comparaisons internationales. Ce qui, selon Jean-É-
mile Charlier137, pose la question de la place du débat politique et démocratique dans le choix
des orientations des systèmes éducatifs nationaux. Pourtant, ces règles supranationales ne sont
pas imposées de manière autoritaire, comme le montre Charlier138 dans une analyse très éclai-
rante des conséquences du processus Bologne sur les politiques éducatives des pays
européens. Le fait que les décideurs et experts de différents pays finissent par adopter les
mêmes référentiels peut s'expliquer par les nécessités du dialogue sur un sujet aussi multidi-
mensionnel et protéiforme que l'éducation. En effet, les experts, par leurs compétences et leur
autorité institutionnelle, finissent par « imposer » de facto, non par volonté hégémonique mais
parce que les circonstances et la complexité du sujet les y amènent, les termes dans lesquels le
débat collectif doit être conduit. Ainsi, exposés aux mêmes informations, soumis aux mêmes
sollicitations, dans un environnement de travail mondialisé de plus en plus décloisonné, ils en
viennent à élaborer spontanément des solutions communes à des problèmes posés dans des
termes identiques en dépit de conditions socio-historiques, culturelles, géographiques, etc. très
différentes. Et, « pour que la mesure des performances des systèmes éducatifs et des établis-
sements soit possible, il est indispensable de leur imposer des règles homogènes de
fonctionnement permettant des comparaisons internes et externes »139.
Finalement, comme le souligne Charlier, « les influences internationales ne prennent pas la
forme de prescriptions impératives. Celles-ci cessent d'être nécessaires quand un savoir
136 DEROUET Jean-Louis , NORMAND Romuald, (s. d.), , op. cit., p. 201.137 CHARLIER Jean-Émile, « Les citoyens et les politiques éducatives européennes », dans DEROUET Jean-
Louis , NORMAND Romuald, (s. d.), op. cit., p. 181-197.138 Ibid.139 Ibid., p. 184.
75/191
MARDIF Enjeux politiques
commun s'élabore spontanément parmi les groupes d’experts nationaux et internationaux,
parce qu'ils sont amenés à nourrir leur réflexion aux mêmes sources »140. Ce processus trouve
sa traduction institutionnalisée dans la méthode ouverte de coordination, notamment mise en
œuvre au sein des institutions européennes, qui permet aux organisations internationales qui y
recourent « d'orienter sans jamais imposer explicitement »141 et d'intervenir dans des
domaines qui relèvent de la souveraineté nationale, sous couvert d'accompagnement tech-
nique, d'instruments communs et d'indicateurs réputés incontestables, à partir d'un diagnostic
partagé établi en fonction d'objectifs définis collectivement, dont la formulation imprécise et
générale (en substance, améliorer le niveau d'éducation...) ne peut que faire l'unanimité. La
pression des pairs (peer pressure) s'avère ici redoutablement efficace pour contraindre sans
obliger. Plus généralement, ce processus participe du glissement observé par Rochex142 ou
Mahieu et Moens143 de la politique vers le management, à l'œuvre en Europe depuis la fin de
la croyance en l'État-providence.
Charlier poursuit son analyse en observant que l'approche techniciste vide l'école de tout
projet politique. Elle n'est alors plus guidée que par l'obligation qui lui est faite de se
comparer à ses concurrentes et se voit contrainte de s'aligner sur les pratiques et les références
les plus communément admises. Les effets de cette situation sont d'autant plus pervers que le
pilotage par les résultats et son corollaire la contractualisation, qui, nous l'avons évoqué,
constitue un autre versant des nouveaux modes de gouvernance, obligent les acteurs du
système à établir eux-mêmes les règles auxquelles ils devront se soumettre pour atteindre des
objectifs dont les modalités leur échappent. Ce processus est facilité par le fait que les déci-
sions techniques sont segmentées, chaque intervenant ne prenant qu'une responsabilité limitée
sur des éléments qui, envisagés isolément, ne paraissent pas entrainer des changements
majeurs pour l'ensemble du système. Ce dernier est ainsi amené à changer de nature et de
finalités sans avoir fait l'objet d'une réforme contrôlée démocratiquement.
140 Ibid., p. 187.141 CHARLIER Jean-Émile, « La douce violence de la “Méthode ouverte de coordination” et de ses
équivalents », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 9.142 ROCHEX Jean-Yves, « PISA et les enquêtes internationales. Enjeux scientifiques, enjeux politiques », dans
Revue française de pédagogie, n° 164, INRP, 2008, p. 81.143 MAHIEU Céline, MOENS Frédéric, « De la libération de l’homme à la libéralisation de l’éducation.
L’éducation et la formation tout au long de la vie dans le discours et les pratiques européennes », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 35-55.
76/191
MARDIF Enjeux politiques
Outil de management par les résultats, les comparaisons internationales contribuent à modifier les rapports entre acteurs du système éducatif.
Nos sociétés postmodernes en crise (crise de la culture, de l'éducation, des savoirs, etc.) sont
traversées par des évolutions qui touchent également les systèmes éducatifs : dévalorisation
voire décrédibilisation des savoirs scientifiques, perte des repères axiologiques traditionnels
notamment ceux fondant le respect de l'autorité, « lente désacralisation de l'école » (Prairat),
etc. Dans ce contexte, le management par les résultats peut être vu comme une tentative de
réponse permettant à des responsables politiques, au mieux désarmés, au pire indifférents face
aux enjeux, de masquer leur impuissance en déplaçant le problème sur le terrain actionnel,
leur évitant ainsi de s'engager sur la voie difficile de la réflexion collective. Mais ce faisant,
ils rejettent la responsabilité d'insuffisances éventuelles présentées comme une réalité objec-
tive sur les différents acteurs du système, notamment l'école inefficace. C'est en tout cas le
constat effectué par House, pour qui en période de crise économique les évaluations peuvent
être utilisées par les responsables politiques pour « faire peser le poids de l’échec sur [les
derniers maillons] du système éducatif et les en rendre responsables »144.
Pour accompagner le glissement d'une gestion de moyens vers une obligation de résultats
imposés aux professionnels de l'éducation, le politique s'appuie sur la multiplication des
évaluations externes (nationales et internationales) qui, associées à la place grandissante
accordée aux parents d'élèves dans les processus décisionnels et la vie des établissements
scolaires, tendent à modifier les rapports du couple parents-élèves avec les enseignants, dont
l'autonomie, l'autorité voire la compétence sont parfois contestées. Délégitimés par le poli-
tique et les marchés, ces derniers ne peuvent alors qu'assister impuissants à « la
transformation de citoyens assujettis en clients »145.
Nous l'avons évoqué, ces changements se traduisent par une contractualisation des relations
école/famille et, plus largement, école/société civile. Associée à ce phénomène, la place grandis-
sante des évaluations externes, notamment des comparaisons internationales, pose un problème
de légitimation de l'action des professionnels de l'éducation dont le rapport à la société civile se
144 HOUSE Ernest, « Aspects politiques des évaluations à grande échelle aux États-Unis », dans Politiques d’éducation et de formation, Analyses et comparaisons internationales, n°11, 2004/2, pp. 94-101. Cité dans : BOTTANI N., VRIGNAUD P., op. cit. p. 32.
145 DEMAILLY Lise, de LA BROISE Patrice, « Les enjeux de la déprofessionnalisation », dans Socio-logos, avril 2009. En ligne : http://sociologos.revues.org/2305
77/191
MARDIF Enjeux politiques
trouve modifié. D'agents au service de l'État éducateur ceux-ci deviennent responsables des
résultats d'un système dont ils ne maîtrisent pourtant pas les entrants (inputs).
Pour finir, il nous semble nécessaire de mentionner succinctement deux autres conséquences
probables des comparaisons internationales. D'une part, comme le souligne Jürgen Schriewer,
les comparaisons d'indicateurs de performances et le benchmarking international entrepris
dans une perspective politique produisent « non pas une contextualisation, mais une décontex-
tualisation ; ils ne génèrent pas la complexité mais l’abstraction de modèles ; et ce faisant, ils
semblent promouvoir des vagues de standardisation et d’alignement toujours renouvelées »146.
D'autre part, la diffusion simpliste d'évaluations, généralement réduites au classement des
pays, à un large public non outillé pour en interpréter les résultats et en percevoir les limites,
ne peut que favoriser le développement d'une attitude consumériste des élèves et des parents
vis-à-vis d'une école dont les dimensions normative et sociale sont ignorées par ces enquêtes.
Elle ouvre ainsi la porte à toutes formes d'instrumentalisation.
2.4.2.2 La question de l'instrumentalisation des comparaisons internationales
Les comparaisons internationales sont-elles utilisées par les responsables politiques comme
instrument de pilotage éclairé ou font-elles l'objet d'une instrumentalisation à des fins idéolo-
giques ? Officiellement, nous l'avons vu, elles ont pour objet d'apporter des éléments de
connaissance et de compréhension des systèmes éducatifs aux chercheurs (but scientifique) et,
surtout, d'aide à la décision aux gouvernements (but politique). Cette dualité est d'ailleurs
soulignée par Bottani et Vrignaud, qui laissent entrevoir le rôle ambivalent de la comparaison
comme instrument de réforme :
« La comparaison est à la fois un instrument de connaissance et un levier du changement, car elle sert pour légitimer des réformes de l’enseignement, en apportant par exemple des preuves validées scientifiquement de l’utilité d’une démarche ou de la nécessité d’une réforme, contrecarrant les résistances d’ordre idéologiques. »147
Certains auteurs vont plus loin, estimant que les comparaisons internationales, et tout particu-
lièrement l'enquête PISA, pourraient servir en réalité à justifier des réformes à caractère
146 SCHRIEWER Jürgen, « L’internationalisation des discours sur l’éducation : adoption d’une " idéologie mondiale " ou persistance du style de " réflexion systémique " spécifiquement nationale ? », dans Revue française de pédagogie, n° 146, INRP, 2004, p. 22.
147 BOTTANI Noberto, VRIGNAUD Pierre, op. cit., p. 32.
78/191
MARDIF Enjeux politiques
idéologique par un habillage scientifique. La question est clairement posée par Mons : « Est-
ce PISA qui induit vraiment les réformes, ou ces projets préexistaient-ils et ont été a posteriori
légitimés pas l'étude ? »148 . Normand répond à cette question sans ambiguïté : « De fait, les
comparaisons internationales de résultats sont utilisées dans de nombreux pays pour criti-
quer l’enseignement national et faire adopter des réformes jugées indispensables »149. Dans
un article du Monde daté du 05/12/2007, Catherine Rollot et Marie De Vergès rapportent les
propos tenu le 23 décembre 2007, sur France-Culture, par Xavier Darcos, alors ministre de
l'Éducation nationale, qui « évoquait ainsi les mauvais résultats en mathématiques des élèves
français [à PISA 2006] pour justifier de "remettre de l'école dans l'école " et plaider en
faveur d'un recentrage du primaire sur l'acquisition des savoirs fondamentaux, l'un des axes
de sa future réforme ».
Pour ce qui concerne la France, Nathalie Mons et Xavier Pons dressent un constat nuancé de
la situation. Pour ces deux chercheurs, après la sortie des résultats de PISA 2000, la théma-
tique de l'instrumentalisation a été particulièrement portée par deux ouvrages qui ont eu une
forte audience auprès du public syndiqué : « Le nouvel ordre éducatif mondial » (Laval,
Weber, 2002) et « L'école n’est pas une entreprise » (Laval, 2003) »150. Dans les faits, l'instru-
mentalisation de PISA semble avoir été faible et ponctuelle lors des deux premières
occurrences de l'enquête (2000, 2003), qui reste globalement une affaire d'initié jusqu'en
2004. Par la suite, la situation est totalement différente :
« Outil désormais largement apprivoisé par le politique, PISA 2006, est l’occasion d’une forte instrumentalisation lors de la publication des résultats de l’enquête en décembre 2007. Elle passe principalement par la mobilisation des médias (voir la section suivante). Ce qui peut de l’extérieur ressembler à un plan organisé commence tout d’abord par une communication du Ministère amorcée bien en amont de la sortie officielle des deux enquêtes PISA et PIRLS sur les acquis des élèves au primaire. Ces "fuites" qui mettent en avant des mauvaises performances françaises sont savamment orchestrées en parallèle de l’organisation d’un voyage d’études réunissant certains membres du ministère et des journalistes pour un tour européen de certains systèmes éducatifs érigés en modèle.
148 ROLLOT Catherine, DE VERGES Marie, « La France paralysée devant ses mauvais résultats scolaires », Le Monde, 05/12/07. Article reproduit sous le titre « Les performances scolaires de la France selon l'enquête PISA 2006 » dans : Cahier français. Le système éducatif et ses enjeux, n° 344, mai-juin 2008, Paris, La documentation française, 2008, p. 18.
149 NORMAND Romuald, « Les comparaisons internationales de résultats : problèmes épistémologiques et questions de justice », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 80.
150 MONS Nathalie, PONS Xavier, La réception de Pisa en France, Rapport dans le cadre du projet européen Know&Pol (Knowledge and Policy), 2009, p. 35.
79/191
MARDIF Enjeux politiques
Ainsi, dès la fin du mois d’octobre 2007, alors que les données des enquêtes internationales sont encore sous embargo jusqu’au début du mois de décembre, Xavier Darcos se répand sur un ton alarmiste dans les médias en développant le thème de la régression du niveau scolaire français, à propos des résultats en mathématiques de la France à PISA 2006 […]. Ce discours gouvernemental catastrophiste sera d’ailleurs rappelé par la presse lors de la publication des résultats de PIRLS et de PISA (voir plus loin).
Une fois la sonnette d’alarme tirée en amont et les pays qui peuvent servir de modèles visités, le cabinet du ministère ne commentera pas de façon officielle les résultats des deux enquêtes PIRLS et PISA lors de leurs publications début décembre. Dans la majorité des cas, ce silence entraîne peu de questionnements chez les journalistes, le Ministère ayant désamorcé le problème en communiquant en amont sous forme de fuites alors que les données étaient encore sous embargo. La communication est efficace puisque le ministère se présente comme fournisseur d’information et ne peut donc plus être accusé de « cacher » ou de sous-valoriser les données PISA et PIRLS. De responsable des résultats médiocres français, le ministère, en dénonçant lui-même les dysfonctionnements de l’école française, a réussi à se positionner en héraut réformateur du système.
A partir de la publication des résultats de PISA 2006, les statistiques internationales sont fortement sollicitées pour appuyer les thèses gouvernementales sur la réforme nécessaire de l’enseignement primaire et du lycée. […] Couplé aux autres indicateurs de l’OCDE, issus de Regards sur l’Education, PISA permet de développer une thèse simple : la France dépense beaucoup pour l’éducation – en particulier du fait du nombre important d’enseignants dans le secondaire supérieur – pour des performances scolaires à la fois médiocres et en régression.
La mobilisation de PISA résulte d’un ensemble de facteurs qui se conjuguent. Tout d’abord, l’enquête se présente comme un outil de diagnostic. Du fait des résultats français tout à fait moyens, elle permet de s’adapter sans difficulté majeure à la thèse du déclin éducatif. »151
Pour notre part, il nous semble trouver une illustration de l'instrumentalisation dont a pu faire
l'objet PISA dans la déclaration de Nicolas Sarkozy, alors ministre de l'intérieur et de l'aména-
gement du territoire et président de l'UMP, du 22 février 2006 :
« Ensuite, je voudrais que l'on tire les conséquences de ce que nous apprennent les enquêtes internationales, en particulier les enquêtes PISA. [...] Ce qui résulte de ces analyses, c'est que les facteurs clé de la réussite d'un système éducatif sont la qualité des enseignants, leur liberté pédagogique et l'autonomie des établissements. »152
151 MONS Nathalie, PONS Xavier, op. cit. p. 60-61.152 Déclaration de Nicolas Sarkozy, alors ministre de l'intérieur et de l'aménagement du territoire et président de
l'UMP, sur ses propositions de réforme du système éducatif, ZEP et carte scolaire, autonomie des établissements, rémunération des enseignants au mérite, enseignement privé et éducation sportive, Paris le 22 février 2006. Document consultable en ligne : http://discours.vie-publique.fr/notices/063000731.htm (consulté le 15/05/2010).
80/191
MARDIF Enjeux politiques
Les résultats de PISA sont ici invoqués pour avancer trois facteurs clés de la réussite d'un
système éducatif : la qualité des enseignants, leur liberté pédagogique et l'autonomie des
établissements. Concernant ce dernier point, si l'on s'en réfère à PISA, la relation entre le
degré d’autonomie des établissements et la performance des élèves est pour le moins ténue.
En effet, dans l'analyse des résultats de PISA 2003 proposée par l'OCDE, nous pouvons lire
que :
« La corrélation entre les différents aspects de l’autonomie des établissements et les résultats des élèves est souvent faible. […] les chiffres indiquent que la performance moyenne en mathématiques tend à être supérieure dans les pays où, aux dires des chefs d’établissement, les établissements jouissent d’une plus grande autonomie dans certains domaines. […] Comme dans les autres analyses de cette nature, ces corrélations ne peuvent être interprétées dans un sens causal, car de nombreux autres facteurs sont susceptibles d’entrer en ligne de compte. »153
Le constat de l'OCDE est donc largement nuancé, ce qui ne transparaît guère dans les propos
du futur président de la République. Les résultats de PISA 2006 seront à cet égard encore plus
réservés154.
« Il ressort de l’analyse après contrôle des facteurs démographiques et socioéconomiques que les indices d’autonomie dans le recrutement du personnel, dans les matières budgétaires et dans les contenus d’enseignement ne sont pas corrélés à la performance en sciences dans une mesure qui soit statistiquement significative. »155
L'analyse des résultats de PISA pourrait donc logiquement conduire, non à une autonomie
accrue des établissements, mais à un assouplissement des contenus et programmes, ce qui ne
semble pas avoir été à l'ordre du jour dans les réformes conduites depuis. Quant au fait que la
réussite d'un système éducatif dépende de la qualité des enseignants, il n'était peut-être pas
utile de dépenser des millions d'euros en évaluation comparée pour le savoir.
L'analyse de House mentionnée dans le chapitre précédent, estimant que les évaluations
peuvent être utilisées par les responsables politiques pour imputer l’échec du système éducatif
aux personnels, laisse entrevoir une autre forme d'instrumentalisation. Dans certains cas, les
évaluations peuvent probablement être utilisées au détriment des établissements ou des ensei-
153 OCDE, Apprendre aujourd’hui, réussir demain – Premiers résultats de PISA 2003, 2004, p. 250.154 Ces résultats ne sont pas encore connus au moment de la déclaration citée.155 OCDE, PISA 2006 : Les compétences en sciences, un atout pour réussir. Volume 1 – Analyse des résultats,
2007, p. 272.
81/191
MARDIF Enjeux politiques
gnants, pour imposer des réformes aux professionnels de l'éducation en affaiblissant leur posi-
tion dans l'opinion publique. Les réductions massives d'effectifs dans l'Éducation nationale en
France ces dernières années et le mode de conduite des réformes actuelles, notamment celle
relative au recrutement des enseignants (mastérisation), en sont peut-être une illustration.
2.4.3 Intérêt et limites des comparaisons internationales
Nonobstant les analyses précédentes, les comparaisons internationales ne semblent pas
dénuées de tout intérêt. À condition toutefois d'en connaître – et reconnaître – les limites.
Pour Rolf et Svein, « la grande qualité de ces études est d'être très bien documentées »156. Ces
auteurs observent d'ailleurs que peu de moyens sont investis dans l'exploitation des données
comparativement au coût important de leur collecte, et soulignent l'intérêt qu'il y aurait à
développer les analyses secondaires157 rendues possibles par l'abondance et la précision de la
documentation, que ce soit pour en approfondir les enseignements ou pour en étayer la
critique.
Mons estime que ces évaluations ont permis d'établir, grâce aux questionnaires contextuels
complétés par les élèves, les chefs d'établissement et parfois les enseignants, un état des lieux
extensif couvrant plusieurs dizaines de pays, sur les conditions d'apprentissage, les contenus
des programmes, le fonctionnement des établissements, etc. Elles offrent ainsi une vision
moins institutionnelle et plus réelle de l'école. Ces évaluations ont également permis d'établir
certaines corrélations qui peuvent intéresser les responsables des politiques éducatives : les
systèmes à filières ou le redoublement sont associés à des résultats médiocres, par exemple.
Toutefois, elles renseignent peu, voire pas du tout, sur les facteurs explicatifs d'ordre pédago-
gique ou didactique, que PISA tend même à occulter.
Comme nous l'avons vu, les comparaisons internationales comportent de forts enjeux poli-
tiques aux conséquences contradictoires. Pour Goldstein, « ces contraintes [politiques] sont
une source à la fois de force et de faiblesse »158 car si ces enjeux politiques en permettent le
156 ROLF V. Olsen, SVEIN Lie, op. cit., p. 17.157 Rolf et Svein reprennent à ce sujet la définition des analyses secondaires suggérée par Bryman : « L'analyse
secondaire est l'analyse des données par des chercheurs qui n'ont probablement pas participé au recueil de ces données et dont le but n'a très probablement pas été envisagé par les responsables de ce recueil. » (p. 16)
158 GOLDSTEIN Harvey, « Interprétation des comparaisons internationales des résultats scolaires », dans Études et documents d'éducation, n° 63, Paris, UNESCO, 1995, p. 11.
82/191
MARDIF Intérêt et limites des comparaisons internationales
financement et la réalisation matérielle (autorisations d'accès aux établissements), dans le
même temps ils interfèrent dans les choix méthodologiques et la présentation des résultats.
Ces contraintes ne sont d'ailleurs pas spécifiques aux comparaisons éducatives. Comme le
rappellent Lima et Steffen à propos des comparaisons internationales en politiques publiques,
« la stratégie de recherche peut ainsi nous éloigner de la science pour nous rapprocher de
l’action. Les acteurs et l’action publique peuvent interférer sur les méthodes, lorsqu’ils
passent commande de comparaisons internationales »159.
Le problème se situe notamment lors de l'élaboration des réformes du système éducatif, la
tentation pouvant être grande de transposer les « bonnes pratiques » des pays bien classés vers
les pays moins performants. Mais ce type de raisonnement simpliste risque fort de ne pas
donner les résultats escomptés car, comme le note Cytermann à propos des politiques éduca-
tives des États européens, « même s’il est intéressant de connaître et d’analyser les politiques
des autres états [...] l’idée d’une diffusion et d’une reproduction des pratiques innovantes ou
des bonnes pratiques séparées de leur contexte est un leurre […] et l’ analyse comparative ne
peut être un instrument direct légitimant des réformes »160. Cytermann reprend d'ailleurs les
propos de Charlier et Moens, précisant que « même les partisans du benchmarking soulignent
les risques qu'il comporte de conduire à une imitation non critique de pratiques qui cessent
d’être efficaces quand elles sont extraites du milieu où elles sont apparues et se sont
épanouies ». Cet appel à la prudence interprétative est encore formulé conjointement par
Cytermann et Demeuse à propos des indicateurs publiés par l'OCDE ou Eurydice : « l’une des
limites des indicateurs tels qu’ils sont présentés tient à leur nature essentiellement descrip-
tive. Il est illusoire, la plupart du temps, de vouloir leur donner un caractère explicatif à
travers une relation causale »161. Pour Duru-Bellat, Mons et Suchaut, « il est en général
fragile de travailler à partir de corrélations rapprochant terme à terme telle performance et
telle caractéristique du système éducatif, alors que sont vraisemblablement à l'œuvre des
ensembles de traits constituant des cohérences sociétales spécifiques à chaque pays »162.
159 LIMA Léa, STEFFEN Monika, « Comparaisons internationales en politiques publiques : stratégies de recherche, méthodes et interprétation », dans Revue internationale de politique comparée, 2004/3, Vol. 11, p. 343.
160 CYTERMANN Jean-Richard, « La convergence des systèmes éducatifs européens », PRISME, janvier 2005. En ligne : http://www.prisme-asso.org/spip.php?article202
161 CYTERMANN Jean-Richard, DEMEUSE Marc, La lecture des indicateurs internationaux en France, Rapport pour le Haut Conseil de l'Évaluation de l'École, Paris, 2005. p. 23.
162 DURU-BELLAT Marie, MONS Nathalie, SUCHAUT Bruno, op. cit., p. 5.
83/191
MARDIF Intérêt et limites des comparaisons internationales
Comme le soulignent Lima et Steffen, en matière de politiques publiques, « la complexité
[des comparaisons] résulte du fait que différentes variables peuvent produire des résultats
semblables et, inversement, différents résultats peuvent être produits par la même variable,
dans un contexte, par exemple national ou historique, différent »163. Ces auteurs insistent tous
sur la nécessité de ne pas conclure trop vite à des relations causales phénomène/facteur et
invite à rechercher des ensembles de facteurs qui influent de concert. Démarche qui, au
demeurant, comme dans toute comparaison des politiques publiques ou de l'action publique,
ne peut avoir de sens que sur un « échantillon raisonné d'un groupe de pays homogènes »164.
Plus radicaux dans leurs conclusions, certains chercheurs, comme Prenzel et Zimmer165,
estiment même que PISA a une valeur descriptive et comparative mais ne peut nullement
expliquer les différences ou les faits constatés. Toutes ces précautions semblent d'autant plus
cruciales que, comme Moreau, Nidegger et Soussi, l'on peut se demander si les méthodes
statistiques sophistiquées utilisées permettent « la transparence et l'appropriation des
données par les décideurs politiques et les acteurs de l'école »166.
En outre, concernant plus particulièrement les études de l'IEA, le cadre conceptuel des
enquêtes en limite la portée interprétative, comme le rappelait Masters, alors président du
Comité technique consultatif de l'IEA :
« Dans les études de l'IEA, on ne vise nullement à examiner de manière exhaustive les programmes d'enseignement prévus ou mis en œuvre par un pays quel qu'il soit. On cherche plutôt à évaluer un ensemble de connaissances de base commun aux différents pays. Il s'en suit que les mesures effectuées par l'IEA des résultats obtenus dans une matière comme la physique peuvent ne pas rendre suffisamment compte de tout ce que les élèves d'un pays donné apprennent dans cette matière. [nous soulignons] En réalité, l'IEA définit les résultats atteints en physique par rapport à un corpus central de connaissances et de compétences arrêté d'un commun accord par les pays participants. La question posée est alors de savoir si ce contenu est bien enseigné et bien appris dans les différents pays. »167
163 LIMA Léa, STEFFEN Monika, op. cit., p. 340.164 LIMA Léa, STEFFEN Monika, op. cit., p. 346.165 PRENZEL Manfred, ZIMMER Karin, « Études complémentaires de PISA 2003 en Allemagne : principaux
résultats et enseignements », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 69.166 MOREAU Jean, NIDEGGER Christian, SOUSSI Anne, « Définition des compétences, choix
méthodologiques et retombées sur la politique scolaire en Suisse », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 43-54.
167 MASTERS Goeff N., « Élaboration d'échelles de mesure et agrégation dans les études de l'IEA : critique du rapport du professeur Goldstein », dans Études et documents d'éducation, n° 63, Paris, UNESCO, 1995, p. 38.
84/191
MARDIF Intérêt et limites des comparaisons internationales
En fait, compte tenu des différents problèmes épistémologiques évoqués, Goldstein estime
que le véritable intérêt de ce type d'évaluations réside non dans le classement ou les perfor-
mances relatives des systèmes éducatifs testés mais dans la mesure de leur valeur ajoutée
respective, c'est-à-dire de l'impact de chaque système sur le niveau d'éducation atteint par la
population concernée. Or cette valeur ajoutée ne peut être mesurée que par des analyses longi-
tudinales, qui, compte tenu du temps éducatif, doivent être envisagées sur le long terme. De
plus, pour être réellement profitables, les résultats doivent en être analysés de manière
détaillée et contextualisée, ce qui ne peut pas être réalisé par l'unidimensionnalité des échelles
de scores. Force est pourtant de constater que ces options ne sont pas précisément celles rete-
nues par l'OCDE pour PISA, tout au moins dans l'exploitation qui en est faite par les
responsables politiques en France.
Pour Bottani, on ne peut pas considérer que les résultats des évaluations internationales sont
parfaitement comparables et, s'ils sont les meilleurs disponibles actuellement, il convient de
les utiliser avec beaucoup de précautions. Mons partage ces réserves lorsqu'elle estime que
leurs résultats, par nature fragiles et contextualisés, ne doivent pas conduire à la croyance en
un système éducatif « idéal » transposable. Aussi fiables et instructives soient-elles, les
comparaisons internationales ne sauraient être le seul déterminant de la qualité des systèmes
éducatifs. Elles ne peuvent en être qu'un élément d'évaluation associé à d'autres indicateurs.
Maroy et Mangez plaident « pour un pluralisme et un croisement méthodologique des
approches [qualitatives] locales et des approches comparatives, macro-institutionnelles et
statistiques »168. D'autres auteurs observent que des démarches différentes pourraient aboutir à
des ensembles alternatifs d'indicateurs de la qualité d'un système d'enseignement, par exemple
celles assises sur les concepts de développement humain ou d'équité des systèmes éducatifs169.
Pour terminer cette partie descriptive de notre travail, nous reviendrons sur l'une des critiques
souvent exprimées à l'encontre des évaluations internationales, notamment de PISA : l'argu-
ment selon lequel la présentation des résultats privilégie le classement unidimensionnel au
détriment de l'analyse interprétative. Force est de constater que la complexité de ce type
168 MAROY Christian, MANGEZ Catherine, « Rationalisation de l'action publique ou politisation de la connaissance ? », dans Revue française de pédagogie, n° 164, INRP, 2008, p. 89.
169 Un tel ensemble d'indicateurs est proposé, par exemple, par le Groupe européen de recherche sur l'équité des systèmes éducatifs (GERESE) dans le cadre d'un projet soutenu par la Direction générale de l'éducation et de la culture de la Commission européenne.
85/191
MARDIF Intérêt et limites des comparaisons internationales
d'évaluations favorise la diffusion de masse de résultats réducteurs et partiels, limités à leur
plus simple expression. Cette situation qui semble difficilement dépassable produit, nous
l'avons vu, des effets indiscutablement négatifs : stigmatisation des pays/régions « mauvais
élèves », mise en concurrence des systèmes et de leurs acteurs sans prise en compte suffisante
des facteurs explicatifs des écarts de résultat, développement du culte de la performance au
détriment du contenu axiologique de l'éducation, risque de transposition inappropriée de
pratiques jugées « bonnes » sans tenir compte du contexte culturel et historique qui les légi-
time, etc. En définitive, la conception d'évaluations comparatives sur les acquis des élèves
ayant pour objet de mesurer la performance des systèmes éducatifs pose l'éternelle question
des finalités de l'éducation. Quoi enseigner ? Pourquoi (et pour quoi) ?...
Après ce bref tour d'horizon, il nous semble que les évaluations comparatives internationales
se caractérisent par une assez grande complexité due à l'imbrication étroite de leurs dimen-
sions techniques et politiques. Techniquement pointu et politiquement sensible, le sujet prête
le flanc à toutes formes d'incompréhension, de mésinterprétation, voire de manipulation.
Reste à savoir dans quelle mesure, ces écueils sont évités par la population, et plus particuliè-
rement par les personnels de l'Éducation nationale. C'est la question à laquelle nous essaierons
d'apporter quelques éléments de réponse dans la suite de ce travail.
86/191
MARDIF Approche expérimentale : la recherche
3 APPROCHE EXPÉRIMENTALE : LA RECHERCHELa définition de la problématique, le choix de la méthodologie, l'élaboration et l'exploitation
des outils et des données de cette recherche s'appuient essentiellement sur les éléments théo-
riques et les recommandations issus des ouvrages de Bardin170, Berthier171, Blanchet et
Gotman172, Robert et Bouillaguet173, et de Singly174, ainsi que du cours de méthodologie de
Desmet, Lahaye et Pourtois175.
3.1 Définition de la problématique
Avant de définir notre problématique, rappelons que ce travail a pour objet de mettre à jour
quelques éléments de compréhension des rapports d'influence qui lient comparaisons interna-
tionales et politiques éducatives nationales.
A l'origine de ce projet de recherche, nous pensions mesurer l'impact des comparaisons inter-
nationales sur les politiques éducatives en établissant scientifiquement une causalité liant les
premières aux secondes, sans idée précise sur la manière d'atteindre cet objectif, et témoignant
rétrospectivement d'une naïveté sans doute caractéristique du néophyte. En effet, lors de la
revue de la littérature relative à l'objet de recherche et dès la lecture des premiers ouvrages
traitant des méthodologies de recherche, nous avons rapidement dû nous rendre à l'évidence :
cet objectif était beaucoup trop ambitieux. Comment, en effet, établir une causalité formelle
entre comparaisons internationales et politiques éducatives, surtout dans le cadre limité d'une
recherche s'inscrivant dans un cursus universitaire de master ? D'ailleurs, Bottani et Vrignaud
ne nous rappellent-ils pas à la raison lorsque, dans leur rapport intitulé « La France et les
évaluations internationales » rédigé pour le Haut Conseil de l'Évaluation de l'École, ils
écrivent qu'il « est prétentieux de se fixer un objectif de ce type [établir des explications
170 BARDIN Laurence, L'analyse de contenu, Paris, PUF, Quadrige, 2007.171 BERTHIER Nicole, Les techniques d'enquête en sciences sociales. Méthodes et exercices corrigés, Paris,
Armand Colin/VUEF, 2002.172 BLANCHET Alain, GOTMAN Anne, L'enquête et ses méthodes. L'entretien, Paris, Armand Colin, 2007.173 ROBERT André D., BOUILLAGUET Annick, L'analyse de contenu, Paris, PUF, « Que sais-je ? », n° 3271,
1997.174 SINGLY (de) François, L'enquête et ses méthodes. Le questionnaire, Paris, Armand Colin, 2008.175 DESMET Hugiette, LAHAYE Willy, POURTOIS Jean-Pierre, « Les points-charnières de la recherche
scientifique », Cours de méthodologie du MARDIF, Faculté de Psychologie et des Sciences de l'Éducation, Université de Rouen, 2008.
87/191
MARDIF Définition de la problématique
causales], car d’autres études et d’autres données [que celles disponibles] seraient néces-
saires »176. Nous avons donc dû envisager d'autres possibilités d'investigation, pour orienter
dans un premier temps notre travail sur une recherche de corrélations. Deux pistes au moins
étaient alors envisageables :
• la recherche de synchronie entre la diffusion des résultats des comparaisons internationales et la chronologie des réformes éducatives d'un ou plusieurs pays ;
• la recherche de références explicites ou implicites aux comparaisons internationales pour justifier les réformes curriculaires ou structurelles de l'Éducation nationale en France, au moyen d'une analyse de contenu.
A la réflexion, la recherche de synchronie nous a semblé insuffisamment probante en soi au
regard de notre questionnement initial pour justifier une recherche dont le résultat serait fina-
lement peu significatif. En effet, si une telle synchronie n'a pas été formellement établie
scientifiquement à notre connaissance, il semble assez clair en revanche que le développement
des comparaisons internationales depuis les années soixante se soit effectué concomitamment
à l'accélération générale du rythme des réformes en matière éducative dans de très nombreux
pays depuis une cinquantaine d'années. Comme nous l'avons vu, les comparaisons ont
toujours eu vocation à identifier les facteurs de réussite éducative. Il est donc logique qu'elles
se traduisent par des évolutions des systèmes éducatifs et que, globalement, elles accom-
pagnent les réformes. En outre, le lien entre comparaisons internationales et politiques
éducatives apparaît explicitement dans les objectifs de ces évaluations, comme nous l'avons
constaté. Pour autant, Bottani et Vrignaud observent que les corrélations demeurent difficiles
à établir précisément : « dans certains cas, [ces études] ont indéniablement influencé la poli-
tique, quoiqu’en général il ne soit pas aisé de démontrer la présence d’une corrélation
directe entre ces études et le changement en éducation »177.
Dans ce contexte, la mise en évidence éventuelle d'une synchronie avérée entre la publication
des comparaisons internationales et le lancement des réformes serait finalement porteuse
d'une information assez peu intéressante, sauf à être complétée d'une recherche permettant
176 BOTTANI Norberto, VRIGNAUD Pierre, op. cit. p. 15.177 Ibid.
88/191
MARDIF Définition de la problématique
d'établir des corrélations entre les résultats des évaluations internationales et le contenu des
réformes, ou éventuellement l'existence d'un débat public sur ces réformes.
En explorant ce dernier point, nous avons constaté que des recherches existaient déjà, notam-
ment celles de Martens et Niemann178. Ces deux chercheurs de l'université de Brème
(Allemagne), ont étudié l'impact des évaluations et des classements sur les politiques d'éduca-
tion nationales, à partir du cas de PISA. Partant du postulat que la couverture médiatique de
PISA dans un pays est corrélée à l'intérêt du public pour les résultats à cette enquête (présence
d'un débat public), ces chercheurs émettaient l'hypothèse que plus les résultats d'un pays à
PISA étaient éloignés de la moyenne, plus importante était la couverture médiatique relative à
PISA dans ce pays. Or cette hypothèse s'est vue infirmée par l'analyse du nombre d'articles de
presse parus, entre 2001 et 2008, dans 22 pays de l'OCDE ayant participé à PISA et la mise en
relation de ce cette couverture médiatique avec le classement de chaque pays. Cette analyse
est illustrée par les deux graphiques ci-dessous.
Graphique 1 : Couverture médiatique de PISA dans 22 pays de l'OCDE entre 2001 et 2008
Source : MARTENS Kerstin, NIEMANN Dennis179
178 MARTENS Kerstin, NIEMANN Dennis, « Governance by Comparison – How Ratings &Rankings can Impact National Policy Making in Education », article présenté au 50ème congrès annuel de l'ISA (International Studies Association) ayant pour thème « Exploring the past, anticipating the future », New York Marriott Marquis, New York, NY, USA, 15/02/2009.
179 Reproduction expressément autorisée par les auteurs.
89/191
MARDIF Définition de la problématique
Graphique 2 : Classement à PISA et couverture médiatique dans 22 pays de l'OCDE
Source : MARTENS Kerstin, NIEMANN Dennis
Martens et Niemann ont alors cherché à comprendre ce qui pouvait expliquer la présence plus
ou moins marquée des comparaisons internationales dans le débat public sur l'éducation des
pays participant à PISA. À partir des cas extrêmes de l'Allemagne, qui a connu un véritable
choc suite à la parution de ses résultats inférieurs à la moyenne lors de la première enquête
(2000), et des États-Unis, où les résultats médiocres obtenus à PISA n'ont eu pratiquement
aucun retentissement dans le débat public, les deux chercheurs allemands en sont arrivés à la
conclusion que deux conditions cumulatives doivent être réunies pour que les comparaisons
internationales aient un impact sur l'opinion publique et sur les politiques éducatives natio-
nales d'un pays :
1. l'éducation, plus précisément le système d'enseignement national, doit être perçu dans le pays comme étant important, notamment pour la performance économique globale du pays ; et
2. les résultats obtenus doivent être en décalage substantiel par rapport à la perception du système éducatif national prévalant dans le pays. Concrètement, le classement du pays doit être situé largement en deçà de celui attendu.
90/191
MARDIF Définition de la problématique
Sur la question de la relation entre les résultats des évaluations internationales et l'existence
d'un débat public sur de nécessaires réformes éducatives, il ne nous semblait guère envisa-
geable d'apporter une contribution originale et scientifiquement pertinente au vu de l'existant.
A ce stade, restait donc à envisager d'évaluer l'impact des comparaisons internationales sur les
décisions politiques et l'action publique en matière éducative par le biais d'une analyse de
contenu sur un corpus de textes juridiques, d'articles de presse ou de communications gouver-
nementales (discours, lettres de mission, déclarations...). La poursuite de la revue de la
littérature sur le sujet nous a toutefois amené à constater que de tels travaux avaient déjà été
réalisés par des équipes de chercheurs, notamment Mons et Pons180 pour ce qui concerne la
France.
Les travaux de ces chercheurs français ont mis en évidence l'absence de « choc PISA » en
France, contrairement à ce qui a pu se produire dans d'autres pays dont le plus emblématique
est sans doute l'Allemagne. Ces chercheurs ont également montré, comme nous l'avons
évoqué par ailleurs, que le programme de l'OCDE a connu une fortune très évolutive auprès
des responsables politiques français. D'abord minimisés et contestés, notamment par le
recours à l'argumentaire des biais, les résultats de PISA ont dans un deuxième temps été
instrumentalisés pour justifier des réformes pouvant être qualifiées d'idéologiques, puis-
qu'elles ne reposaient pas sur des données scientifiquement éprouvées mais sur une vision
purement politique de ces questions. Mons et Pons concluent à un « profond décalage entre
les connaissances à l’origine de la conception de Pisa au niveau international et celles sur
lesquelles se fondent les discours sur PISA en France, dans la mesure où ces dernières sont
perpétuellement traduites par les acteurs en fonction de leurs intérêts politiques du moment,
de leurs compétences et de leur identité professionnelle »181.
La lecture de ces différents travaux révèle en outre que ces types d'approche nécessitent des
moyens dont nous ne disposions pas, par exemple l'accès (payant) à des bases de données
documentaires permettant le dépouillement automatisé de la presse. Un autre point d'achoppe-
ment s'est avéré être la difficulté à constituer un corpus cohérent et homogène de textes
accessibles et suffisamment pertinents pour permettre d'espérer en extraire des informations
180 MONS Nathalie, PONS Xavier, La réception de Pisa en France, Rapport dans le cadre du projet européen Know&Pol (Knowledge and Policy), 2009.
181 MONS Nathalie, PONS Xavier, op. cit., p. 109.
91/191
MARDIF Définition de la problématique
intéressantes. Par exemple, une recherche rapide dans le recueil des lois et règlements (RLR)
de l'Éducation nationale (qui inclut les circulaires, notes de service et instructions) révèle une
quasi absence de référence aux comparaisons internationales dans ce corpus : PISA (1 occur-
rence), évaluation internationale (1 occurrence, dans le même texte que pour PISA), aucune
occurrence sur les descripteurs suivants : comparaison internationale, enquête internationale,
PIRLS, TIMSS, OCDE, IEA.
Fort de ce constat, nous avons envisagé d'autres pistes de recherche. Il nous a alors semblé
qu'il serait intéressant de questionner des personnels de l'Éducation nationale pour tenter de
répondre aux deux grandes interrogations suivantes :
• Ces personnels connaissent-ils les évaluations comparatives internationales ? Qu'en savent-ils vraiment ? Sur la méthodologie, les résultats, les enjeux politiques sous-jacents ? Il était d'autant plus intéressant d'essayer d'apporter des éléments de réponse à cette question que Mons et Pons ont analysé le discours des organisations syndicales à propos de PISA.
• Ces personnels perçoivent-ils les comparaisons internationales comme utiles, fiables, scien-tifiques, (politiquement) neutres, sources de connaissance des systèmes étrangers, d'amélioration du système éducatif français en général et de questionnement de leurs pratiques professionnelles en particulier ?
La revue de la littérature que nous avons effectuée pour ce travail n'a révélé aucune recherche
similaire en France. Nous n'avons trouvé aucune référence à une quelconque consultation des
personnels de l'Éducation nationale sur cette question dans un cadre scientifique. Ainsi, pour
des raisons de faisabilité technique et pratique d'une part, et d'opportunité (intérêt de la
recherche) d'autre part, nous avons finalement défini notre problématique de la manière
suivante :
Quelle connaissance les personnels de l'Éducation nationale en France ont-ils des
comparaisons internationales ? Qu'en pensent-ils ? Les résultats des élèves français à
ces évaluations comparatives conduisent-ils ces personnels à modifier ou questionner
leurs pratiques professionnelles, ou à accepter différemment les changements imposés
par les réformes curriculaires ou structurelles engagées par les responsables poli-
tiques ?
92/191
MARDIF Définition de la problématique
Compte tenu de l'absence apparente de travaux semblables en France, notre recherche s'inscri-
vait résolument dans une perspective exploratoire. Il n'était pas question, à ce stade, de
répondre aux questions posées de façon certaine ou d'atteindre une quelconque vérité scienti-
fique. Nous avons plus modestement tenté de faire émerger quelques tendances, de mettre à
jour quelques pistes pour d'éventuelles recherches futures en « vraie grandeur ».
Le caractère exploratoire et la formulation de la problématique nous plaçaient résolument
dans une démarche qualitative et a posterioriste182. Nous ne posions aucune hypothèse quant
aux réponses aux questions posées, réservant la formulation éventuelle de celles-ci conjointe-
ment à la phase d'interprétation des discours collectés.
3.2 Choix de la méthodologie
La problématique étant définie, il nous restait à définir la méthodologie à utiliser. Comment
interroger des personnels de l'éducation nationale sur les comparaisons internationales ? Deux
grandes options s'offraient d'évidence à nous : le questionnaire ou l'entretien.
Nous avons d'abord envisagé de procéder par questionnaire en ligne à l'aide du logiciel
Google documents. Cette application libre de droit permet de créer un questionnaire qui peut
être complété en ligne par les personnes interrogées. Elle autorise les questions ouvertes ou
fermées. Les premières étant saisies dans un champ textuel, plusieurs options de saisie sont
proposées pour les réponses fermées : liste déroulante, case à cocher, etc. Par ailleurs, des
contrôles de valeur ou de format peuvent être programmés sur les champs de réponse. L'in-
térêt majeur de ce type d'application réside dans la transcription automatique des réponses
sous forme de tableau de données récupérable sous différents formats lisibles à l'aide des
tableurs courants (Excel, Calc, etc.). Un essai rapide semblait montrer que, techniquement,
cela pouvait fonctionner.
Nous envisagions de solliciter les personnes ciblées par courrier électronique intégrant un lien
renvoyant directement vers le questionnaire. Nous pensions utiliser pour cela des listes de
diffusion internes à l'Éducation nationale qui permettent de contacter différentes catégories de
personnels d'un département ou d'une académie, sous réserve d'obtenir les autorisations néces-182 DESMET Hugiette, LAHAYE Willy, POURTOIS Jean-Pierre, op. cit., p 5.
93/191
MARDIF Choix de la méthodologie
saires183. Ces listes nous auraient permis de solliciter aisément plusieurs centaines, voire
milliers, de personnes, et d'obtenir un nombre que nous espérions significatif de question-
naires exploitables, même avec un faible taux de réponse. Cependant, plusieurs questions
demeuraient sans réponse :
• Il n'était pas certain que nous obtenions l'autorisation d'utiliser des listes de diffusion insti-tutionnelles pour solliciter en nombre des personnels de l'Éducation nationale. En cas de refus, la sollicitation individuelle restait possible mais difficile à gérer dans le temps imparti.
• Nous ne connaissions pas la capacité, la sécurité et la fiabilité de l'outil envisagé (Google documents) : limitation éventuelle du nombre de réponses enregistrables ; degré de confi-dentialité des données collectées (sachant que le fichier de recueil des données est hébergé par Google) ; fiabilité générale d'un outil gratuit grand public, notamment dans le temps (risque de perte de données ?). Des solutions alternatives à cette application existent certai-nement ; encore fallait-il les trouver, se les procurer, en maîtriser le fonctionnement... Compte tenu de nos contraintes de temps, ce n'était guère envisageable.
• Enfin, dernier point mais sans doute le plus important, il subsistait le problème classique de représentativité de l'échantillon, comme pour tout questionnaire auto-administré. Intuitive-ment, il nous semble que la probabilité que les personnels répondant à une requête de ce type soient représentatifs de l'ensemble de la population concernée est faible. Il paraît raisonnable de penser que les répondants auraient probablement été plus investis ou plus critiques que la moyenne sur la question des comparaisons internationales, l'indifférence incitant peu à répondre. Mais comment mesurer ce biais d'échantillon à partir des réponses obtenues ? Sans réponse à cette question, les résultats de la recherche auraient sans doute été largement hypothéqués.
Ces problèmes, dont certains nous paraissaient rédhibitoires, pouvaient être contournés en
faisant le choix d'un questionnaire administré soit in situ soit à distance (auto-administration
après accord, téléphone...) auprès d'un échantillon de taille plus modeste. Mais pour que l'ana-
lyse quantitative des données collectées soit significative, il était indispensable de travailler
sur un échantillon représentatif de la population. Deux problèmes se posaient alors :
183 Ces listes d'utilisation réservée font l'objet d'un filtrage au niveau des serveurs informatiques de l'Éducation nationale.
94/191
MARDIF Choix de la méthodologie
• La constitution de l'échantillon : quelle que soit la méthode d'échantillonnage choisie (échantillon probabiliste, échantillon stratifié, méthode des quotas), la constitution de l'échantillon posait le problème d'accès aux données relatives à la population, celle-ci étant constituée de l'ensemble ou, au minimum, d'une catégorie de personnels de l'Éducation nationale. Il ne nous semblait pas réaliste d'espérer obtenir les autorisations et l'assistance technique requise de la part de la Direction des ressources humaines du ministère pour une recherche de master. Restait la possibilité de travailler en connaissance de cause sur un échantillon stratifié empirique non représentatif, en sachant qu'aucun résultat ne pourrait être généralisé à l'ensemble de la population étudiée, ce qui limitait l'intérêt de la recherche et la condamnait à demeurer purement exploratoire. Dans ce cas, une enquête par entretien serait sans doute plus riche d'enseignements.
• Le temps nécessaire à l'administration des questionnaires : comme le rappelle Berthier, « on considère en général qu'une enquête quantitative sur échantillon doit avoir un minimum de 80 sujets »184, quelle que soit la méthode choisie pour constituer l'échantillon. Une adminis-tration in situ était exclue pour des raisons évidentes de temps et de coût (déplacements), compte tenu des contraintes de représentativité interdisant a priori d'interroger des person-nels exerçant dans un nombre réduit d'établissements concentrés géographiquement. Malgré certains avantages, l'administration par téléphone ne résolvait pas tous les problèmes. En outre, il convient d'ajouter au temps d'administration le temps de prise de contact initiale, amplifié par les probables refus conduisant à multiplier les contacts pour obtenir un nombre suffisant de répondants respectant les contraintes d'échantillonnage.
Compte tenu de l'ensemble des contraintes épistémologiques, matérielles, temporelles et
financières évoquées, nous avons finalement opté pour une enquête par entretiens semi-direc-
tifs permettant tout à la fois de recueillir une parole libre par le choix de questions ouvertes
tout en orientant l'entretien par le biais de questions précises afin d'obtenir des éléments de
réponses aux questions de notre problématique. Cette méthode permettait en outre de
recueillir des informations plus proches du vécu professionnel des personnels interrogés, limi-
tant du même coup certains biais liés au questionnaire difficiles à éviter à l'aide d'un support
élaboré sur des bases purement théoriques. Elle nous a donc semblé tout à fait pertinente dans
le cadre d'une démarche exploratoire.
184 BERTHIER Nicole, op. cit., p. 125.
95/191
MARDIF Conception de l'enquête
3.3 Conception de l'enquête
3.3.1 Détermination de la population
D'un point de vue théorique, la population parente pouvait a priori englober tous les person-
nels participant à la mise en œuvre des politiques éducatives en France. Mais une définition
aussi large ne semblait ni opératoire ni pertinente. En effet, dans son acception la plus
étendue, cette population comprend des personnes qui ne sont pas clairement identifiables
d'un point de vue statistique et dont l'effectif est vraisemblablement très difficile, voire impos-
sible, à circonscrire avec précision du fait des différences statutaires de ces personnels, du
nombre d'opérateurs concernés et de la difficulté à cerner avec précision les limites de l'action
éducative en termes d'activités professionnelles : personnels titulaires et non titulaires de l'État
et des collectivités territoriales, salariés relevant du secteur privé autonome ou des établisse-
ments privés sous contrat, personnels des associations complémentaires œuvrant dans le
domaine péri-éducatif agréées ou non par le ministère de l'Éducation nationale, personnels de
l'enseignement supérieur, etc. En outre, une acception aussi large du concept d'acteur profes-
sionnel du système éducatif ne nous semblait pas cohérente, car insuffisamment homogène
pour être interrogée avec pertinence et trop différenciée dans son action et ses missions pour
que la question des comparaisons internationales puisse être posée dans les mêmes termes.
Pour des raisons de lisibilité, de comparabilité et de pertinence des données à traiter, nous
avons choisi de restreindre la population potentielle en référence au cadre fixé par la Direction
de l'évaluation, de la prospective et de la performance du ministère de l'Éducation nationale,
dont nous extrayons un premier groupe avant d'aller plus loin dans la réflexion, à savoir les
personnels titulaires du ministère de l'Éducation nationale rémunérés au titre du secteur
public. (Cf. tableau ci-dessous185.)
185 Ministère de l'Éducation nationale, Repères et références statistiques sur les enseignements, la formation et la recherche (RERS 2009), Paris, DEPP, 2009, p. 278.
96/191
MARDIF Détermination de la population
Tableau 8 : Personnels titulaires du ministère de l'Éducation nationalerémunérés au titre du secteur public
Source : Ministère de l'Éducation nationale, DEPP, données janvier 2009Les enseignants. Instituteurs, professeurs des écoles et autres enseignants du premier degré chargés de classe, directeurs d'écoles ; enseignants du second degré y compris les documentalistes et les enseignants affectés aux remplacements et à la suppléance. Ne sont pas inclus les enseignants-stagiaires en IUFM et les élèves-enseignants des ENS. Les enseignants du CNED sont comptabilisés dans chacun des deux niveaux en fonction de leur corps d’appartenance.Les autres personnels. Personnels administratifs, techniques, d’éducation, d’encadrement, de surveillance et d’assistance éducative. Quel que soit le corps d’origine, ces personnels exercent des fonctions d'inspection, de direction, d'éducation, de surveillance, d'orientation ou sont des personnels administratifs, techniques, de service et de santé (ATSS). Dans cette rubrique sont également comptabilisés certains enseignants exerçant en inspection académique et rectorat et appartenant le plus souvent au programme “soutien” de la politique de l’Éducation nationale.
Fallait-il en rester là, et considérer ce groupe comme constitutif de notre population parente,
ou était-il plus pertinent d'en extraire un sous-groupe ? Dans ce dernier cas, sur quels critères
définir notre population parente ? Dans la perspective de notre questionnement sur la récep-
tion des comparaisons internationales par les personnels de l'Éducation nationale en vue d'en
comprendre l'impact, il y avait peu d'intérêt à définir la population en fonction de caractéris-
tiques socio-démographiques dans la mesure où l'activité professionnelle de ces personnels
n'est pas définie en fonction de tels critères (âge, sexe, domicile, etc.). En revanche, nous
pouvions nous attendre à des attitudes différenciées selon la catégorie fonctionnelle d'emploi,
autrement dit en fonction du « métier » (enseignant, personnel administratif, personnel d'enca-
drement, personnel technicien et de service, etc.), et, éventuellement, le type d'établissement
d'exercice (école, collège-lycée, services déconcentrés et administration centrale, etc.). En
effet, la proximité fonctionnelle et cognitive à l'action éducative, d'une part, et la proximité
physique à l'élève, d'autre part, paraissaient pouvoir influer sur la réception des comparaisons
internationales par les personnels.
97/191
Enseignants Autres personnels Total
Enseignement du premier degréPart des femmes 81,3% 45,7% 81,1%Enseignement du second degréPart des femmes 57,7% 70,3% 59,3%
Part des femmes 75,9% 75,9%Vie de l'élèvePart des femmes 81,5% 81,5%Administration centralePart des femmes 63,1% 63,1%Total Part des femmes 68,6% 73,1% 69,1%
321 443 1 842 323 285
377 603 57 658 435 261
Soutien de la politique de l'Éducation nationale (hors adm. centrale) 19 904 19 904
22 790 22 790
3 029 3 029
699 046 105 223 804 269
MARDIF Détermination de la population
Compte tenu du caractère spécifique de l'objet d'étude, nous avons finalement décidé de
restreindre la population aux personnels enseignants de tous grades exerçant dans les premier
et second degrés et aux personnels non enseignants de catégorie A de tous corps profession-
nels. Il est entendu que cette définition assez extensive demeurait quelque peu théorique dans
la mesure où nous savions ne pas pouvoir interroger des personnels appartenant à tous les
métiers de l'Éducation nationale. Cependant, dans l'optique d'une recherche ultérieure de plus
grande ampleur et dans une perspective théorique, il nous a semblé que la problématique, telle
qu'elle était posée, concernait l'ensemble de cette population.
3.3.2 Constitution du corpus : choix des enquêtés
S'agissant d'entretiens exploratoires, nous n'avions pas à constituer d'échantillon, la représen-
tativité statistique n'étant pas requise dans ce cadre. Il nous fallait tout de même déterminer la
taille du corpus (nombre d'entretiens), les variables stratégiques (critères de sélection des
enquêtés) et le mode d'accès aux personnels à interroger.
3.3.2.1 Taille du corpus
Sur ce point, les auteurs consultés, notamment Berthier ou Blanchet et Gotman, ne donnent
pas d'indications chiffrées. Le nombre d'entretiens nécessaires « dépend, en premier lieu, du
thème de l'enquête (faiblement ou fortement multidimensionnel) et de la diversité des attitudes
supposées par rapport au thème, du type d'enquête (exploratoire, principale ou complémen-
taire), du type d'analyse projeté […], et enfin des moyens dont on dispose (en temps et en
argent) »186. L'important est de diversifier au maximum le corpus en fonction des variables
stratégiques (cf. ci-après). En théorie, il peut être souhaitable de chercher à atteindre le point
de saturation, c'est-à-dire l'entretien à partir duquel les informations recueillies deviennent
redondantes et n'apportent plus rien à la recherche. En l'espèce, la diversité fonctionnelle des
personnels constituant la population et le caractère multidimensionnel de l'objet de recherche
auraient sans doute nécessité un nombre d'entretiens assez élevé (plusieurs dizaines). Toute-
fois, compte tenu des moyens limités dont nous disposions, et en accord avec notre directeur
de recherche, le corpus a été limité à dix entretiens pour cette recherche de Master.
186 BLANCHET Alain, GOTMAN Anne, op. cit., p. 50.
98/191
MARDIF Constitution du corpus : choix des enquêtés
3.3.2.2 Critères de sélection des enquêtés : variables stratégiques
Les variables stratégiques ont été déterminées en vue de contraster les individus en fonction
du thème de l'entretien. La question posée à ce stade était donc la suivante : quelle caractéris-
tique socio-démographique ou professionnelle pourrait jouer un rôle significatif dans la
structuration des réponses ? Les choix opérés sont récapitulés dans la tableau ci-dessous.
Effectués en fonction de la population parente, ces choix résultent d'une analyse intuitive
réalisée en tenant compte des différentes dimensions des comparaisons internationales.
Tableau 9 : Détermination des variables stratégiques pour la sélection des enquêtés
Variable Caractère stratégique
Observations
Âge oui De l'âge des personnels dépend leur période de formation initiale. Le discours sur les comparaisons internationales dans les formations a certainement évolué au cours du temps, ce qui pourrait avoir une incidence sur leur réception actuelle chez les intéressés.
Sexe non Aucun élément ne permet de supposer une discrimination des réponses entre hommes et femmes.
Corps / grade d'appartenance
non Approche très statutaire. La fonction semble plus déterminante.
Fonction occupée (« métier »)
oui La fonction occupée semble à l'évidence déterminante dans le regard posé sur les problématiques éducatives et dans le positionnement individuel.
Discipline d'enseignement (enseignant uniquement)
oui Il est envisageable que les enseignants des disciplines/compétences évaluées dans les comparaisons internationales réagissent différemment.
Ancienneté dans la fonction
oui Même argumentaire que pour la variable « âge ».
Lieu d'exercice (localisation géographique)
non Aucun élément ne permet de supposer une discrimination des réponses selon l'origine géographique. Les sources d'informations relatives aux comparaisons internationales (médias grand public, presse professionnelle et syndicale, information institutionnelle) sont identiques et également accessibles partout. Le caractère international des comparaisons, le niveau national de leurs résultats et l'absence, en France, de déclinaison régionale des résultats obtenus ne laissent présager aucune différentiation sur ces variables.
Environnement géographique urbain/rural
non
Environnement social favorisé/défavorisé
non Aucun élément ne permet de supposer une discrimination sur ce critère.
Établissement d'exercice (type)
oui Parmi les enseignants, une différentiation est envisageable en fonction du type (école, collège, lycée...) et, éventuellement, de la taille de l'établissement (plus grande ouverture, dynamique dans les établissements de taille importante ?)
D'un point théorique, il convenait donc d'interroger des personnels d'âge et ancienneté variable,
occupant différentes fonctions, au sein de divers types d'établissements. Il était évident que le
99/191
MARDIF Constitution du corpus : choix des enquêtés
nombre d'entretiens prévus ne permettrait pas d'explorer ce cadre théorique de manière exhaus-
tive. En outre, bien que probablement influentes, les variables d'âge et d'ancienneté semblaient
difficiles à mobiliser comme conditions préalables, vu la difficulté que nous anticipions à obtenir
l'accord des personnels sollicités, ce qui s'est confirmé lors des prises de contact. Nous avons donc
déterminé un corpus cible théorique diversifié selon trois variables : la fonction occupée, la disci-
pline d'enseignement (pour les enseignants) et le type d'établissement d'exercice. Il convient de
préciser que la liste théorique ainsi constituée comportait 11 hypothèses d'entretien (pour 10 entre-
tiens à réaliser) en raison des possibles difficultés à obtenir des entretiens pour certaines fonctions.
Tableau 10 : Liste théorique d'entretiens
Fonction (« métier ») Établissement d'exercice
1. Professeur des écoles / instituteur École maternelle
2. Professeur des écoles / instituteur École élémentaire
3. Professeur de lettres collège
4. Professeur de mathématique ou sciences collège
5. Conseiller principal d'éducation Collège ou lycée
6. Documentaliste indifférent
7. Chef d'établissement Collège
8. Chef d'établissement Lycée
9. Inspecteur de l'Éducation nationale premier degré Circonscription du premier degré
10. Inspecteur d'académie – inspecteur pédagogique régional Discipline littéraire ou scientifique
11. Cadre administratif Établissement ou services académiques
3.3.2.3 Mode d'accès aux enquêtés
Notre propre appartenance aux personnels de l'Éducation nationale doit ici être mentionnée
car elle avait deux conséquences antagonistes importantes pour l'accès aux enquêtés. Nous
disposions d'informations institutionnelles et d'un réseau relationnel à même de faciliter
l'accès à certaines personnels. Néanmoins, nos fonctions passées et présentes compliquaient la
relation à certains corps de métier vis-à-vis desquels un lien hiérarchique direct ou indirect,
effectif ou potentiel, pouvait exister. En particulier, notre position professionnelle risquait de
biaiser les réponses obtenues du fait de la réserve qui pourrait être observée par les répon-
dants, au moins dans notre département d'exercice. Plusieurs questions risquaient en outre
d'indisposer les personnes interrogées, en cas d'ignorance de certaines réponses ou de sujet
jugé politiquement sensible, ce qu'il convenait d'éviter. Il convient de rappeler que cette
100/191
MARDIF Constitution du corpus : choix des enquêtés
enquête s'adresse à des fonctionnaires astreints par leur statut au devoir de réserve. En l'occur-
rence, notre position d'enquêteur appartenant par ailleurs aux personnels de l'Éducation
nationale risquait d'être vécue par les intéressés comme ambiguë, malgré toutes les garanties
de confidentialité données dès la prise de contact initiale.
Dans ces conditions, nous nous sommes fixé comme règle d'exclure du champ d'investigation,
d'une part les personnels actuellement ou potentiellement situés dans la même chaîne hiérar-
chique que nous et exerçant dans le même département, d'autre part les personnes que nous
connaissions personnellement dès lors que le relationnel entretenu avec ces dernières risquait
de porter atteinte à la neutralité de l'échange. Les contacts ont été pris sans intermédiaire mais
dans certains cas avec recommandation. La méthode de proche en proche187 a également été
exploitée ; certains contacts positifs ont été obtenus par cette voie.
3.3.3 Élaboration du guide d'entretien
Variables descriptives indépendantes
Les données descriptives collectées lors de l'entretien correspondent aux variables straté-
giques déterminées dans la phase de constitution du corpus : âge, fonction, ancienneté dans la
fonction, type d'établissement d'exercice, nombre d'élèves (pour les établissements scolaires).
Thèmes et questions relatives à l'objet d'enquête
Outil opérationnel du chercheur qui conduit l'entretien, le guide d'entretien constitue égale-
ment un « travail de traduction des hypothèses de recherche en indicateurs »188. En
l'occurrence, la posture a posterioriste adoptée nous a conduit à traduire en indicateurs non
pas des hypothèses mais plutôt des questions de recherche. Au vu des indicateurs définis (cf.
tableau ci-après), et compte tenu des caractéristiques du champ et de l'objet de recherche
(milieu professionnel / technicité élevée), nous avons fait le choix de mener des entretiens très
structurés, avec souvent des questions précises de type questionnaire comme point de départ.
En effet, en interrogeant des professionnels sur un domaine à la fois très technique et précis
mais faisant par ailleurs l'objet d'un traitement médiatique à large spectre et potentiellement
187 Contacts fournis par des enquêtés.188 BLANCHET Alain, GOTMAN Anne, op. cit., p. 58.
101/191
MARDIF Élaboration du guide d'entretien
constitutif du débat public, nous souhaitions d'une part éviter d'en rester à des généralités
faiblement porteuses d'informations et, d'autre part, explorer spécifiquement certains aspects
précis des comparaisons internationales difficiles à aborder sur un mode peu structuré. Nous
avons donc reformuler pour chaque indicateur des questions d'enquête. Le principe théorique
de construction du guide d'entretien pouvait donc être formulé de la manière suivante :
Questions de recherche →→ Indicateurs →→ Questions d'enquête
Partant des trois grandes questions de recherche sur le rapport des personnels de l'Éducation
nationale aux comparaisons internationales – qu'en savent-ils ? Qu'en pensent-ils ? Quel
impact ont-elles sur eux ? – une liste de 35 questions d'enquête a donc été définie :
Tableau 11 : Construction théorique du guide d'entretien
Questions de recherche
Indicateurs Questions d'enquête N°
Que savent les personnels de l'Éducation nationale des comparaisons internationales ?
Connaissance des programmes d'enquête existants
Quels programmes d'évaluation internationale sur les acquis des élèves l'enquêté peut-il citer ?
1
L'enquêté connaît-il la fréquence de l'évaluation PISA ? 13
L'enquêté connaît-il la fréquence de l'évaluation PIRLS ? 18
L'enquêté connaît-il la fréquence de l'évaluation TIMSS ? 23
L'enquêté connait-il les objectifs poursuivis par les concepteurs de l'évaluation PISA et les pays participants ? Sait-il si ces objectifs diffèrent de ceux des autres évaluations ?
25
Connaissance des publics évalués
L'enquêté peut-il indiquer quels élèves sont concernés par PISA ? 10
L'enquêté peut-il indiquer quels élèves sont concernés par PIRLS ? 15
L'enquêté peut-il indiquer quels élèves sont concernés par TIMSS ? 20
Connaissance des savoirs et/ou savoir-faire évalués
L'enquêté peut-il indiquer quels domaines sont évalués dans PISA ?
12
L'enquêté peut-il indiquer quels domaines sont évalués dans PIRLS ?
17
L'enquêté peut-il indiquer quels domaines sont évalués dans TIMSS ?
22
Connaissances des acteurs impliqués
L'enquêté connaît-il le nombre de pays qui ont participé à la dernière évaluation PISA ?
11
L'enquêté sait-il quelle organisation pilote l'évaluation PISA ? 14
L'enquêté connaît-il le nombre de pays qui ont participé à la dernière évaluation PIRLS ?
16
L'enquêté sait-il quelle organisation pilote l'évaluation PIRLS ? 19
L'enquêté connaît-il le nombre de pays qui ont participé à la dernière évaluation TIMSS ?
21
L'enquêté sait-il quelle organisation pilote l'évaluation TIMSS ? 24
102/191
MARDIF Élaboration du guide d'entretien
Questions de recherche
Indicateurs Questions d'enquête N°
Connaissance des résultats de la France à PISA
L'enquêté sait-il comment ont évolué les résultats de la France aux évaluations internationales au cours des dix dernières années ?
26
L'enquêté sait-il comment se situent globalement les résultats de la France à la dernière évaluation PISA ?
27
Sources d'information utilisées
Quelles sont les sources d'informations de l'enquêté sur la question des comparaisons internationales ?
5
Que pensent les personnels de l'Éducation nationale des comparaisons internationales ?
Utilité des comparaisons internationales
Dans quelle mesure la connaissance des performances des systèmes éducatifs d'autres pays peut-elle permettre d'améliorer son propre système éducatif ?
3
Dans l'ensemble, l'existence des comparaisons internationales est-elle profitable pour les pays participants ?
4
Quelle a été l'influence des résultats obtenus par la France aux évaluations internationales sur les réformes conduites par le ministère de l'Éducation nationale depuis dix ans ?
33
Fiabilité des comparaisons internationales
Les solutions adoptées dans les pays qui obtiennent les meilleurs résultats aux évaluations internationales telles que PISA devraient-elles être mises en application en France ?
31
D'une manière générale, les différences (économiques, culturelles, historiques, etc.) d'un pays à l'autre peuvent-elles expliquer les différences de résultats des pays qui participent aux évaluations internationales ?
34
Certains aspects des comparaisons internationales sont-ils problématiques ?
35
Enseignements tirés des comparaisons internationales
Que pense l'enquêté du résultat de la France à PISA 2006 ? 28
Les résultats obtenus par la France à PISA 2006 paraissent-ils conformes au niveau des élèves français ?
29
Qu'est-ce qui peut expliquer les bons résultats de la Finlande ou du Canada à l'évaluation PISA ?
30
Fréquence des informations dans les médias
Les médias grand public relatent-ils suffisamment les résultats des évaluations internationales ?
6
La presse spécialisée/professionnelle relate-t-elle suffisamment les résultats des évaluations internationales ?
8
Qualité des informations dans les médias
Les médias grand public relatent-ils les résultats des évaluations internationales de façon satisfaisante ?
7
La presse spécialisée/professionnelle relate-t-elle les résultats des évaluations internationales de façon satisfaisante ?
9
Quel est l'impact des comparaisons internationales sur les personnels de l'Éducation nationale ?
Implication personnelle / distance
À quel degré l'enquêté s'estime-t-il concerné par les évaluations internationales sur les acquis des élèves ?
2
Remise en cause des pratiques professionnelles
Les résultats de la France aux évaluations internationales ont-ils amené l'enquêté à s'interroger sur ses pratiques professionnelles ?
32
NB : La numérotation correspond à l'ordre des questions d'enquête dans le guide d'entretien finalisé.
103/191
MARDIF Élaboration du guide d'entretien
Ordonnancement des thèmes et questions d'enquête
Le guide d'entretien a été rédigé à partir des 35 questions d'enquête référencées dans ce cadre
théorique. La formulation et la chronologie définitives des questions ont été déterminées en
prenant soin de limiter au maximum les refus de répondre et les biais, particulièrement les
biais d'ordre, l'effet de halo, les biais de formulation, la tendance à l'acquiescement et les biais
de réaction de prestance. En l'espèce, le risque de refus de répondre à certaines questions ou
les biais de réaction de prestance ne devaient pas être négligés compte tenu du statut des
personnels interrogés (devoir de réserve des fonctionnaires, position de « détenteur du
savoir » propre à certaines fonctions...). Les biais d'ordre et l'effet de halo présentaient égale-
ment une difficulté non négligeable du fait de la concomitance de questions de connaissance
et de questions d'opinion. En effet, pour alimenter la réflexion des personnes interrogées, il
pouvait être utile de leur communiquer des informations. Mais il convenait de s'assurer que
ces dernières n’interféraient pas avec les questions de connaissance.
Toutes les questions ont été formulées de manière ouverte. Toutefois, pour faciliter l’exploita-
tion des données, il a semblé opportun de prévoir une pré-codification de type ordinal de
certaines questions d'opinion, qui a pu se traduire dans la rédaction du guide d'entretien et lors
de ce dernier par des propositions de réponse graduées (variable à 4 ou 5 modalités189 ; par
ex. très profitable / plutôt profitable / peu profitable / inutile). Néanmoins, les personnes inter-
rogées ont toujours été invitées à développer leur réponse et à s'exprimer librement.
Par ailleurs, certaines questions de connaissance ont fait l'objet de fiches supports comportant
des propositions de réponse (réponse à choix multiple) pouvant être soumises aux personnes
interrogées en cas de non réponse spontanée. D'une part, nous n'étions pas sûr d'évaluer
correctement le degré de difficulté de certaines questions assez précises, d'autre part, compte
tenu de la non préparation de l'entretien par les répondants du fait du peu d'informations préa-
lables qui leur étaient communiquées, et du caractère vraisemblablement erratique du sujet
dans le vécu professionnel des intéressés, il était envisageable que les modalités proposées
réactivent une connaissance passive des réponses à ces questions.
189 Le choix entre cinq modalités a autant que possible été évité afin de limiter les biais de modalité médiane (tendance à choisir cette dernière).
104/191
MARDIF Élaboration du guide d'entretien
Le guide d'entretien finalisé et les fiches supports associées sont joints en annexe.
3.4 Collecte des données : réalisation des entretiens
Prises de contact
Partant de la liste théorique d'entretiens préalablement définie (cf. plus haut), nous avons
sollicité des personnels issus de notre réseau relationnel direct ou indirect (recommandations).
Les contacts ont généralement été pris par courrier électronique. Le courriel de sollicitation
précisait le cadre général et le sujet de l'enquête, mais sans en préciser précisément les objec-
tifs de manière à préserver au maximum une parole spontanée. En effet, le mode opératoire
imposant une prise de rendez-vous se traduisant par un délai de plusieurs jours, il convenait
d'éviter toute préparation éventuelle qui aurait biaisé les informations collectées. Au total,
nous avons dû solliciter 19 personnes pour obtenir 10 entretiens (8 non-réponses ; 1 refus).
Les entretiens réalisés sont récapitulés dans le tableau ci-dessous, par ordre chronologique.
Tableau 12 : Liste des entretiens de recherche réalisés
N° Fonction Établissement d'exercice Sexe * Âge Ancienneté dans la fonction
Date Durée Lieu
1 Professeur certifié documentaliste CDDP F 46 ans 17 ans 27/04/10 32 min Lieu de travail
2 Professeur certifié de lettres Collège public (Cité scolaire) F 49 ans 25 ans 29/04/10 38 min Lieu de travail
3 Professeur certifié de sciences physiques / chimie
Collège public (Cité scolaire) F 37 ans 15 ans 14/05/10 41 min Lieu de travail
4 Proviseur de lycée Lycée d'enseignement général, technologique et professionnel public
F 60 ans 20 ans 21/05/10 41 min Lieu de travail
5 Professeur des écoles maître-formateur
École élémentaire publique F 40 ans 17 ans 23/05/10 1 h 12 min Domicile
6 Principal de collège Collège public F 52 ans 17 ans 28/05/10 46 min Lieu de travail
7 Inspecteur de l'Éducation nationale du 1er degré (IEN)
Circonscription du 1er degré H 48 ans 5 ans 31/05/10 1 h 16 min Lieu de travail
8 Inspecteur d'académie-Inspecteur pédagogique régional de sciences physiques et chimiques (IA-IPR)
Rectorat F 46 ans 4 ans 17/06/10 58 min Lieu de travail
9 Professeur des écoles École maternelle publique F 36 ans 11 ans 02/07/10 1 h 00 Domicile
10 Conseiller principal d'éducation Collège public F 43 ans 19 ans 07/07/10 1 h 08 Domicile
* F = femme ; H = homme
105/191
MARDIF Collecte des données : réalisation des entretiens
La lecture du tableau d'entretiens permet de constater que la diversification des profils selon
les variables stratégiques fonction et type d'établissement d'exercice a pu être respectée. À une
exception près, le corpus émane exclusivement de femmes, mais rien ne laisse supposer que
ce facteur soit discriminant. En revanche, l'étendue et la moyenne des modalités de la variable
d'âge (respectivement 36-60 ans et 45,7 ans) révèlent un manque de diversification, qui se
retrouve logiquement sur la variable d'ancienneté. Concernant cette dernière, il convient de
distinguer les personnels éducatifs (ancienneté moyenne : 17,3 ans) des personnels d'encadre-
ment (direction/inspection ; ancienneté moyenne : 11,5 ans) dont le recrutement par concours
ou promotion interne conduit inévitablement à retarder l'entrée dans la fonction. En particu-
lier, il aurait été intéressant de pouvoir recueillir des informations provenant de personnels
ayant suivi leur formation initiale plus récemment, notamment ayant accédé à leur fonction au
cours des dix dernières années, c'est-à-dire depuis l'apparition de PISA. Cela n'a pas été
possible faute de temps. La présence dans le corpus d'un entretien avec un cadre administratif
aurait également été intéressante, notamment pour voir si une différentiation catégorielle des
réponses se dessinait. Les personnes contactées n'ont pas répondu à la sollicitation.
Le durée moyenne des entretiens a été de 53 minutes. On notera la rupture apparue à partir du
cinquième entretien, avec une durée moyenne de 38 minutes pour les quatre premiers puis de
1 h 03 pour les six suivants. Cet allongement s'explique par l'approfondissement des relances
dans le deuxième groupe d'entretiens, déjà signalé par ailleurs.
Passation des entretiens
Les entretiens ont été enregistrés en vue de leur retranscription pour l'analyse de contenu. La
passation des entretiens a nécessité les précautions habituelles à ce genre de protocole expéri-
mental. Rappelons à cet égard que la situation d'entretien est un processus de communication
qui « déclenche une série d'interactions entre l'enquêteur et l'enquêté »190 mettant notamment
en jeu « l'idée que chacun a de l'autre, et aussi ce que chacun pense que l'autre va penser de
lui »191. Le résultat de l'enquête est donc susceptible d'être biaisé par ces interactions. En outre
les sujets sensibles (e.g. en lien avec la politique) pour lesquels la liberté de parole est habi-
tuellement limitée par les codes sociaux peuvent indisposer le répondant. Toute la difficulté
190 BERTHIER Nicole, op. cit., p. 51191 Ibid.
106/191
MARDIF Collecte des données : réalisation des entretiens
réside donc dans l'art de concilier dimension heuristique des échanges et respect de l'enquêté.
Dans le cas présent, il était d'autant plus important d'avoir ces éléments à l'esprit durant les
entretiens et d'en maîtriser si possible les effets, que notre propre appartenance aux personnels
de l'Éducation nationale pouvait ne pas être neutre dans le processus communicationnel avec
certains enquêtés, particulièrement les chefs d'établissement, malgré les précautions observées
à cet égard lors du choix des personnels sollicités. Nous nous sommes donc attaché à observer
une attitude alliant distance et neutralité bienveillante afin d'encourager sans influencer. Le
cadre général de l'enquête et les objectifs poursuivis ont été systématiquement rappelés en
début d'entretien, de même que la garantie de confidentialité. Précisons que tous les entretiens
ont pu être menés à leur terme et qu'aucune question n'a fait l'objet d'un refus de répondre.
Par ailleurs, il n'était a priori pas exclu – ce qui s'est vérifié – que certains répondants
connaissent très peu le sujet des comparaisons internationales et soient déstabilisés par le fait
d'avouer leur ignorance. Nous avons dès les premiers entretiens pris la précaution de rassurer
les personnes interrogées afin de désamorcer autant que possible ce phénomène et de
« libérer » une parole non experte. En outre, à l'issue des premiers entretiens, il s'est avéré
nécessaire d'apporter quelques éléments supplémentaires à la connaissance ou à la réflexion
des enquêtés, le sujet étant pour la plupart assez éloigné de leur quotidien professionnel. À
partir du cinquième entretien, nous avons donc introduit de nouvelles questions de relance
lorsque cela était nécessaire, ce qui peut entacher la comparabilité des deux groupes d'entre-
tiens. L'introduction possible de biais d'ordre et l'éventuel effet de halo ont, autant que
possible, été pris en compte lors de ces relances.
3.5 Dépouillement, analyse et traitement des données
Il n'existe pas de méthode universelle « clé en main » pour l'exploitation scientifique du
contenu d'entretiens. Robert et Bouillaguet rappellent que « comme toujours en analyse de
contenu […], il appartient au chercheur de définir en cours de route la méthode la plus
appropriée à son objet »192. Les entretiens réalisés ont fait l'objet d'une analyse de contenu
suivant une méthode empirique dont nous nous attacherons à décrire et justifier les compo-
santes dans ce chapitre.
192 ROBERT André, BOUILLAGUET Annick, op. cit., p. 111.
107/191
MARDIF Préparation des données : retranscription des entretiens193
3.5.1 Préparation des données : retranscription des entretiens193
Étape incontournable dans ce type de protocole expérimental, les entretiens enregistrés ont
fait l'objet d'une retranscription. Bardin194 et Berthier195 précisent à ce propos que, pour faire
l'objet d'une analyse de contenu systématique, les entretiens doivent être retranscrits intégrale-
ment, avec leurs hésitations, répétitions, fautes de syntaxe, rires, silences, etc. Ces principes
généraux ont été appliqués, avec toutefois quelque nuance. Devant la technicité du sujet, les
personnes interrogées ont souvent eu du mal à produire au pied levé un discours construit et
argumenté, la réflexion s'élaborant généralement au fil de l'énoncé. Ce phénomène n'est pas
spécifique à cette recherche mais nous avons estimé que, au vu de la problématique et des
objectifs de recherche, certains « repentirs » n'étaient en l'espèce porteur d'aucun sens singu-
lier196. Sans négliger ce constat d'ensemble lors de l'interprétation ultérieure des résultats, nous
avons fait le choix – on pourra nous le reprocher – de « gommer », ou d'atténuer, dans certains
cas, des défauts de langage répétitifs dont nous jugions ne pouvoir tirer aucune inférence et
qui altéraient inutilement la lisibilité du texte retranscrit.
3.5.2 Traitement des informations
Rappelons que cette enquête par entretiens se situait dans une perspective qualitative, aucune
analyse quantitative des données ne pouvant être tirée d'un nombre aussi réduit de réponses.
Cependant, pour faciliter l'interprétation de certains indicateurs, nous avons vu que plusieurs
questions d'enquête ont fait l'objet d'une formulation bivalente ouverte/fermée avec dans
certains cas des propositions de réponses, sur une échelle nominale ou ordinale, doublant la
réponse libre. Ces dernières n'ont toutefois pas été traitées statistiquement dans une optique
quantitative mais en appui à l'analyse de contenu effectuée sur les entretiens. Le tableau de
données issu de cette dernière ne comporte donc pas de codification conventionnelle des
variables quantitatives. La littérature sur le sujet décrit différents types d''analyse de contenu,
qui ne sont d'ailleurs pas exclusives : entretien par entretien, thématique, lexicographique, de
l'énonciation, propositionnel, par déchiffrement structural, etc. Quelle que soit la méthode
choisie, elle doit idéalement respecter certaines règles : principe d'extension (exhaustivité)197, 193 La retranscription de deux entretiens est proposée en annexe.194 BARDIN Laurence, op. cit., p. 93. 195 BERTHIER Nicole, op. cit., p. 57.196 En outre, le sujet n'est a priori pas porteur d'une forte charge émotionnelle directe. 197 L'analyse de contenu doit rendre compte de la totalité du corpus.
108/191
MARDIF Traitement des informations
fidélité (objectivité198), auto-suffisance199. Après lecture complète du corpus, compte tenu du
caractère exploratoire de la démarche, de la forte structuration des entretiens, des objectifs et
du contexte de la recherche, nous avons opté pour une analyse de contenu empirique classique
à grille d'analyse catégorielle200 , essentiellement transversale201, basée sur l'identification et
l'analyse fréquentielle de thèmes. Il convient toutefois de préciser que l'analyse fréquentielle
des thèmes portait uniquement sur la fréquence globale, c'est-à-dire sur la présence ou l'absence
des thèmes dans chaque entretien et non sur le nombre d'occurrences unitaire (par entretien) ou
cumulé (pour tous les entretiens) des thèmes. En effet, après lecture approfondie du corps, il
nous a semblé que « l'intensité » des thèmes était difficilement exploitable compte tenu de la
structure des entretiens et de la relative vacuité des argumentaires développés spontanément
dans la majorité des cas. Les relances risquaient de biaiser l'interprétation des fréquences. En
outre, ce paramètre ne nous semblait pas central au vu de la problématique posée.
Nous avons donc procédé par catégorisation des réponses selon un procédé similaire à l'ana-
lyse des réponses aux questions ouvertes d'un questionnaire. Les entretiens ont été analysés
question par question202, à la recherche d'indices permettant de catégoriser les réponses. La
grille d'analyse ainsi définie a ensuite été formalisée puis complétée sous forme de tableau de
données, dont un extrait est reproduit ci-dessous203. Compte tenu des objectifs, les réponses
n'ont pas toujours été catégorisées sous forme de modalités exclusives. En effet, pour synthé-
tiser les informations reçues en fonction du cadre de référence (questionnements de départ,
problématiques relatives aux comparaisons internationales mises en évidence dans la partie
descriptive de ce travail), des catégories juxtaposables ont parfois été constituées. Dans
certains cas, des arguments plausibles mais sans occurrence ont été reportés dans le tableau
pour en souligner l'absence quand cela semblait signifiant. Ainsi, par exemple, à la question
« Selon vous, qu'est-ce qui peut expliquer les bons résultats de la Finlande ou du Canada à
l'évaluation PISA ? », il était envisageable que des causes historiques ou politiques soient
198 « L'objectivité – dont on sait qu'elle ne peut être que tendancielle – se reconnaîtrait au fait que plusieurs codeurs bien informés de la problématique enregistreraient les unités du corpus dans les mêmes catégories. » (ROBERT André, BOUILLAGUET Annick, op. cit., p. 30).
199 BLANCHET Alain, GOTMAN Anne, op. cit., p. 93.200 BARDIN Laurence, op. cit., p. 95.201 Rappelons que l'objectif primaire consistait à découvrir des éléments concernant l'ensemble de la population,
la différentiation inter-critérielle étant secondaire.202 Les réponses données à chaque question d'enquête par les dix enquêtés étaient analysées conjointement.203 Le tableau de données complet est reproduit en annexe.
109/191
MARDIF Traitement des informations
invoquées après une relance explicite alors même que ce type d'arguments n'avait pas été
avancé spontanément. Le fait que ce ne fut pas le cas nous semble porteur de sens.
Tableau 13 : Tableau de données (extrait)
110/191
N° r
épon
se Questions N° d'entretien
Tota
l
Indi
cate
ur
1 2 3 4 5 6 7 8 9 10
12 3 O1
13 pas du tout 0 O114 assez peu 1 1 1 3 O115 assez 1 1 1 1 4 O116 beaucoup 1 1 1 3 O117 1 1 1 1 1 5 O1
18 1 1 1 1 4 O1
18 3a La transposition des pratiques est-elle possible ? O119 refus de principe (impossib le...) 0 O120 réticence (possib le mais difficile...) 1 1 1 3 O121 acceptation conditionnelle (possible sous certaines conditions...) 1 1 1 3 O1
22 acceptation inconditionnelle (absence d'esprit critique...) 0 O1181 28a O3
182 exprime de l'étonnement 1 1 1 1 1 5 O3183 exprime un doute sur la validité des résultats 0 O3184 exprime de l'inquiétude 1 1 1 1 4 O3185 exprime un questionnement sur les causes 1 1 1 3 O3202 30 O3
203 1 1 1 1 1 1 1 1 1 9 O3
204 0 O3
205 1 1 1 1 4 O3
206 1 1 1 3 O3
207 1 1 O3
208 1 1 2 O3
209 0 O3
210 1 1 2 O3
211 1 1 1 3 O3
212 0 O3
213 0 O3
Réponses catégorisées (1)
Selon vous, dans quelle mesure la connaissance des performances des systèmes éducatifs d'autres pays peut-elle permettre d'améliorer son propre système éducatif ?
référence aux différences culturelles entre pays comme facteur limitatif
référence aux différences de contexte socio-démographique comme facteur limitatif
Que pensez-vous de ce résultat ? Comment jugez-vous ce résultat ?
Selon vous, qu'est-ce qui peut expliquer les bons résultats de la Finlande ou du Canada à l'évaluation PISA ?
mentionne spontanément des raisons de fond endogènes au système éducatif : pédagogie/système éducatif plus performants
mentionne spontanément des raisons de forme endogènes au système éducatif : pédagogie/système d'évaluation nationale plus
proche de la logique de l'évaluation PISAmentionne spontanément des raisons exogènes au système
éducatif : culturelles/linguistiquesmentionne spontanément des raisons exogènes au système
éducatif : socio-démographiquesmentionne spontanément des raisons exogènes au système
éducatif : politiques/historiquesmentionne spontanément des raisons exogènes au système
éducatif : économiquesmentionne après question des raisons de fond endogènes au
système éducatif : pédagogie/système éducatif plus performants
mentionne après question des raisons de forme endogènes au système éducatif : pédagogie/système d'évaluation nationale plus
proche de la logique de l'évaluation PISAmentionne après question des raisons exogènes au système
éducatif : culturelles/linguistiquesmentionne après question des raisons exogènes au système
éducatif : socio-démographiquesmentionne après question des raisons exogènes au système
éducatif : politiques/historiques
MARDIF Traitement des informations
Qualité des données obtenues
Concernant l'étendue et, surtout, les limites de la qualité heuristique des discours produits, il
convient peut-être de rappeler que « l'entretien qui modifie les rapports entre interviewer et
interviewé modifie aussi la nature de l'information produite »204. Ce type d'interlocution
déclenche inévitablement un processus d'objectivation qui transforme l'expérience cognitive
de l'interviewé. La réponse produite est donc un discours sur l'objet et non l'objet lui-même.
En l'espèce, le fait pour des personnes d'être interrogées sur les comparaisons internationales a
certainement conduit ces dernières à réfléchir spécifiquement aux questions qui leur ont été
soumises, ce qui a pu les amener à modifier leur point de vue sur le sujet.
Plus prosaïquement, il est évidemment difficile de s'assurer de la sincérité des discours ou de
déterminer la part d'auto-censure éventuelle qui a pu biaiser le contenu des entretiens. Le
thème général de l'enquête ne mettant pas, a priori, en jeu l'intégrité psychologique ou affec-
tive des répondants, les principales sources de biais potentielles dans les réponses étaient
probablement les suivantes :
• Les positions respectives de l'enquêteur et de l'interviewé au sein de l'Éducation nationale : rappelons que notre propre appartenance à l'institution était signalée dès la prise de contact initiale et que les personnels sollicités l'ont été en tenant compte de ce paramètre. En outre, le mode d'approche par courriel laissait toute latitude aux intéressés pour ne pas répondre. On peut donc estimer ce risque plutôt faible, mais nous ne pouvons écarter l'hypothèse que notre situation professionnelle ait influé, consciemment ou non, sur certaines des réponses obtenues.
• Le devoir de réserve des fonctionnaires, qui pouvait entrer en conflit avec certains aspects liés à la dimension politique des comparaisons internationales. A une exception près205, l'analyse des discours ne laisse toutefois transparaître aucune gène majeure. Rappelons qu'aucun refus de répondre ne nous a été opposé pendant les entretiens.
Le croisement des réponses et l'analyse de cohérence interne des discours permettent généra-
lement de vérifier la fiabilité de l'information recueillie. A cet égard, il peut paraître paradoxal
de constater que certains interviewés ayant déclaré ne connaître aucun programme d'évalua-
tion internationale sur les acquis des élèves, avancent tout de même, par exemple, que les 204 SINGLY (de) François, op. cit., p. 7.205 Propos tenus par un personnel d'inspection : « ...si on m'entendait parler on pourrait croire que je vote Front
National, c'est une horreur ce que je raconte [rire]... »
111/191
MARDIF Traitement des informations
résultats de ces évaluations les ont amenés à s'interroger sur leurs propres pratiques profes-
sionnelles (e.g. entretien n° 3). Nous faisons l'hypothèse que cette situation révèle une
connaissance diffuse, parfois inconsciente ou passive, des évaluations internationales –
notamment de PISA – dont les résultats sont rapportés dans les médias grand public, certes
ponctuellement mais parfois en « Une ». Comme nous le verrons par la suite, tous les répon-
dants ont par exemple semblé connaître, d'une façon ou d'une autre, les bonnes performances
des pays scandinaves (en particulier de la Finlande), même si ces performances ne sont pas
toujours rattachées précisément à l'outil ayant permis de les mesurer. D'une façon générale,
aucun élément susceptible de remettre sérieusement en cause la sincérité des discours
collectés n'a été détecté.
3.6 Interprétation des résultats
Que nous apprennent ces entretiens ? Autrement dit, que pouvons-nous inférer du tableau de
données élaboré à partir du matériel collecté ? Étant entendu qu'« il s'agit d'en tirer non des
conclusions définitives, mais des indications »206. Pour structurer l'interprétation des résultats,
nous partirons des questions de recherche.
3.6.1 Que savent les personnels interrogés des comparaisons internationales ?
Quelles sont les différentes évaluations internationales sur les acquis des élèves ? Quels en
sont les protagonistes ? Quel est leur mode de financement ? Par qui sont-elles conçues, mises
en œuvre puis exploitées ? Autant de questions dont les réponses nous semblent nécessaires à
qui souhaite en appréhender correctement les enjeux et la validité. Qu'en est-il des personnels
de l'Éducation nationale interrogés dans cette enquête ?
En préambule, il convient de rappeler que malgré la forte structuration de l'entretien, appro-
chant dans sa forme le questionnaire pour ce qui concerne les questions de connaissance, il
convient d'être prudent dans l'interprétation des résultats, dans la mesure où ni la constitution
ni la taille du groupe interviewé ne lui confèrent les qualités de représentativité d'un échan-
tillon statistique. Aucune généralisation ne peut donc en être tirée.
206 ROBERT André, BOUILLAGUET Annick, op. cit., p. 44.
112/191
MARDIF Que savent les personnels interrogés des comparaisons internationales ?
Sur les différents programmes d'évaluations internationales
Interrogées sur les programmes dont elles avaient connaissance, six personnes sur les dix ont
mentionné spontanément PISA ; deux personnes seulement ont évoqué PIRLS ; aucune n'a
déclaré connaître TIMSS. Le fait de leur proposer les sigles n'a suscité aucune activation de
connaissance passive. Plus étonnant peut-être, parmi les personnels éducatifs en contact avec
les élèves (enseignants du primaire et du secondaire, conseiller d'éducation), seule une ensei-
gnante a su mentionner un programme d'évaluation, en l'occurrence PISA. Encore faut-il
préciser qu'il s'agissait d'une enseignante maître-formateur, donc au contact du milieu univer-
sitaire (IUFM) et peut-être plus engagée dans une démarche de questionnement permanent sur
ses propres pratiques que la moyenne des enseignants. En outre, l'analyse des entretiens laisse
apparaître de nombreuses confusions ; dans plusieurs cas les répondants ont manifestement
confondu PISA ou PIRLS avec d'autres dispositifs nationaux ou internationaux d'évaluation
externe, notamment avec des évaluations en langues vivantes.
Au-delà du simple fait de connaître le nom de certains programmes d'évaluation, les répon-
dants se sont révélés très peu, et parfois mal, informés sur les comparaisons internationales.
Le programme TIMSS leur était totalement inconnu. Si ce constat d'ignorance du programme
de l'IEA n'est pas surprenant concernant la plupart des enquêtés, la France s'étant retirée de
celui-ci depuis le milieu des années quatre-vingt-dix, venant d'une inspectrice pédagogique
régionale de sciences physiques et chimiques sortie de l'ESEN207 il y a quatre ou cinq ans, il
témoigne peut-être du peu d'intérêt de l'institution pour cette évaluation. Malgré son enver-
gure internationale (67 participants en 2007), nous pouvons faire l'hypothèse que ce
programme est aujourd'hui en France une affaire de spécialistes. Nous avons donc focalisé
notre analyse sur les deux autres programmes (PISA et PIRLS) et avons extrait du tableau
général de données les indicateurs de connaissance relatifs aux caractéristiques descriptives de
ces deux enquêtes (cf. tableau ci-dessous).
207 École supérieur de l'Éducation nationale
113/191
MARDIF Que savent les personnels interrogés des comparaisons internationales ?
Tableau 14 : Connaissance des caractéristiques descriptives des programmes PISA et PIRLS
N° (1)
Questions d'enquête Nbre de réponses exactes
10 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PISA ? 3
11 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PISA ? 2
12 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PISA ? 2
13 Pouvez-vous préciser quelle est la fréquence de l'évaluation PISA ? 2
14 Pouvez-vous indiquer quelle organisation pilote l'évaluation PISA ? 3
15 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PIRLS ? 2
16 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PIRLS ? 1
17 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PIRLS ? 1
18 Pouvez-vous préciser quelle est la fréquence de l'évaluation PIRLS ? 0
19 Pouvez-vous indiquer quelle organisation pilote l'évaluation PIRLS ? 0(1) Numéro de la question dans le guide d'entretien.
Le nombre total de réponses exactes sur ces données s'élève à 16, pour 100 questions208, qui se
répartissent de la manière suivante : 12 pour PISA ; 4 pour PIRLS. Une minorité des répon-
dants a su indiquer le public évalué par ces deux évaluations (trois pour PISA ; deux pour
PIRLS). Le résultat est encore plus modeste pour ce qui concerne la périodicité des évalua-
tions : deux bonnes réponses seulement sur l'ensemble, concernant PISA. Les réponses
erronées recueillies, évoquant toutes – à une exception près – une fréquence plus élevée que la
réalité, pourraient témoigner d'un sentiment de forte présence des comparaisons internatio-
nales. D'autres éléments des discours incitent cependant à nuancer cette hypothèse du fait de
la confusion déjà évoquée avec d'autres programmes d'évaluation.
Pour ce qui concerne la connaissance des savoirs évalués, pour PIRLS les choses sont
simples : seul un répondant a indiqué la bonne réponse ; deux personnes ont évoqué les
langues vivantes ; les autres enquêtés ont déclaré ne pas savoir. Pour PISA, les données sont
plus contrastée : l'ensemble du corpus ne comporte que deux réponses exactes et complètes
(les trois domaines étant cités), mais si l'on y ajoute les réponses correctes incomplètes et les
réponses partiellement exactes, le total s'élève à six. Dans ces deux derniers cas, les répon-
dants ont su mentionner la compréhension de l'écrit209 et les mathématiques. La culture
scientifique n'est par contre jamais citée.
208 Nombre cumulé de questions : 10 questions x 10 personnes209 La formulation compréhension de l'écrit n'est donnée qu'une fois, les autres réponses mentionne le français.
114/191
MARDIF Que savent les personnels interrogés des comparaisons internationales ?
Interrogés sur le nombre de pays participants à ces programmes d'évaluation, deux répondants
ont su indiquer un ordre de grandeur correct210 pour PISA, un seulement pour PIRLS. Sur les
quatre personnes ayant proposé une réponse incorrecte pour PISA, trois ont sous-évalué le
chiffre réel, indiquant entre dix et vingt participants. Neuf personnes n'ont proposé aucune
réponse pour PIRLS. Concernant l'autre acteur important des comparaisons internationales, à
savoir l'organisation qui pilote chaque programme, trois personnes ont donné spontanément la
bonne réponse pour PISA, aucune pour PIRLS, la seule réponse proposée étant l'OCDE. En
cas de déclaration d’ignorance, une liste d'organisations était proposée (cf. fiches support en
annexe). Cette liste n'a suscité qu'une seule bonne réponse supplémentaire sur l'ensemble,
réactivant de manière explicite une connaissance passive de la réponse. Les autres réponses
(IAE, UNESCO, OTAN, Union européenne) ont été faites « au jugé ». Aucune des personnes
interrogées ne connaissait l'IEA.
En résumé, les personnes interrogées ont fait preuve d'une connaissance très parcellaire des
caractéristiques des comparaisons internationales. Nous observons en outre que sur les quatre
enseignants interrogés, trois ont montré n'avoir aucune connaissance précise des caractéris-
tiques générales des comparaisons internationales (aucune réponse exacte sur les éléments
suivants : évaluations existantes, publics cibles, savoirs évalués, fréquence, organisateur,
nombre de participants). Enfin, la position dominante de PISA dans le paysage de l'éducation
comparée en France, dont nous avions cherché quelques indices par des interrogations ciblées
de moteurs de recherche internet211, semble se confirmer.
Deux autres thématiques étaient abordées pour appréhender le niveau de connaissances des
comparaisons internationales des personnels interrogés : les objectifs de PISA et les résultats
de la France à cette évaluation. Le tableau ci-dessous présente le résultat de l'analyse catégo-
rielle des entretiens relativement aux objectifs de PISA.
210 Ont été considérées comme correctes les réponses à +/- 10 unités près.211 Cf. 2.2.2.1 « Les deux principaux acteurs »
115/191
MARDIF Que savent les personnels interrogés des comparaisons internationales ?
Tableau 15 : Connaissance des objectifs du programme PISA
N°
(1)
Question d'enquête
Réponses catégorisées
Nombre d'occur-rences
Quels sont les objectifs poursuivis par les concepteurs de l'évaluation PISA et les pays participants ? Diffèrent-ils de ceux relatifs aux autres évaluations ?
160 réponse spontanée : mentionne l'objectif opérationnel « évaluer les acquis des élèves » 3
161 réponse spontanée : mentionne l'objectif opérationnel « classer les pays en fonction de leurs performances » 4
162 réponse spontanée : mentionne l'objectif opérationnel « identifier les bonnes pratiques » 5
163 réponse spontanée : mentionne un objectif politique au-delà de l'objectif opérationnel 2
164 réponse spontanée : mentionne un objectif économique au-delà de l'objectif opérationnel 1
165 réponse spontanée : mentionne un objectif éducatif au-delà de l'objectif opérationnel 2
166 mentionne un objectif politique au-delà de l'objectif opérationnel, après question 3
167 mentionne un objectif économique au-delà de l'objectif opérationnel, après question 3
168 mentionne un objectif éducatif au-delà de l'objectif opérationnel, après question 0
169 envisage une différenciation entre les objectifs de PISA et ceux des autres évaluations internationales 5(1) Numéro de la réponse catégorisée dans le tableau de données.NB : Plusieurs objectifs ont pu être mentionnés par chaque répondant.
Il semble ici intéressant d'isoler les réponses catégorisées issues du discours spontané (lignes
n° 160 à 165) de l'ensemble incluant celles suscitées par nos relances. Il ressort des premières
que les objectifs désignés de PISA ont été les suivants, par ordre de fréquence décroissant :
« identifier des bonnes pratiques », « classer les pays en fonction de leurs performances »,
« évaluer les acquis des élèves », « objectif politique », « objectif éducatif », « objectif écono-
mique ». Si l'on inclut les réponses catégorisées apportées suites aux relances, on constate que
cinq personnes y voient des objectifs politiques et quatre des objectifs économiques, dont
voici quelques exemples :
« C'est dans le cadre d'une politique libérale. » (documentaliste, E1212)
« C'est pour que chaque pays se pose des questions sur son propre système éducatif et cherche à le faire évoluer au niveau politique. » (professeure des écoles, E5)
« Alors est-ce que c'est une comparaison de programmes, une comparaison de pédagogies, une comparaison financière, donc économique... je suppose qu'il y a un petit peu de tout derrière tout ça... » (principale de collège, E6)
212 Dans cette partie du texte, il est fait référence aux entretiens par la lettre « E » suivie du numéro de l'entretien. (e.g. : E1 = entretien n° 1)
116/191
MARDIF Que savent les personnels interrogés des comparaisons internationales ?
En définitive, les personnels interrogés ont eu tendance à mentionner spontanément des objec-
tifs opérationnels (identifier les bonnes pratiques, classer, évaluer), mais en y réfléchissant
certains ont envisagé des objectifs plus politiques ou économiques. Les deux occurrences
spontanées les plus élevées sont peut-être significatives d'une intégration, même inconsciente,
du discours officiel sur PISA puisque l'identification des bonnes pratiques au moyen du clas-
sement correspond précisément aux objectifs énoncés par l'OCDE et repris par les
responsables politiques français.
La moitié des personnes interrogées déclare que les objectifs de PISA diffèrent de ceux des
autres enquêtes internationales, mais ce constat résulte davantage d'un raisonnement déductif
(justification de l'existence de plusieurs programmes d'évaluations, orientation économique de
l'OCDE...) que d'une connaissance réelle des objectifs des différentes comparaisons, comme
l'illustrent les propos reproduits ci-dessous :
« On a l'impression que PISA est plus porté vers l'avenir économique, donc former de meilleurs citoyens, disons, du monde, alors que les deux autres évaluations que je ne connais pas ont l'air d'être plus fermées sur le propre système éducatif de chacun, à savoir les acquis des élèves du pays... » (professeure des écoles, E5)
« Dans la connaissance que j'en ai, on ne teste pas les mêmes choses. Donc, pour moi, les objectifs sont différents... mais pourquoi les objectifs sont-ils différents ?... »(inspecteur de l'Éducation nationale, E7)
« Je suppose que s'ils n'évaluent pas la même chose, ils ont d'autres objectifs en tête. » (conseillère principale d'éducation, E10)
En somme, les personnes interrogées semblent avoir une connaissance plutôt diffuse des objec-
tifs de PISA, les objectifs officiels (OCDE) n'étant connus que de la moitié des enquêtés.
Sur les résultats de la France à PISA
Sur cet aspect, deux questions à réponses ordonnées étaient posées, l'une sur les derniers
résultats de la France, l'autre sur leur évolution depuis dix ans. Les résultats sont synthétisés
dans le tableau ci-dessous.
117/191
MARDIF Que savent les personnels interrogés des comparaisons internationales ?
Tableau 16 : Connaissance des résultats de la France à PISA
N°
(1)
Question d'enquête
Réponses catégorisées
Nombre d'occur-rences
A votre connaissance, comment ont évolué les résultats de la France aux évaluations internationales au cours des dix dernières années ?
170 se sont nettement améliorés 0
171 se sont modérément améliorés 0
172 sont restés stables 3
173 se sont modérément dégradés 7
174 se sont nettement dégradés 0
A votre connaissance, comment se situent globalement les résultats de la France à la dernière évaluation PISA, par rapport à la moyenne des pays participants ?
176 très au-dessus de la moyenne des pays participants 0
177 un peu au-dessus de la moyenne des pays participants 3
178 dans la moyenne des pays participants 1
179 un peu en dessous de la moyenne des pays participants 3
180 très en dessous de la moyenne des pays participants 1
181 ne sait pas 2(1) Numéro de la réponse catégorisée dans le tableau de données.
Premier constat, dans la majorité des cas, les résultats de la France ne sont pas connus précisé-
ment. Trois personnes situent correctement la France dans une approche globalisante de PISA
(« un peu en dessous de la moyenne des pays participants »). Six personnes fournissent une
réponse éloignée de cette réalité simplifiée communément admise. Il est intéressant de remar-
quer qu'aucun répondant n'a contesté la formulation très simplificatrice de la question, les
résultats de PISA étant généralement livrés sous forme de trois classements correspondant aux
trois grands domaines d'évaluation. Autre indice de la connaissance approximative des résul-
tats des élèves français, la moitié des répondants ont exprimé de l'étonnement lorsque le
classement à PISA 2006 leur a été présenté. La lecture des entretiens révèle que les réponses
obtenues résultent davantage d'impressions diffuses, de vagues souvenirs ou d'un sentiment
général que d'une connaissance précise et étayée des résultats des élèves français au
programme de l'OCDE, comme en témoignent les propos suivants :
« Je dirais un peu en dessous de la moyenne. On disait que ce n'était pas très bien, que ce n'était pas assez bien, qu'il fallait faire des efforts... » (documentaliste, E1)
118/191
MARDIF Que savent les personnels interrogés des comparaisons internationales ?
Dans certains cas, l'avis exprimé semble même exprimer davantage un sentiment personnel
sur le niveau intrinsèque des élèves français qu'une connaissance, même approximative, des
résultats de PISA :
« C’est un peu faussé par le local. Je dirais un peu en dessous de la moyenne des pays participants. Sinon dans la moyenne mais je n’irais pas plus haut. J’aurais dit un peu en dessous. Peut être que nous sommes un peu négatifs par rapport à nos élèves, mais c’est vrai qu’on essaie d’obtenir toujours plus. » (proviseure de lycée, E4)
« ...par rapport à l'ensemble des pays, nous faisons quand même partie de la première moitié, enfin j'espère ! » (professeure des écoles, E5)
Paradoxalement, l'évolution générale des résultats de la France au cours des dix dernières
années est bien située par l'ensemble des répondants, puisque sept personnes indiquent une
dégradation modérée et trois une stabilité, ces deux résultats pouvant être considérés comme
corrects selon le domaine d'évaluation concerné. Ce constat en décalage avec la connaissance
plutôt approximative du classement des élèves français est d'autant plus étonnant qu'il ne
reflète pas les commentaires alarmistes de certains responsables politiques français lors de la
parution des résultats de PISA 2006. Faut-il y voir l'expression d'un sentiment plus général de
dégradation de la situation éducative en France de la part des personnels interrogés ?
Il ressort de cette première partie de l'analyse que les personnels interrogés ont une connais-
sance réduite et diffuse des différentes composantes des comparaisons internationales.
3.6.2 Que pensent les personnels interrogés des comparaisons internationales ?
Avant d'analyser le contenu des entretiens sur cette question, signalons que, d'une manière
générale, les répondants ont eu des difficultés à exprimer spontanément un argumentaire
construit, apparemment pris au dépourvu par un sujet le plus souvent assez éloigné de leur
quotidien professionnel. Nous avons pris le parti de ne pas analyser de manière singulière et
individualisée la forme des discours, jugeant cette dernière peu porteuse de sens compte tenu
de la problématique de recherche. Cependant, ce constat d'ensemble est, lui, significatif. Il
révèle probablement la faiblesse du questionnement et du regard critique sur les comparaisons
internationales. Nous pourrions résumer la situation en disant que, globalement, les person-
119/191
MARDIF Que pensent les personnels interrogés des comparaisons internationales ?
nels interrogés « n'en pensent pas grand chose a priori »213. Toutefois, une fois la réflexion
amorcée, des opinions ont été exprimées.
Les évaluations internationales sont-elles fiables ?
Nous avons abordé la question de la fiabilité des comparaisons internationales à travers
plusieurs thématiques : les biais liés à la méthodologie des évaluations, les biais liés au
contexte culturel, économique, historique, politique, etc., la conformité des résultats de la
France à la perception du niveau des élèves français, la comparaison en éducation. Globale-
ment, les personnes interrogées se sont montrées assez peu critiques vis-à-vis des
comparaisons internationales. La méthodologie des évaluations n'a jamais été directement
mise en cause spontanément ; les questions et problèmes liés aux instruments psychomé-
triques n'ont jamais été évoqués, même en cas de relance orientée, que ce soit à propos des
résultats de la France à PISA 2006, dans les questionnements sur les causes possibles des
différences de classement ou sur le principe de la comparaison en éducation. Ces aspects
semblent donc être ignorés des répondants. D'ailleurs, neuf interviewés sur les dix ont
invoqué des causes endogènes au système d'enseignement (pédagogie, place de l'élève dans le
système, effectifs des classes, système de notation/peur de l'erreur des petits Français, etc.)
pour expliquer les différences de résultats entre pays, ce qui semble indiquer qu'un certain
crédit soit accordé aux évaluations internationales. À partir du cinquième entretien nous avons
essayé de savoir si le principe même de la comparaison en éducation était considéré comme
problématique. Aucune invalidité de principe de la comparaison n'a été avancée. Les argu-
mentaires proposés se sont partagés à part égale entre une acceptation conditionnée par le
respect de certaines précautions – attitude que nous pourrions qualifier de raisonnée – et l'ab-
sence de réflexion critique (acceptation de principe). Le seul aspect spécifiquement
méthodologique, évoqué par la moitié des interviewés, concerne un possible biais de plus
grande adaptation des évaluations à certains systèmes éducatifs. Mais cette hypothèse est rare-
ment envisagée spontanément.
« Mais comment sont-ils évalués ? J'aimerais bien savoir ça ! C'est-à-dire que peut-être que dans un système, ça va être un type d'évaluation qui va être bien connu des élèves, mais que nous, par exemple, on ne manipule pas ou on ne domine pas. Et là, forcément...
213 Il convient néanmoins de nuancer ce constat en ce qui concerne les deux personnels d'inspection, manifestement plus engagés dans la réflexion sur ces questions.
120/191
MARDIF Que pensent les personnels interrogés des comparaisons internationales ?
oui, ça c'est possible aussi... oui, je n'y avais pas pensé, effectivement. » (professeure de collège, E2)
Il semble donc que la rhétorique de contestation méthodologique et l'argumentaire de l'invali-
dité scientifique des comparaisons déployés en France à la suite des deux premiers cycles de
PISA (2000 et 2003) n'aient laissé que peu de traces parmi les enquêtés. En revanche, d'autres
facteurs explicatifs, exogènes au système éducatif, ont été avancés pour expliquer les diffé-
rences de classement. Ces facteurs sont essentiellement liés au contexte socioculturel,
historique et économique du pays (argument avancé par neuf personnes). Parmi ceux-ci, l'as-
pect culturel arrive en tête comme facteur limitant la validité des comparaisons internationales
(cité par sept personnes). La difficulté de la langue française comparativement à d'autres
langues a été mentionnée par deux personnes comme pouvant expliquer en partie le piètre
classement français en compréhension de l'écrit. Il convient toutefois de préciser que ces para-
mètres n'étaient pas invoqués comme biais invalidant les évaluations d'un point de vue
technique mais bien comme facteur explicatif en limitant la portée. L'importance accordée à
ce type d'arguments est d'ailleurs aisément mesurable aux réponses apportées à la question de
savoir si les différences économiques, culturelles, historiques, etc., d'un pays à l'autre peuvent
expliquer les différences de résultats des pays qui participent aux évaluations internationales.
Les personnes interviewées ont toutes répondu par l'affirmative : sept personnes ont déclaré y
voir une explication substantielle ; trois une explication décisive. A cet égard, nous relevons
par exemple les propos suivants :
« Comment ça se passe d'un point de vue culturel ? Ce qu'on va faire dans un pays ou dans un autre... comment... déjà comment l'enseignement se passe dans chaque pays ? Comment les évaluations sont faites dans chaque pays ? Ça me paraît difficile d'avoir quelque chose d'assez homogène. […] Après, l'éducation, c'est aussi lié à la société, à la façon de vivre dans un pays... » (documentaliste, E1)
« L'histoire d'un pays peut faire que l'éducation prend du retard, ne se met pas en place tout de suite, ce n'est pas la priorité, ou au contraire il ne faut surtout pas que les jeunes pensent trop. » (professeure de collège, E2)
« Pour la Corée et le Japon, par exemple, ce sont des pays dans lesquels il faut travailler, le travail est super important. J'ai en tête un reportage que j'avais vu où un élève qui ne réussit pas se suicide parce que c'est un déshonneur. » (professeure de collège, E3)
« Peut-être qu'un pays comme la Finlande, qui économiquement doit, je pense, dépendre des autres, développe plus une culture scientifique pour pouvoir travailler pour d'autres
121/191
MARDIF Que pensent les personnels interrogés des comparaisons internationales ?
pays. Je mettrais ça en lien avec le développement économique. » (professeure des écoles, E5)
Les répondants semblent donc avoir conscience des facteurs exogènes au système éducatif qui
influent sur sa performance. Cependant, ces réponses semblent parfois données davantage en
réaction à un classement jugé décevant et, peut-être, décourageant, que comme résultat d'une
réflexion documentée et aboutie.
« J'ai tendance à répondre avec une note d'espoir, en me disant que si cela ne fonctionne pas, cela doit être lié aussi à d'autres raisons que celles inhérentes au système éducatif. » (professeure des écoles, E5)
« C'est difficile parce que quand on voit les pays qui sont au-dessus, on se dit au premier abord que c'est notre système éducatif qui ne va pas du tout. Et là c'est inquiétant. Quand je vois ça, ça m'inquiète, alors je ne veux pas y croire, je ne veux pas me dire que notre système éducatif ne fonctionne pas du tout. Même si on sait qu'il y a beaucoup de choses à revoir, il y a quand même des choses qui fonctionnent. […] quand je regarde ça, je suis obligée de répondre oui. » (principale de collège, E6)
Mais cette même professeure des écoles nous dit un peu plus loin :
« Dans la comparaison des résultats, on a tendance à mettre en avant les différences culturelles, politiques, historiques, sociales, géographiques, etc., et pendant ce temps-là, on ne parle toujours pas des pratiques pédagogiques... mais cela veut dire que l'on remet en cause les enseignants, c'est difficile […] si on n'arrive pas au même résultat, il ne va pas falloir comparer uniquement les contenus et le contexte, il va falloir également comparer la manière d'enseigner ! […] Moi, je me dis qu'il faut tenir compte d'autres comparaisons que celles qui sont en rapport avec les facteurs historiques, sociaux, géographiques, économiques... Il faut pouvoir comparer les pratiques pédagogiques et les modes d'apprentissage chez les élèves. »
En résumé, dans l'ensemble, les personnels interrogés n'ont pas vraiment mis en cause la vali-
dité interne des évaluations internationales sur les acquis des élèves, dont les fondements
psychométriques paraissent leur échapper. Mais ils semblent en relativiser les résultats du fait
des différences culturelles et structurelles entre pays qui en limitent la comparabilité.
Les évaluations internationales sont-elles utiles ?
D'une façon générale, la connaissance des performances des autres pays est perçue comme
une source d'enrichissement et d'amélioration de son propre système, mais à divers degrés.
Les réponses à choix multiples proposées ont été choisies à parts équilibrées entre trois moda-
122/191
MARDIF Que pensent les personnels interrogés des comparaisons internationales ?
lités ordonnées (3 assez peu, 4 assez, 3 beaucoup), les différences culturelles et socio-démo-
graphiques étant avancées comme facteur limitatif dans l'argumentaire développé par neuf
personnes sur les dix.
« On n'est pas là pour refaire immédiatement ce qu’ont fait les autres, car on a notre culture, la culture des élèves... On a différents paramètres sociaux et éducatifs, mais je pense qu’une expérience est toujours bonne à prendre et à analyser. » (proviseure de lycée, E4)
« Il faut aussi un minimum de connaissance de la culture, des rythmes scolaires, qui ne sont certainement pas les mêmes... Vous voyez, on n’est pas du tout dans les mêmes systèmes scolaires, donc la comparaison est difficile parce qu'on ne sait pas quel est le facteur qui permet de dire si l'enfant est en meilleure réussite dans un pays que dans un autre. » (professeure des écoles, E5)
Ces éléments sont logiquement corroborés par les discours tenus sur la transposition des
pratiques par les six enquêtés avec qui cette question a été abordée explicitement. Là encore,
les arguments oscillent entre réticence (possible mais difficile) et acceptation conditionnelle
(possible sous certaines conditions), aucune position extrême d'adhésion ou de rejet de prin-
cipe n'a été enregistrée.
« Je ne pense pas qu’on puisse adopter des solutions aussi facilement que ça. Je pense qu’il faut tenir compte justement des cultures […] Mais je pense que certaines pourraient être adoptées. » (proviseure de lycée, E4)
L'existence d'évaluations comparatives internationales sur les acquis des élèves est jugée
profitable pour les pays participants par neuf des dix interviewés, mais la moitié d'entre-eux
ont nuancé leur discours en précisant que l'intérêt théorique de telles comparaisons ne se
concrétisait pas toujours dans la réalité, ce relativisme pouvant être mis en lien avec les argu-
ments exposés précédemment. Deux personnes ont exprimé des réticences, particulièrement
vis-à-vis du classement. Le risque de voir certains professeurs ou systèmes adapter leur ensei-
gnement dans un but de réussite aux évaluations sans autres finalités et objectifs éducatifs n'a
été évoqué que par un répondant (personnel d'inspection).
Le lien entre comparaisons internationales et réformes éducatives en France est perçu par huit
des dix personnels interrogés, cinq d'entre-eux y voyant une influence importante. Cette
vision semble toutefois résulter davantage d'une déduction logique que d'une connaissance
123/191
MARDIF Que pensent les personnels interrogés des comparaisons internationales ?
étayée et précise des rapports d'influence entre réformes et comparaisons. Ainsi, le socle
commun de connaissances et de compétences ou, plus généralement, l'approche par compé-
tences, dont le lien avec PISA est établi, n'ont été cités que par trois personnes comme ayant
un rapport avec les évaluations internationales. Autre exemple, la remise en cause du redou-
blement, dont la corrélation à de mauvais résultats dans PISA est relativement médiatisée,
n'est présente que dans un seul argumentaire. A contrario, l'autonomie des établissements,
souvent présente dans l'argumentaire gouvernemental au titre des enseignements à tirer de
PISA, n'est mentionnée par aucun répondant.
L'idée d'une accélération du rythme des réformes, c'est-à-dire de réformes en gestation dont le
contenu n'est pas directement relié aux comparaisons internationales mais dont le calendrier
de mise en œuvre a pu être modifié par ces dernières, a été évoqué par une principale de
collège. L'argumentaire de l'instrumentalisation des réformes par les responsables politiques a,
quant à lui, été avancé par un personnel d'inspection estimant que l'influence des évaluations
internationales porte davantage sur les objectifs des réformes que sur leur contenu (effet d'an-
nonce).
La légitimité de l'influence éventuelle des comparaisons internationales sur les réformes
éducatives en France n'a été contestée par aucun des répondants, ce qui témoigne sans doute
également de la faible remise en cause de leur fiabilité et de l'intégration globale de l'idée
selon laquelle les comparaisons peuvent être utiles. Le pilotage par les résultats serait donc
globalement intégré par les enquêtés. En revanche, les quatre personnes qui se sont exprimées
sur ce sujet ont estimé que l'influence des résultats de la France aux évaluations internatio-
nales sur les réformes conduites par le ministère de l'Éducation nationale n'était pas explicite.
3.6.3 Quel est l'impact des comparaisons internationales sur les personnels interrogés ?
Globalement, les personnes interrogées disent se sentir professionnellement concernées par
les comparaisons internationales : sept personnes se sont déclarées assez concernées ou très
concernées. Une enseignante de collège a déclaré ne pas être concernée par le sujet, mais cette
réponse était probablement biaisée par la position de la question posée en début d'entretien,
sur un sujet très peu maîtrisé par l'intéressée ; d'autres réponses de cette personne laissent
124/191
MARDIF Quel est l'impact des comparaisons internationales sur les personnels interrogés ?
plutôt transparaitre l'importance accordée à ces évaluations, tout au moins en théorie. La
distribution des réponses graduées à la question de savoir si les résultats obtenus par la France
aux évaluations internationales telles que PISA ont amené les enquêtés à s'interroger sur leurs
pratiques professionnelles est relativement équilibrée, allant du pas du tout au beaucoup. Elle
comporte cependant quelques réponses surprenantes parfois en décalage par rapport au
contenu des entretiens. L'analyse de ces derniers nous a conduit à nuancer le bilan ordinal en
fonction de l'approche métier. Chez les personnels éducatifs, qui sont dans la mise en œuvre,
au contact des élèves, les arguments avancés semblent illustrer davantage une intention de
principe qu'un réel investissement réflexif ou actionnel :
« Même si je n'y connais absolument rien, je pense que je suis très concernée. » (professeure de collège, E3)
« Je me sens assez concernée. C'est plus une inquiétude par rapport au système français... » (professeure des écoles, E5)
« À mon niveau ?... peu concernée puisque je n'en ai pas connaissance... […] Il s'agit beaucoup du secondaire. En maternelle, on ne considère pas que l'on puisse apporter une solution... » (professeure des écoles, E9)
« Disons que, dans ce que je peux entendre ou lire, mais ça c'est rare parce qu'il y a très peu de publications qui arrivent jusqu'à nous sur ce sujet là, j'ai toujours une oreille attentive sur les comparaisons éducatives, mais de là à être concernée précisément par l'évaluation, non... » (conseillère principale d'éducation, E10)
Les argumentaires développés témoignent d'un sentiment d'éloignement, voire peut-être d'im-
puissance, face à des résultats nationaux obtenus dans un cadre international. Du côté des
cadres, le discours est sensiblement différent. Même si l'opérationnalisation des intentions
déclarées resterait à vérifier, l'existence de ces comparaisons semble avoir un impact plus
concret sur leurs missions, notamment du point de vue du pilotage de l'établissement (person-
nels de directions) ou du système (personnels d'inspection).
« Il est forcé que tout ce que l’on peut apprendre par ces différentes évaluations, à un moment, joue dans l’impulsion que l’on peut donner à une action ou à une autre, obligatoirement. » (proviseure de lycée, E4)
« Très concernée, c'est sûr. Mais juste sur celle que je connais, parce que cela nous permet de faire un comparatif par rapport à nos taux de redoublement, etc. […] L'intérêt c'est de pouvoir nous situer par rapport à d'autres pays, pour pouvoir travailler au niveau du pilotage de l'établissement. Cela permet d'avoir des indicateurs pour les enseignants, puis de pouvoir éventuellement aller chercher des informations dans
125/191
MARDIF Quel est l'impact des comparaisons internationales sur les personnels interrogés ?
d'autres pays pour savoir comment ils fonctionnent. C'est un référent, quand même. » (principale de collège, E6)
« Inspection des personnels, évaluations nationales, formation-animation des personnels [...] seraient liée à l'exploitation de ces évaluations nationales, pilotage des écoles ou des groupes dans une moindre mesure. » (inspecteur de l'Éducation nationale, E7)
« Le fait de parler de ces évaluations, d’en analyser les résultats et d’en parler aux enseignants, c’est quand même quelque chose d’important pour qu’ils prennent conscience du pourquoi des méthodes qu’on veut impulser. » (inspectrice pédagogique régionale, E8)
L'impact des comparaisons internationales sur les intéressés diffère donc assez largement d'un
corps de métier à l'autre et semble liés aux fonctions occupées.
3.6.4 Différentiation inter-catégorielle des réponses
L'objectif de ce travail n'étant pas de mesurer les différences inter-catégorielles de réception
des comparaisons internationales, il ne saurait être question de tirer des enseignements précis
de cette recherche en ce sens. Signalons néanmoins que les argumentaires les plus étayées ont
généralement été développés par les cadres, notamment les deux personnels d'inspection. En
particulier, trois des quatre entretiens menés avec des enseignants ont mis en évidence une
absence quasiment totale de connaissance des caractéristiques descriptives des principaux
programmes d'évaluations internationales. La seule enseignante ayant montré une assez bonne
connaissance des spécificités et enjeux de PISA est par ailleurs maître-formateur. Nous pouvons
raisonnablement supposer que ce statut particulier explique, au moins en partie, cette singula-
rité. Enfin, le niveau général d'information des deux chefs d'établissement, tant sur la définition
des programmes d'évaluation que sur les enjeux sous-jacents, nous a semblé quelque peu en
retrait au regard du rôle central de pilotage et d'impulsion de ces personnels dans le système
éducatif. Ce constat illustre sans doute l'emprise des difficultés quotidiennes de direction d'un
établissement sur leur activité. Mais il est peut-être aussi le révélateur d'une posture – volontaire
ou non – à dominante très actionnelle parmi ces personnels, qui pourrait les éloigner d'un sujet
jugé peu opérationnel.
En résumé, il ressort des entretiens que les comparaisons internationales semblent perçues par
les personnels interviewés comme des instruments de connaissance plutôt utiles dont la fiabi-
126/191
MARDIF Différentiation inter-catégorielle des réponses
lité scientifique est globalement acceptée, même si l'opérationnalisation des enseignements
qui peuvent en être tirés doit être envisagée avec prudence, notamment la transposition des
« bonnes pratiques » qui doit être conditionnée par une analyse contextualisée de chaque
situation nationale. Les caractéristiques générales (qui, quoi, quand, comment, pourquoi ?...)
sont généralement très peu maîtrisées ; les problèmes épistémologiques et les enjeux poli-
tiques analysés dans la partie descriptive de ce travail (difficultés d'échantillonnage, biais
linguistiques et socioculturels214, problèmes méthodologiques, glissement des finalités éduca-
tives, emprise d'une vision techniciste sur le politique et mise à l'écart du débat démocratique,
modification des rapports entre acteurs du système éducatif, instrumentalisation...) ne
semblent pas perçus par la plupart des personnes interrogées, dont la réflexion paraît circons-
crite à la périphérie du sujet. L'impact individuel sur les personnels interrogés semble
globalement plus intentionnel (théorique) que concret (pratique).
3.7 Discussion des résultats
Vu la spécificité du sujet et sa complexité si l'on cherche à en comprendre précisément les
tenants et les aboutissants, ces résultats ne nous semblent pas surprenants. Ils confirment pour
l'essentiel une intuition inscrite en filigrane derrière notre problématique et que nous avions
fait le choix de ne pas poser comme hypothèse de recherche. Rappelons toutefois le caractère
exploratoire de cette recherche. Les résultats exposés ici sont à confirmer par une enquête de
plus grande ampleur.
Par ailleurs, il reste à les expliquer. À cet égard, l'analyse des sources d'information des répon-
dants sur les comparaisons internationales semble pouvoir apporter quelques éléments de
compréhension et d'interprétation des développements précédents. Les sources mentionnées
sont plutôt variées dans leurs modalités, avec neuf citations pour la presse grand public (télé,
radio, presse écrite) et neuf citations pour les sources professionnelles, mais imprécises. Parmi
les sources professionnelles, il convient de distinguer les sources institutionnelles (publica-
tions, sites internet, notes, circulaires...), citées par six personnes, de la presse professionnelle
ou spécialisée, qui n'est évoquée que par trois répondants. Les « Cahiers pédagogiques » sont
cités par trois personnes, « Le Monde de l'éducation » par deux répondants, mais plutôt
214 Les différences culturelles étant davantage perçues comme facteur explicatif et un frein à la transposition que comme obstacle épistémologique questionnant l'instrument.
127/191
MARDIF Discussion des résultats
comme source générale d'information professionnelle qu'en référence à des articles précis sur
les comparaisons internationales. Ce constat d'ensemble explique peut-être certaines des
observations faites jusqu'ici. La faible part accordée à la presse professionnelle ou spécialisée
n'est sans doute pas l'indice d'une connaissance documentée et d'un avis éclairé sur le sujet.
D'autant que l'absence de sources institutionnelles précises dominantes dans les réponses des
enquêtés tend à montrer que, malgré les enjeux, aucune information interne systématique n'est
destinée aux personnels215, ce qui peut surprendre.
Le traitement des comparaisons internationales par les médias grand public est jugé insuffi-
sant en termes de fréquence par neuf enquêtés et qualitativement non satisfaisant par tous les
répondants. Les critiques adressées à l'encontre de ces médias portaient sur le caractère
simpliste (réduction au classement), négatif, voire orienté, des analyses proposées. En voici
quelques extraits illustratifs :
« Le problème c'est, comme toujours dans les médias, on nous dit : " voilà, la France va se situer... au 27ème rang " par exemple, et puis voilà, c'est tout. On dira qu'on a des progrès à faire et on ne va pas plus loin, on ne creuse pas... » (documentaliste, E1)
« On a tendance à alarmer la population française en disant que les acquis des petits Français ne sont pas bons aujourd'hui. C'est bien de médiatiser tout ça mais on oublie de dire qu'il y a des choses qui vont bien quand même. [...] C'est la manière dont les informations issues de ces évaluations sont véhiculées qui me semble gênante, pour un Français lambda qui regarde la télévision. » (professeure des écoles, E5)
« C'est sensationnel, émotionnel, voilà : " la France est derrière la Roumanie ! " D'accord, mais allons voir un d'un peu plus près ; comparons ce qui est comparable ! [...] c'est trop simpliste de faire ce genre de comparaison. » (inspecteur de l'Éducation nationale, E7)
Concernant plus particulièrement la presse professionnelle ou spécialisée, les avis exprimés
sur la fréquence des articles ont été plus contrastés, le traitement étant jugé suffisant par la
moitié des interviewés et satisfaisant dans la majorité des cas (sept sur dix). Les critiques
éventuellement exprimées recouvraient celles relatives aux médias grand public. La plupart
des personnels interrogés semble donc surtout déplorer la vision simpliste et parfois négative
proposée au public par les grands médias dont les répercussions en termes d'image sont sans
doute mal vécues par les professionnels de l'éducation. Le fait que les personnels interrogés se
215 Les notes d'information de la DEPP, par exemple, ne font pas l'objet d'une diffusion systématisée sur les boîtes aux lettres électroniques professionnelles des personnels.
128/191
MARDIF Discussion des résultats
déclarent globalement plutôt satisfaits du traitement des comparaisons internationales par la
presse professionnelle ou spécialisée alors que, comme le montrent les entretiens, ils sont
objectivement assez peu informés, nous éclaire peut-être sur certains constats faits ici. D'une
part cela révèle, sans surprise, que ces évaluations ne sont pas un élément central de la
réflexion des professionnels interrogés sur leurs pratiques quotidiennes ; elles semblent
perçues davantage comme instrument de politique générale que comme outil de mise en pers-
pective d'une réalité locale, d'impulsion ou d'évolution de l'action individuelle. D'autre part,
cela tend à montrer que les personnels qui se sont exprimés ici n'ont pas conscience des
dimensions épistémologiques et des enjeux politiques des évaluations internationales. Bien
que prévisible intuitivement, ce constat, s'il devait se confirmer par d'autres recherches, est
assez préoccupant compte tenu des conséquences implicites – évoquées par ailleurs – que peut
avoir ce type d'approche comparatiste.
3.8 Discussion sur la méthodologie
Avant de conclure, il convient sans doute de nous interroger sur la méthodologie mise en
œuvre, au vu des résultats de cette enquête. Plusieurs options méthodologiques peuvent être
questionnées. Ainsi, le choix effectué en amont d'interroger des personnels relevant de diffé-
rents métiers, ou occupant différentes fonctions, est sans doute discutable. Peut-être eut-il été
plus judicieux de restreindre la population parente et de s'en tenir, par exemple aux ensei-
gnants sans chercher à diversifier le corpus, tout au moins avant d'avoir atteint, le cas échéant,
le point de saturation dans cette catégorie professionnelle. Cette solution aurait présenté
l'avantage d'approfondir la question et de diversifier les points de vue recueillis au sein de
cette catégorie de personnels. De plus, le nombre très réduit de personnels de chaque caté-
gorie ne permet pas d'écarter le risque qu'il s'agisse de cas atypiques. En revanche, cette
réduction de la focale restreignait grandement le panorama. Les éléments de différenciation
catégorielle esquissés dans cette enquête mériteraient d'être confirmés et approfondis par
d'autres recherches, mais leur émergence nous semble d'ores et déjà intéressante.
Le guide d'entretien très structuré pouvait s'apparenter par certains aspects à un questionnaire
mais la conduite de l'entretien était plus ouverte et plus orientée vers la dimension heuristique
des échanges (relance etc.). Compte tenu des difficultés inhérentes à la conduite d'entretien,
129/191
MARDIF Discussion sur la méthodologie
nous n'avons sans doute pas toujours évité les nombreux écueils propre à ce type de démarche.
En particulier, nous avons dû approfondir notre stratégie de relance après les premiers entre-
tiens, estimant le matériel alors collecté assez pauvre. Cette évolution entache certainement la
comparabilité transversale du corpus et doit nous conduire à relativiser l'analyse inter-catégo-
rielle effectuée. Certains thèmes auraient peut-être mérité un approfondissement lors des
entretiens (e.g. les enseignements que les enquêtés tirent de PISA). En outre, nous pouvons
nous interroger sur la maîtrise – suffisante ou non – des biais d'enquêteur, l'une des difficultés de
la démarche ayant résidé dans le fait de donner suffisamment d'informations pour alimenter la
réflexion lorsque le matériel spontané était pauvre ou inexistant, sans influencer l'interlocuteur
ni biaiser les questions de connaissance (biais d'ordre des thèmes, effet de halo, biais de formu-
lation...).
Le choix de l'analyse catégorielle est sans doute critiquable du fait des limites difficilement
dépassables de ce type de méthode. Bardin rappelle en effet que cette technique laisse « dans
l'ombre une partie de la richesse d'information propre à ce type d'investigation. […] La mani-
pulation thématique revenant […] à jeter l'ensemble des éléments signifiants dans une sorte
de " sac à thèmes ", détruisant définitivement l'architecture cognitive et affective des
personnes singulières »216. Une autre méthode aurait-elle permis d'exploiter de façon plus effi-
cace les données brutes collectées compte tenu des contraintes matérielles et temporelles ? La
grille d'analyse catégorielle élaborée présente à notre sens quelques insuffisances, qui nous
ont parfois contraint à des retours sur les entretiens lors de la phase d'interprétation des résul-
tats.
Cette analyse rétrospective, ces réserves et ces questionnements, sans invalider les résultats de
notre recherche, nous conduisent à la prudence quant à leur portée. Ces résultats demandent à
être confirmés par d'autres recherches, avec d'autres choix méthodologiques, pour multiplier
les perspectives et croiser les points de vue. Ils présentent toutefois l'intérêt d'avoir permis de
défricher un terrain d'investigation qui, à notre connaissance, était encore vierge. En dépit de
ses limites méthodologiques, cette enquête balise, nous l'espérons, la voie pour de futurs
recherches.
216 BARDIN Laurence, op. cit., p. 95
130/191
MARDIF Conclusion
4 CONCLUSIONPartant du constat de la succession des réformes structurelles et curriculaires du système
éducatif en France au cours des dernières décennies, à l'instar de celles conduites dans de
nombreux pays étrangers, nous nous interrogions sur l’impact des comparaisons internatio-
nales sur les politiques éducatives nationales. La revue de la littérature sur les évaluations
comparatives internationales a mis en évidence la complexité d'un sujet aux multiples dimen-
sions épistémologiques et politiques, notamment l'imbrication de difficultés conceptuelles et
méthodologiques sources de controverses entre experts et d'enjeux politiques pour partie
implicites voire masqués.
Nous avons vu que, outre les problèmes conceptuels propres à tous les instruments psychomé-
triques, un certain nombre de questions méthodologiques caractérisent plus spécifiquement
les évaluations internationales sur les acquis des élèves, en particulier la définition des
contenus supposés être assimilés (connaissances, compétences, aptitudes ? en référence à un
programme scolaire, à des « attendus » sociaux ou professionnels ?) et le choix de la popula-
tion étudiée (définie selon l'âge ou l'année de scolarisation). Les choix méthodologiques
opérés par les concepteurs des évaluations présentent différents avantages. Aucun n'est
exempt d'inconvénients. En l'occurrence, les choix différents effectués par les donneurs
d'ordre des différents programmes d'évaluation ne sont pas neutres ; ils influent sur les résul-
tats sans qu'il soit possible actuellement d'en maîtriser totalement les paramètres. Surtout,
l'option retenue par l'OCDE d'évaluer des compétences hors de toute référence curriculaire a
pour conséquence d'asseoir l'édifice instrumental du programme PISA sur un construit théo-
rique – la notion de compétence – dont la charge culturelle est difficilement maîtrisable, ce
qui met en question la comparabilité effective des résultats. A ces difficultés fondamentales
s'ajoutent des problèmes plus techniques liés à la maîtrise des biais sociolinguistiques et cultu-
rels introduits par les items.
Par ailleurs, nous avons pu constater que ce type d'approche comparatiste s'inscrit dans un
mouvement plus large de changement des modes de gestion des politiques publiques, généra-
lement désigné par le vocable de nouvelle gouvernance, se traduisant concrètement par
l'avènement du management par les résultats. Ce faisant les comparaisons internationales ont
131/191
MARDIF Conclusion
pour conséquences implicites, entre autres, un changement de perspective quant aux finalités
de certains systèmes éducatifs, un déplacement des centres de décision échappant à tout débat
démocratique et la modification des rapports entre acteurs du système éducatif. Plus générale-
ment, ce sont les conceptions et finalités éducatives nationales qui sont remises en cause.
Comme l'observe Cussó, « dans un contexte où l’évaluation devient une des principales tech-
niques d’orientation de l’action », les institutions internationales envisagent l’éducation
principalement comme « un facteur de régulation sociale, ce qui laisse au deuxième plan sa
dimension historique et politique, produit des préférences et des tensions idéologiques et
culturelles de chaque société »217. Une autre critique importante adressée à l'encontre des
évaluations internationales sur les acquis des élèves, notamment de PISA, concerne le carac-
tère simpliste et excessivement réducteur du classement des participants sur une échelle
unidimensionnelle. De nombreux auteurs (Cytermann, Goldstein, Mons, Normand, Rocher,
Vrignaud...) insistent sur la nécessiter de privilégier une approche plus interprétative et
contextualisée des comparaisons internationales, qui permettrait de mieux saisir les facteurs
de réussite et la valeur ajoutée de chaque système d'enseignement et d'en mesurer les progrès.
Pour tenter d'apporter quelques éléments de réponse à notre questionnement initial sur l'im-
pact des comparaisons internationales en France, nous avons envisagé différents types
d'expérimentation. Compte tenu des recherches existantes dans ce domaine et des contraintes
avec lesquelles il nous fallait composer, nous avons choisi de réaliser une enquête exploratoire
par entretiens auprès de personnels de l'Éducation nationale pour appréhender la réception des
comparaisons internationales par ces professionnels. Les principaux enseignements qui
semblent pouvoir en être tirés sont les suivants : les personnels interrogés se sont montrés
globalement assez peu informés sur les différents programmes d'évaluations existants, tant du
point de vue de leurs caractéristiques générales (public ciblé, acquis évalués, organisateurs,
participants, etc.) que des enjeux épistémologiques ou politiques sous-jacents. Les person-
nels interrogés n'ont pas opposé de rejet systématique aux évaluations internationales sur les
acquis scolaires. Le principe de la comparaison, les instruments édumétriques utilisés ou les
choix méthodologiques et conceptuels effectués pour ces dernières n'ont pas été remis fonda-
mentalement en cause. Leur fiabilité est globalement acceptée. Elles paraissent généralement
217 CUSSÓ Roser, « Les statistiques de l’éducation de l’UNESCO: restructuration et changement politique », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 68.
132/191
MARDIF Conclusion
considérées comme plutôt utiles, mais leur intérêt semble résider davantage dans leurs
qualités heuristiques qu'opérationnelles, notamment du fait des freins à la transposition des
pratiques souvent invoqués par les répondants au premier rang desquels se trouvent les diffé-
rences socio-culturelles entre pays. À cet égard, les personnels interrogés ne renieraient sans
doute pas l'avis de Goldstein, pour qui « les études comparatives internationales sur les résul-
tats scolaires doivent être conçues comme une occasion d'acquérir des connaissances
essentielles sur les raisons des différences qui existent entre les pays et non comme une
compétition pour savoir qui arrive premier au tableau d'honneur »218. L'impact des comparai-
sons internationales sur les pratiques et questionnements professionnels des personnels
interrogés s'est avéré le plus souvent limité. Ces constats semblent toutefois devoir être
contrastés en fonction des différentes catégories de personnels. Les personnels les plus direc-
tement au contact des élèves (enseignants, CPE) se sont montrés, à l'exception d'une
enseignante maître-formateur, les moins informés et les moins engagés dans une réflexion
systémique sur ces comparaisons, restant généralement focalisés sur une vision très action-
nelle de cette problématique.
Nous espérons que cette enquête, dont la portée est certes limitée par son ampleur et dont les
résultats doivent être considérés avec prudence, aura permis de poser quelques jalons pour des
recherches ultérieures. Les quelques constats exposés ici restent à confirmer et à affiner. Il
serait en tout premier lieu indispensable de vérifier les résultats provenant de ce corpus réduit
à l'aide d'une enquête de plus grande ampleur, par questionnaires et/ou entretiens. Il serait
également intéressant de pouvoir vérifier les hypothèses de différenciation inter-catégorielle
qui semblent se dessiner ici.
Un autre axe de recherche nous semble également intéressant. Nous n'avons pas exploré ici le
contenu affectif du corpus collecté, alors que cette approche pourrait également être riche
d'enseignements. Les réactions des personnels interviewés face aux résultats de PISA 2006
qui leur ont été soumis lors de l'entretien mériteraient d'être analysées, par exemple au moyen
d'une étude lexicographique des termes employés, afin d'en décrypter les dominantes (étonne-
ment, déception, découragement, intérêt...).
218 GOLDSTEIN Harvey, « Comment peut-on utiliser les études comparatives internationales pour doter les politiques éducatives d'informations fiables ? », dans Revue française de pédagogie, n° 164, INRP, 2008, p.75.
133/191
MARDIF Conclusion
Au-delà du constat factuel, diverses questions se posent pour expliquer, comprendre, et
surtout pallier, ce probable éloignement des professionnels de l'enseignement vis-à-vis d'un
outil d'évaluation dont les conséquences à moyen terme sur le système éducatif français pour-
raient ne pas être anodines, comme nous l'avons montré : cet éloignement résulte-t-il d'un
manque de temps ? d'un manque de motivation pour un sujet perçu comme très général et peu
opérationnel ? de la complexité technique du sujet ? d'une volonté du politique d'en maîtriser
les tenants et aboutissants ? A cet égard, compte tenu de la généralisation des modes de
communication électronique, on pourra s'étonner du manque d'information des personnels par
voie institutionnelle descendante sur ces questions219. Il nous semblerait important qu'une
information systématique et suffisamment étayée soit transmise aux (futurs) professionnels de
l'enseignement lors des formations initiales et/ou continues.
Les comparaisons internationales, tout particulièrement PISA, ne sont pas un simple instru-
ment de mesure « objective » des acquis des élèves, mais bien un outil d'évaluation des
performances du système éducatif au service du politique. Face aux difficultés que doit
affronter l'école dans une société désorientée en butte aux crises de la postmodernité, la tenta-
tion d'imputer la responsabilité de résultats collectifs jugés insuffisants aux pratiques
individuelles des professionnels du système d'enseignement peut être grande. Le manque d'in-
térêt ou de maîtrise de ces derniers pour un instrument qui pourrait leur être opposé et dont les
conséquences sur les finalités de leur action sont peut-être déterminantes nous semble quelque
peu préoccupant.
Ces questions ne concernent pas uniquement les professionnels de l'éducation. Elles mérite-
raient d'être posées à tous les citoyens, et tout particulièrement aux plus directement impliqués
dans le fonctionnement de notre démocratie : les élus. Ce qui constitue également une piste de
recherche à explorer.
219 Le constat fait ici nous semble au demeurant corroborer une réalité plus générale, empiriquement constatée, concernant les lacunes de nombreux enseignants français vis-à-vis de l'environnement institutionnel dans lequel s'inscrit leur activité professionnelle.
134/191
MARDIF Sigles et acronymes
SIGLES ET ACRONYMES
ADEA Association for the Development of Education in AfricaALL Adult Literacy and Life Skills Survey (OCDE)CERI Centre for Educational Research and Innovation
Centre de l'OCDE pour la recherche et l’innovation dans l’enseignementCITE Classification internationale type de l’éducationCIVED Civic Education Study (IEA)COFEMEN Conférence des ministres de l'éducation des pays ayant le français en partageDEPP Direction de l'évaluation, de la prospective et de la performance (MEN)EHESS École des hautes études en sciences socialesETS Educational Testing ServiceEU-27 Les 27 États membres de l’Union européenne après le 1er janvier 2007Eurostat Office statistique des Communautés européennesFDI Fonctionnement différentiel des itemsFIMS First International Mathematics Study (IEA)FISS First International Science Study (IEA)IAEP International Assessment of Educational Progress (ETS)
Programme d'évaluation internationale du progrès éducatifIALS International Adult Literacy Survey (OCDE)ICCS International Civic and Citizenship Education Study (IEA)IEA International Association for the Evaluation of Educational Achievement
Association internationale pour l’évaluation du rendement scolaire, ouAssociation internationale pour l’évaluation des compétences scolaires
IIEP International Institute for Educational Planning (UNESCO)Institut international de planification de l’éducation de l’UNESCO
INES Indicators of Education Systems (programme d'indicateurs sur l'éducation de l'OCDE)
IREDU Institut de Recherche sur l’Éducation (Université de Bourgogne)IRT Item Response Theory (en français, voir TRI)IUE Institut de l'UNESCO pour l'Éducation, IUL depuis 2006 (en anglais, voir UIE)IUL Institut de l'UNESCO pour l'apprentissage tout au long de la vie, IUE jusqu'en
2006 (en anglais, voir UIL)LES Languages Education StudyLLECE Laboratorio Latinoamericano de Evaluación y Calidad Educativa (UNESCO)MEN Ministère de l'Éducation nationaleMOC Méthode ouverte de coordinationMRI Modèle de réponse à l'itemOEI Organización de Estados Iberoamericanos para la Educación, la Ciencia y la
CulturaPASEC Programme d’analyse des systèmes éducatifs des États et gouvernements
membres de la CONFEMEN PIB Produit intérieur brutPIRLS Progress in International Reading Literacy Study (IEA)PISA Programme for International Student Assessment (OCDE)
135/191
MARDIF Sigles et acronymes
Programme international pour le suivi des acquis des élèvesPLF Projet de loi de financesPPA Parités de pouvoir d’achatPPP Pre-Primary Project (IEA)RERPESE Réseau européen des responsables des politiques d'évaluation des systèmes
éducatifsRNB Revenu national brutSACMEQ Southern and Eastern Africa Consortium for Monitoring Educational QualitySERCE Segundo Estudio Regional Comparativo y ExplicativoSIMS Second International Mathematics Study (IEA)SISS Second International Science Study (IEA)SITES Second Information Technology in Education Study (IEA)SPA Standard de pouvoir d’achatSSE Système statistique européenTEDS-M Teacher Education and Development Study in Mathematics (IEA)TIC Technologies de l’information et de la communicationTIMSS Trends in International Mathematics and Science Study (IEA)
Initialement intitulée : Third International Mathematics and Science StudyTRI Théorie de la réponse à l'item (en anglais, voir IRT)UIE UNESCO Institute for Education, UIL depuis 2006 (en français, voir IUE)UIL UNESCO Institute for Lifelong Learning, UIE jusqu'en 2006 (en français, voir
IUL)
136/191
MARDIF Bibliographie
BIBLIOGRAPHIE
OuvragesBARDIN Laurence, L'analyse de contenu, Paris, PUF, Quadrige, 2007.
BAUDELOT Christian, ESTABLET Roger, L’élitisme républicain. L’école française à l’épreuve des comparaisons internationales, Paris, Seuil, 2009.
BERNAUD Jean-Luc, Introduction à la psychométrie, Paris, Dunod, 2007.
BERTHIER Nicole, Les techniques d'enquête en sciences sociales. Méthodes et exercices corrigés, Paris, Armand Colin/VUEF, 2002.
BLANCHET Alain, GHIGLIONE Rodolphe, MASSONNAT Jean, TROGNON Alain, Les techniques d'enquête en sciences sociales, Paris, Dunod, 2005.
BLANCHET Alain, GOTMAN Anne, L'enquête et ses méthodes. L'entretien, Paris, Armand Colin, 2007.
CHAMPY Philippe, ÉTÉVÉ Christiane, (s. d.), Dictionnaire encyclopédique de l'éducation et de la formation, Paris, Nathan/Vuef, 2001.
DEROUET Jean-Louis , NORMAND Romuald, (s. d.), L'Europe de l'éducation : entre management et politique, Lyon, INRP, ESEN, 2007.
LANDSHEERE (de) Viviane, Faire réussir – Faire échouer. La compétence minimale et son évaluation, Paris, Presses Universitaires de France, 1988.
MIALARET Gaston, Les méthodes de recherche en sciences de l'éducation, Paris, PUF, « Que sais-je ? », n° 3699, 2004.
Ministère de l'Éducation nationale, Repères et références statistiques sur les enseignements, la formation et la recherche (RERS 2009), Paris, DEPP, 2009.
MONS Nathalie, Les nouvelles politiques éducatives. La France fait-elle les bons choix ?, Paris, PUF, 2007.
National Research Council, Methodological advances in cross-national surveys of educational achievement. Board on International Comparative Studies in Education. A.C. Porter and A. Gamoran Editors. Board on Testing and Assessment, Center for Education, Division of Behavioral and Social Sciences and Education. Washington, DC: National Academy Press, 2002. Consultable en ligne sur le site Google livres (http://books.google.fr)
RAYNAL Françoise, RIEUNIER Alain, Pédagogie : dictionnaire des concepts clés, Paris, ESF éditeur, 1997.
ROBERT André D., BOUILLAGUET Annick, L'analyse de contenu, Paris, PUF, « Que sais-je ? », n° 3271, 1997.
SINGLY (de) François, L'enquête et ses méthodes. Le questionnaire, Paris, Armand Colin, 2008.
VAN DAELE Henk, L'éducation comparée, Paris : PUF, « Que sais-je ? », n° 2786, 1993.
137/191
MARDIF Bibliographie
Articles
BARROSO João, de CARVALHO Luis Miguel, « PISA : un instrument de régulation pour relier des mondes », dans Revue française de pédagogie, n° 164, INRP, 2008, p. 77-80.
BAUTIER Élisabeth , CRINON Jacques, RAYOU Patrick, ROCHEX Jean-Yves, « Performances en littéracie, mode de faire et univers mobilisés par les élèves ; analyses secondaires de l'enquête PISA 2000 », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 85-101.
BOTTANI Norberto, « Le niveau d’huile, le moteur et la voiture : les enjeux d’une évaluation de la qualité de l’enseignement par les indicateurs », dans Éducation et formations, n° 78, MEN, DEPP, 2008, p. 9-22.
BUISSON-FENET Hélène, « L’éducation scolaire au prisme de la science politique : vers une sociologie politique comparée de l’action publique éducative ? », dans Revue internationale de politique comparée, 2007/3, Volume 14, p. 385-397.
CHARLIER Jean-Émile, « La douce violence de la “Méthode ouverte de coordination” et de ses équivalents », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 5-11.
CUSSÓ Roser, « Les statistiques de l’éducation de l’UNESCO: restructuration et changement politique », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 57-72.
GAUTHIER Roger-François, « Quelle évaluation du système éducatif ? », dans Cahiers français, n° 344, Paris, La Documentation française, 2008.
GOASTELLEC Gaëlle, PARADEISE Catherine, « L'enseignement : une réalité de plus en plus internationale ? », dans Cahiers français, n° 344, Paris, La Documentation française, 2008.
GOLDSTEIN Harvey, « Comment peut-on utiliser les études comparatives internationales pour doter les politiques éducatives d'informations fiables ? », dans Revue française de pédagogie, n° 164, INRP, 2008, p.69-76.
GREGER David, « Lorsque PISA importe peu. Le cas de la République tchèque et de l'Allemagne », dans Revue française de pédagogie, n° 164, INRP, 2008, p. 91-98.
KETELE (de) Jean-Marie, « L'évaluation conjuguée en paradigmes », dans Revue française de pédagogie, n° 103, INRP, 1993, p. 59-80.
LIMA Léa, STEFFEN Monika, « Comparaisons internationales en politiques publiques : stratégies de recherche, méthodes et interprétation », dans Revue internationale de politique comparée, 2004/3, Volume 11, p. 339-348.
MAHIEU Céline, MOENS Frédéric, « De la libération de l’homme à la libéralisation de l’éducation. L’éducation et la formation tout au long de la vie dans le discours et les pratiques européennes », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 35-55.
MAROY Christian, MANGEZ Catherine, « Rationalisation de l'action publique ou politisation de la connaissance ? », dans Revue française de pédagogie, n° 164, INRP, 2008, p. 87-90.
138/191
MARDIF Bibliographie
MASTERS Goeff N., « Élaboration d'échelles de mesure et agrégation dans les études de l'IEA : critique du rapport du professeur Goldstein », dans Études et documents d'éducation, n° 63, Paris, UNESCO, 1995.
MICHEL Alain, « L'ouverture internationale et la construction européenne », dans Le système éducatif en France, Paris, La Documentation française, 2006.
MONS Nathalie, « Évolution des politiques éducatives et comparaisons internationales », dans Revue française de pédagogie, n° 164, INRP, 2008, p.5-13.
MONS Nathalie, « L’évaluation des politiques éducatives. Apports, limites et nécessaire renouvellement des enquêtes internationales sur les acquis des élèves », dans Revue internationale de politique comparée, 2007/3, Volume 14, p. 409-423.
MOREAU Jean, NIDEGGER Christian, SOUSSI Anne, « Définition des compétences, choix méthodologiques et retombées sur la politique scolaire en Suisse », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 43-54.
MURAT Fabrice, « L’évaluation des compétences des adultes : des méthodes en plein développement », dans Éducation et formations, n° 78, MEN, DEPP, 2008, p. 85-96.
NORMAND Romuald, « Les comparaisons internationales de résultats : problèmes épistémologiques et questions de justice », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 73-89.
NUSSBAUM Martha, « Une crise planétaire de l'éducation », dans Courrier international, n° 1025, 24-30 juin 2010, p.33.
PRENZEL Manfred, ZIMMER Karin, « Études complémentaires de PISA 2003 en Allemagne : principaux résultats et enseignements », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 55-70.
RÉMOND Martine, « Éclairage des évolutions internationales PIRLS et PISA sur les élèves français », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 71-84.
ROCHER Thierry, « Que nous apprennent les évaluations internationales sur le fonction-nement des systèmes éducatifs ? Une illustration avec la question du redoublement », dans Éducation et formations, n° 78, MEN, DEPP, 2008, p. 63-68.
ROCHEX Jean-Yves, « PISA et les enquêtes internationales. Enjeux scientifiques, enjeux politiques », dans Revue française de pédagogie, n° 164, INRP, 2008, p. 81-85.
ROLF V. Olsen, SVEIN Lie, « Les évaluations internationales et la recherche en éducation : principaux objectifs et perspectives », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 11-26.
ROLLOT Catherine, de VERGES Marie, « Les performances scolaires de la France selon l'enquête PISA 2006 », dans Cahiers français, n° 344, Paris, La Documentation française, 2008.
SAUVAGEOT Claude, DALSHEIMER Nadine, « La situation éducative de la France comparée à celle d’autres pays de l’Union européenne ou de l’OCDE », dans Éducation et formations, n° 78, MEN, DEPP, 2008, p. 23-44.
139/191
MARDIF Bibliographie
SCHRIEWER Jürgen, « L’internationalisation des discours sur l’éducation : adoption d’une " idéologie mondiale " ou persistance du style de " réflexion systémique " spécifiquement nationale ? », dans Revue française de pédagogie, n° 146, INRP, 2004, p. 7-26.
THELOT Claude, « L'évaluation du système éducatif français », dans Revue française de pédagogie, n° 107, INRP, 1994.
VRIGNAUD Pierre, « La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ? », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 27-41.
Rapports et documents à diffusion ciblée
BOTTANI Norberto, VRIGNAUD Pierre, La France et les évaluations internationales, Rapport pour le Haut Conseil de l'Évaluation de l'École, Paris, La Documentation Française, 2005. En ligne : http://lesrapports.ladocumentationfrancaise.fr/BRP/054000359/0000.pdf
CYTERMANN Jean-Richard, DEMEUSE Marc, La lecture des indicateurs internationaux en France, Rapport pour le Haut Conseil de l'Évaluation de l'École, Paris, 2005. En ligne : http://cisad.adc.education.fr/hcee/documents/rapport_Cytermann_Demeuse.pdf
DEMEUSE Marc, Introduction aux théories et aux méthodes de la mesure en Sciences psychologiques et en Sciences de l’Éducation, Notes de cours, Institut de recherche en éducation (IREDU), Université de Bourgogne, mise à jour janvier 2008. En ligne :http://iredu.u-bourgogne.fr/images/stories/Documents/Cours_disponibles/Demeuse/Cours/p6.1.2.pdf
DESMET Hugiette, LAHAYE Willy, POURTOIS Jean-Pierre, Les points-charnières de la recherche scientifique, Cours de méthodologie du MARDIF, Faculté de Psychologie et des Sciences de l'Éducation, Université de Rouen, 2008.
GOLDSTEIN Harvey, Résultats scolaires : interprétation des comparaisons internationales, Études et documents d'éducation, n° 63, Paris, UNESCO, 1995.
MARTENS Kerstin, NIEMANN Dennis, « Governance by Comparison – How Ratings &Rankings can Impact National Policy Making in Education », Article présenté lors du Congrès annuel de l'International Studies Association, ISA's 50th Annual convention « Exploring the past, anticipating the future », New York Marriott Marquis, New York, NY, USA, 15/02/2009. En ligne : http://convention2.allacademic.com/one/isa/isa09/index.php?click_key=1&PHPSESSID=fe8ec10134d2044d49a34f2f47683574
MONS Nathalie, PONS Xavier, La réception de Pisa en France, Rapport dans le cadre du projet européen Know&Pol (Knowledge and Policy), 2009. En ligne : http://www.knowandpol.eu/fileadmin/KaP/content/Scientific_reports/Orientation3/PISA.WP12.France.Version_francaise.pdf
PAIR Claude, Forces et faiblesses de l'évaluation du système éducatif en France, Rapport pour le Haut Conseil de l'Évaluation de l'École, Paris, 2001. En ligne : http://cisad.adc.education.fr/hcee/documents/pairdef.doc
ROSS N. Kenneth, JÜRGENS GENEVOIS Llona, Cross-national studies of the quality of education : planning their design and managing their impact, IIEP, UNESCO, 2006. En ligne : http://www.unesco.org/iiep
140/191
MARDIF Bibliographie
Sitographie
Centre international d'études pédagogiques, bibliographie sur les évaluations internationales : http://www.ciep.fr/bibliographie/langueval_inter.php
Conférence des ministres de l'éducation des pays ayant le français en partage (COFEMEN) : http://www.confemen.org/
Institut international de planification de l’éducation (IIPE/UNESCO) : http://www.iiep.unesco.org/fr/abboutiiep/about-iiep.html
International Association for the Evaluation of Educational Achievement (IEA) : http://www.iea.nl/
KNOW&POL (Knowledge and policy) : http://www.knowandpol.eu/
Laboratorio Latinoamericano de Evaluación y Calidad Educativa (LLECE) : http://llece.unesco.cl/esp
Legifrance (textes législatifs et réglementaires français) : http://www.legifrance.gouv.fr/
Ministère de l’Éducation nationale, Bulletin officiel : http://www.education.gouv.fr/pid285/le-bulletin-officiel.html
Ministère de l’Éducation nationale, Portail de l'évaluation Éduc-Éval : http://www.educ-eval.education.fr/
Ministère de l’Éducation nationale, rubrique Évaluation et statistiques : http://www.education.gouv.fr/pid53/evaluation-et-statistiques.html
Ministère de l’Éducation nationale, rubrique L'évaluation globale du système éducatif : http://www.education.gouv.fr/cid265/l-evaluation-globale-du-systeme-educatif.html
Organisation de coopération et de développement économique (OCDE) :http://www.oecd.org/
Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI) : http://www.oei.es/index.php
Programme pour le suivi des acquis des élèves (PISA/OCDE) : http://www.pisa.oecd.org/
PRomotion des Initiatives Sociales en Milieux Educatifs (PRISME) : http://www.prisme-asso.org/
Réseau européen des responsables des politiques d’évaluation des systèmes éducatifs : http://www.reva-education.eu/
Southern and Eastern Africa Consortium for Monitoring Educational Quality (SACMEQ) : http://www.sacmeq.org/
TIMSS & PIRLS International Study Center : http://pirls.bc.edu/
141/191
MARDIF Annexes
ANNEXES
142/191
MARDIF Annexes
Annexe 1 : Principales enquêtes internationales sur les acquis des élèves
Année Désignation Comman-ditaire / pilotage
Public cible(âge ou niveau)
Nbre de pays (ou systèmes
éducatifs)
Disciplines ou compétences évaluées
1960 Étude pilote UNESCO 13 ans 12 Compréhension de l'écrit, mathématiques, sciences, géographie, raisonnement non verbal
1964 First International Mathematics Study (FIMS)
IEA 13 ansfin du secondaire
12 Mathématiques
1970-1971
Six-Subject Survey IEA 10 ans14 ansfin du secondaire
19 - Sciences : First International Science Study (FISS)
15 - Compréhension de l'écrit
10 - Littérature
9 - Anglais langue étrangère
8 - Français langue étrangère
11 - Instruction civique
1980-1982
Second International Mathematics Study (SIMS)
IEA 13 ansfin du secondaire
20 Mathématiques
1981-1983
Classroom Environment Study
IEA 5ème à 8ème année (~9-15 ans)
10 Mathématiques, sciences, histoire
1983-1984
Second International Science Study (SISS)
IEA 10 ans14 ansfin du secondaire
23 Sciences
1985 Written Composition Study
IEA fin du primairefin de la scolarité obligatoirefin du secondaire
14 Rédaction
1988 International Assessment of Educational Progress (IAEP-I)
ETS 13 ans 6 (12) Mathématiques, sciences
1989-2003
Pre-Primary Project (PPP)
IEA suivie de cohortes d'enfants de 4 à 7 ans
15 Éducation préscolaire institutionnelle
1989 Computers in Education Study – Phase 1
IEA 10 ans13 ansfin du secondaire
21 Technologies de l'information et de la communication (TIC)
1991 Reading Literacy Study IEA 9 ans14 ans
31 Lecture
1991 International Assessment of Educational Progress (IAEP-II)
ETS 9 ans13 ans
20 Mathématiques, sciences
1992 Computers in Education Study – Phase 2
IEA 10 ans13 ansfin du secondaire
12 Technologies de l'information (informatique)
143/191
MARDIF Annexes
Année Désignation Comman-ditaire / pilotage
Public cible(âge ou niveau)
Nbre de pays (ou systèmes
éducatifs)
Disciplines ou compétences évaluées
1993-2007
Programme d’analyse des systèmes éducatifs des États et gouvernements membres de la CONFEMEN (PASEC)
COFEMEN 8 ans11 ans (notamment)
17 Mathématiques, français (notamment)
1994 International Adult Literacy Survey (IALS) I
OCDE Adulte 9 Compréhension de l'écrit
1995 Third International Mathematics and Science Study (TIMSS)
IEA 9 ans (3ème et 4ème année)13 ans (7ème et 8ème année)fin du secondaire
40 Mathématiques, sciences
1995-1996
Pupils' achievements in English as a foreign language
RERPESE fin de la scolarité obligatoire
4(Europe)
Anglais langue étrangère
1995-1998
Enquête SACMEQ-I SACMEQ 12 ans 7(Afrique australe)
Lecture/écriture
1996 International Adult Literacy Survey (IALS) II
OCDE Adulte 5 Compréhension de l'écrit
1996-1998
Primer EstudioInternacional Comparativosobre Lenguaje, Matemática yFactores Asociados
OEI / LLECE
3ème année4ème année(6-7 ans)
13(Amérique latine,
Caraïbes)
Mathématiques, langue maternelle
1996-1997
Civic Education Study (CIVED) - Phase 1
IEA 14 ans16-20 ans
24 Instruction civique
1998 International Adult Literacy Survey (IALS) III
OCDE Adultes(16-65 ans)
9 Compréhension de l'écrit
1999 Third International Mathematics and Science Study Repeat (TIMSS-R)
IEA 8ème année(13-14 ans)
38 Mathématiques, sciences
1996-1997
Civic Education Study (CIVED) - Phase 2
IEA 14 ans16-20 ans
29 Instruction civique
1999-2004
Enquête SACMEQ-II SACMEQ 12 ans 14(Afrique australe)
Lecture/écriture, mathématiques
2000 Programme international pour le suivi des acquis des élèves (PISA)
OCDE 15 ans 32 Compréhension de l'écrit (majeur), mathématiques, sciences
2001 Progress in International Reading Literacy Study (PIRLS)
IEA 4ème année (~9 ans)
36 Lecture
2002 The assessment of pupils’skills in english in eight european countries 2002
RERPESE fin de la scolarité obligatoire
8(Europe)
Anglais langue étrangère
2003 Trends in International Mathematics and Science Study (TIMSS)
IEA 4ème année8ème année(~9 ans, 13 ans)
50 Mathématiques, sciences
144/191
MARDIF Annexes
Année Désignation Comman-ditaire / pilotage
Public cible(âge ou niveau)
Nbre de pays (ou systèmes
éducatifs)
Disciplines ou compétences évaluées
2003 Adult Literacy and Life Skills Survey (ALL)
OCDE Adultes(16-65 ans)
6 Compréhension de l'écrit, résolution de problèmes, maîtrise des TIC
2003 Programme international pour le suivi des acquis des élèves (PISA)
OCDE 15 ans 41 Compréhension de l'écrit, mathématiques (majeur), sciences, résolution de problèmes
2004-2008
Segundo Estudio Regional Comparativo y Explicativo (SERCE)
OEI / LLECE
3ème année6ème année(6 ans, 9 ans)
17 Mathématiques, langue maternelle, sciences naturelles
2006 Progress in International Reading Literacy Study (PIRLS)
IEA 4ème année (~9 ans)
45 Lecture
2006 Programme international pour le suivi des acquis des élèves (PISA)
OCDE 15 ans 57 Compréhension de l'écrit, mathématiques, sciences (majeur)
2007 Trends in International Mathematics and Science Study (TIMSS)
IEA 4ème année8ème année(~9 ans, 13 ans)
67 Mathématiques, sciences
2007-2009
Enquête SACMEQ-III SACMEQ 12 ans 14(Afrique australe)
Lecture/écriture, mathématiques
2008 Trends in International Mathematics and Science Study (TIMSS) – Advanced 2008
IEA fin du secondaire 10 Mathématiques, sciences
2008-2009
International Civic and Citizenship Education Study
IEA 8ème année(13-14 ans)
38 Instruction civique , citoyenneté
2009 Programme international pour le suivi des acquis des élèves (PISA)
OCDE 15 ans 65 Compréhension de l'écrit (majeur), mathématiques, sciences
2011 Trends in International Mathematics and Science Study (TIMSS)
IEA 4ème année8ème année(~9 ans, 13 ans)
Mathématiques, sciences
2011 Progress in International Reading Literacy Study (PIRLS)
IEA 4ème année (~9 ans)
Lecture
2012 Programme international pour le suivi des acquis des élèves (PISA)
OCDE 15 ans Compréhension de l'écrit, mathématiques (majeur), sciences
2013 International Computer and Information Literacy Study (ICILS)
IEA 8ème année(13-14 ans)
Maîtrise des technologies de l'information et de la communication
2015 Programme international pour le suivi des acquis des élèves (PISA)
OCDE 15 ans Compréhension de l'écrit, mathématiques, sciences (majeur)
Source : Bottani/Vrignaud (2005), COFEMEN, Goldstein (1995), IEA, Mons (2004), OCDE, OEI, SACMEQNB : La période indiquée est celle de collecte des données, lorsqu'elle est connue.
145/191
MARDIF Annexes
Annexe 2 : Pays membres de l'OCDE
classés par ordre alphabétique 220
1. Allemagne (1961)2. Australie (1971)3. Autriche (1961)4. Belgique (19615. Canada (1961)6. Corée (1996)7. Danemark (1961)8. Espagne (1961)9. États-Unis (1961)10. Finlande (28 janvier 1969)11. France (1961)12. Grèce (septembre 1961)13. Hongrie (1996)14. Islande (1961)15. Irlande (1961)
16. Italie (1962)17. Japon (1964)18. Luxembourg (1961)19. Mexique (1994)20. Norvège (1961)21. Nouvelle-Zélande (1973)22. Pays-Bas (1961)23. Pologne (1996)24. Portugal (1961)25. République Slovaque (2000)26. République Tchèque (1995)27. Royaume-Uni (1961)28. Suède (1961)29. Suisse (1961)30. Turquie (1961)
classés par ordre décroissant de contribution au budget 2010 de l'Organisation
1. États-Unis (23.9 %)2. Japon (13.1 %)3. Allemagne (9.0 %)4. Royaume-Uni (7.1 %)5. France (6.8 %)6. Italie (5.5 %)7. Espagne (3.9 %)8. Canada (3.8 %)9. Corée (2.7 %)10. Mexique (2.6 %)11. Australie (2.4 %)12. Pays-Bas (2.2 %)13. Suisse (1.6 %)14. Belgique (1.5 %)15. Suède (1.5 %)
16. Norvège (1.4 %)17. Autriche (1.3 %)18. Pologne (1.2 %)19. Turquie :1.2 %)20. Danemark (1.1 %)21. Grèce (1.1 %)22. Finlande (0.9 %)23. Irlande (0.9 %)24. Portugal (0.8 %)25. République tchèque (0.6 %)26. Nouvelle-Zélande (0.6 %)27. Hongrie (0.5 %)28. Luxembourg (0.3 %)29. République slovaque (0.3 %)30. Islande (0.2 %)
220 Entre parenthèses : année d'adhésion.
146/191
MARDIF Annexes
Annexe 3 : Pays représentés au sein de l'IEA
AFRIQUE DU NORD ET PROCHE-ORIENT1. Égypte2. Émirats Arabes Unis3. Iran4. Israël5. Jordanie6. Koweït7. Maroc8. Palestine (Autorité palestinienne)9. Qatar
AFRIQUE SUBSAHARIENNE10. Afrique du Sud11. Botswana12. Kenya13. Nigeria
AMÉRIQUE14. Brésil15. Canada16. Chili17. Colombie18. États-Unis d'Amérique19. Mexique
ASIE20. Armenie21. Chine22. Corée (République de)23. Georgie24. Hong-Kong25. Indonésie26. Japon27. Kazakhstan28. Malaisie29. Philippines30. Singapour31. Taïwan32. Thaïlande
AUSTRALASIE33. Australie34. Nouvelle-Zélande
EUROPE35. Allemagne36. Angleterre37. Autriche38. Belgique (Communauté française)39. Belgique (Flamande)40. Bosnie Herzegovine41. Bulgarie42. Chypre43. Croatie44. Danemark45. Écosse46. Espagne47. Estonie48. Finlande49. France50. Grèce51. Hongrie52. Irelande53. Islande54. Italie55. Lettonie56. Lithuanie57. Luxembourg58. Macedoine59. Norvège60. Pays-Bas61. Portugal62. Republique Tchèque63. Roumanie64. Russie65. Slovaquie66. Slovénie67. Suède68. Turquie
147/191
MARDIF Annexes
Annexe 4 : Illustration des biais linguistiques
Extrait de : GOLDSTEIN Harvey, « Comment peut-on utiliser les études comparatives internationales pour doter les politiques éducatives d'informations fiables ? », dans Revue française de pédagogie, n° 164, INRP, 2008, p.72.
148/191
MARDIF Annexes
Annexe 5 : Guide d'entretien
149/191
MARDIF Annexes
150/191
MARDIF Annexes
151/191
MARDIF Annexes
152/191
MARDIF Annexes
153/191
MARDIF Annexes
154/191
MARDIF Annexes
155/191
MARDIF Annexes
156/191
MARDIF Annexes
Annexe 6 : Fiches support annexées au guide d'entretien
Fiche support : questions n° 10/15/20 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PISA/PIRLS/TIMSS ?
les élèves âgés de 7 ans les élèves âgés de 8 ans les élèves âgés de 9 ans les élèves âgés de 10 ans les élèves âgés de 11 ans les élèves âgés de 12 ans les élèves âgés de 13 ans les élèves âgés de 14 ans les élèves âgés de 15 ans les élèves âgés de 16 ans les élèves âgés de 17 ans
les élèves qui sont dans leur 2ème année de scolarité les élèves qui sont dans leur 3ème année de scolarité les élèves qui sont dans leur 4ème année de scolarité les élèves qui sont dans leur 5ème année de scolarité les élèves qui sont dans leur 6ème année de scolarité les élèves qui sont dans leur 7ème année de scolarité les élèves qui sont dans leur 8ème année de scolarité les élèves qui sont dans leur 9ème année de scolarité les élèves qui sont dans leur 10ème année de scolarité les élèves qui sont dans leur 11ème année de scolarité les élèves en dernière année de cycle primaire les élèves en dernière année de cycle secondaire inférieur les élèves en dernière année de cycle secondaire supérieur des élèves de différents âges/niveaux ne sait pas
Fiche support : questions n° 13/18/23 Pouvez-vous préciser quelle est la fréquence de l'évaluation PISA/PIRLS/TIMSS ?
tous les ans tous les 2 ans tous les 3 ans
tous les 4 ans tous les 5 ans ne sait pas
Fiche support : questions n° 14/19/24 Pouvez-vous indiquer quelle organisation pilote l'évaluation PISA/PIRLS/TIMSS ?
Banque mondiale Conseil de l'Europe FMI G20 IAE OCDE
ONU OTAN UNESCO Union européenne ne sait pas
157/191
MARDIF Annexes
Fiche support : question n° 28
Voici le classement de la France à l'évaluation PISA 2006.
158/191
MARDIF Annexes
Annexe 7 : Entretien n° 2221
Enquêteur : KERGALL Emmanuel Date : 29/04/2010 Durée : 38 min N° d'ordre : 2
Fonction : Professeur certifié de lettres Âge : 49 ans Ancienneté /la fonction : 25 ans
Établissement d'exercice : Collège public (au sein d'une cité scolaire)
Nombre d'élèves (établissement scolaire) : 550
Nous commencerons par quelques questions d'ordre général.
1 Spontanément, quel(s) programme(s) d'évaluation internationale sur les acquis des élèves pouvez-vous citer ?
Là, comme ça, aucun... rien, rien ne me vient...
PISA, cela vous dit quelque chose ?Non, PISA ?
PIRLS ?Non.
TIMSS ?Non.
2 Compte tenu de vos fonctions, à quel degré vous estimez-vous concerné(e) par les évaluations internationales sur les acquis des élèves ?
…
Compte tenu du fait que vous ne les connaissez pas, répondez à partir de la définition que je vous en ai donnée (enquêtes ayant pour objet d'évaluer, notamment par des tests standardisés spécifiques, les acquis des élèves de différents pays).Oui, ça y est, PIRLS, en anglais... Cela me revient parce que, en 3ème, des élèves ont été choisis au collège pour participer à cette évaluation. Ça y est, ça me revient. Donc, on reprend la question. Je dirais, a priori pas tellement concernée, non... non... Je trouve que ces dispositifs, en tout cas celui dont j'ai entendu parler, c'est en langue, je trouve que ça peut être cohérent, dans une langue étrangère, sur différents pays... l'apprentissage d'une langue étrangère, les méthodes : au bout de tant d'années on voit que les élèves en sont à tel point, ne savent pas se débrouiller... donc ça veut dire qu'on peut travailler sur la méthode, etc. En lettres, en français, c'est spécifique quand même... enfin... ce sont des études littéraires, donc, franchement, non, je ne me sens pas concernée par ça.
Pourtant il existe des comparaisons de la maîtrise de la langue maternelle...Donc on compare l'apprentissage de la langue maternelle dans chaque pays ? D'accord. Alors là, non, c'est vrai que je n'avais jamais envisagé ça.
Donc, votre réponse spontanée c'est « pas concernée du tout » ?Oui.
221 Deux entretiens sont retranscrits dans ces annexes à titre d'exemple.
159/191
MARDIF Annexes
3 Selon vous, dans quelle mesure la connaissance des performances des systèmes éducatifs d'autres pays peut-elle permettre d'améliorer son propre système éducatif ?
C'est forcément une remise en cause, une interrogation sur notre système. Si je comprends bien la question – vous me dites si vous voyez que je m'égare – si au bout de tant d'années on se rend compte que des gamins – je pense en particulier aux gamins en échec scolaire – si on s’aperçoit que dans un pays il n'y en a quasiment pas, ça veut dire qu'il faut réfléchir à notre système depuis le début ; essayer de voir, de comparer comment fonctionne ce système là par rapport au nôtre, comprendre pourquoi on n'y arrive pas... Il y a un article sur l'école en Suède, justement, là-dessus... Alors ça veut dire peut-être prendre en charge les gamins plus tôt, différemment, des classes moins chargées... considérer l'élève autrement... enfin, il y des tas de pistes, d'interrogations... Donc oui, c'est intéressant de comparer, de ce point de vue là.
Et plus précisément, pour revenir à la question qui était « dans quelle mesure... », si je vous propose les réponses suivantes : pas du tout, assez peu, assez, beaucoup ?Beaucoup... oui.
4 Dans l'ensemble, pensez-vous que l'existence d'évaluations comparatives internationales sur les acquis des élèves soit profitable pour les pays participants ?
Et bien... oui... oui.
Pourquoi ?Oui, parce que ces résultats, il faut les interpréter et il faut en tirer les conséquences. Si c'est uniquement pour dire « voilà où on en est » puis ne rien en faire, ça n'a aucun intérêt, me semble-t-il.
Donc ça serait peu profitable, plutôt profitable ou très profitable ?J'ai envie de dire très profitable.
Nous allons aborder la question de la diffusion des informations relatives aux comparaisons internationales.
5 Quelles sont vos sources d'informations sur la question des comparaisons internationales ?
Mes sources d'information ? Mis à part ce dont j'ai parlé tout à l'heure, au cours d'un conseil de classe... Voilà, je vais vous raconter comment ça c'est passé : j'ai appris que cette évaluation comparative existait parce que des élèves, qui avaient été sélectionnés tout à fait par hasard, ne voulaient pas entrer dans ce système-là, râlaient. Et la collègue avait vraiment du mal à leur faire comprendre que ce n'était pas elle qui les testait mais que c'était... Donc, c'est comme ça que j'ai su que ça existait. Donc, il n'y a pas une information d'officielle qui m'en parle.
6 A votre avis, les médias grand public relatent les résultats des évaluations internationales de façon (aspect quantitatif) : tout à fait suffisante, plutôt suffisante, plutôt insuffisante, tout à fait insuffisante ?
Plutôt insuffisante.
Pourquoi ?Parce qu'on en n'entend absolument pas parler. On n'entend pas parler des résultats, on n'entend pas parler de ce que ça peut produire. Vraiment pas du tout. Le fait que vous me disiez qu'il y a des évaluations sur la langue maternelle... je n'étais même pas au courant ! Donc, j'ai l'impression que c'est très... enfin, je me trompe peut-être, mais que c'est très fermé, que c'est très confidentiel, en fait. Vous voyez, dans mon établissement, on ne le sait pas, on le sait par hasard.
7 A votre avis, les médias grand public relatent les résultats des évaluations internationales de façon (aspect qualitatif) : tout à fait satisfaisante, plutôt satisfaisante, plutôt non satisfaisante, pas satisfaisante du tout ?
160/191
MARDIF Annexes
Pas du tout satisfaisante. Alors quand on en entend parler, parce que je suppose que quand on nous dit « en France, les élèves ont le niveau le plus bas, etc. », c'est le résultat de ça, c'est-à-dire que l'on a toujours un côté négatif, on est toujours moins que les autres. J'ai rarement entendu qu'on était meilleur dans quelque chose. Remarquez, peut-être qu'on ne l'est jamais !
8 A votre avis, la presse spécialisée ou professionnelle relate les résultats des évaluations internationales de façon (aspect quantitatif) : tout à fait suffisante, plutôt suffisante, plutôt insuffisante, tout à fait insuffisante ?
Je suis syndiquée, je reçois la presse du SGEN. On en parle de temps en temps, vous voyez, donc on va dire que c'est plutôt suffisant, enfin... un peu en dessous mais il n'y a pas « un peu en dessous »...
Non, mais vous pouvez préciser...Oui oui. En plus, le SGEN est vraiment un syndicat centré sur l'élève au centre du système, qui réfléchit beaucoup sur les élèves en échec... Enfin, c'est un syndicat qui essaie de proposer vraiment de travailler autrement. Et donc, du coup, qui s'appuie effectivement sur ces enquêtes, sur la comparaison avec des systèmes où ça fonctionne – on pense aux pays nordiques – donc ça oui...
Dans d'autres médias, hors syndicat, professionnels ou spécialisés ?Je n'en lis peut-être pas assez, mais ça ne me semble pas...
9 A votre avis, la presse spécialisée ou professionnelle relate les résultats des évaluations internationales de façon (aspect qualitatif) : tout à fait satisfaisante, plutôt satisfaisante, plutôt non satisfaisante, pas satisfaisante du tout ?
Je vais dire satisfaisant.
Nous allons maintenant nous intéresser plus particulièrement à trois programmes d'évaluations comparatives internationales.
10 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PISA ?
Non, je ne peux pas répondre. Je ne sais pas.
11 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PISA ? Merci de préciser l'année de l'évaluation correspondante.
Non.
12 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PISA ?
Non.
13 Pouvez-vous préciser quelle est la fréquence de l'évaluation PISA ?
Non.
14 Pouvez-vous indiquer quelle organisation pilote l'évaluation PISA ?
Non.
Si je vous propose cette liste, cela suscite-t-il une réponse ?Non, vraiment.
15 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PIRLS ?
Les élèves de 3ème.
161/191
MARDIF Annexes
16 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PIRLS ? Merci de préciser l'année de l'évaluation correspondante.
Non.
17 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PIRLS ?
En anglais, non ? En langue vivante ?
18 Pouvez-vous préciser quelle est la fréquence de l'évaluation PIRLS ?
Apparemment tous les trimestres...
19 Pouvez-vous indiquer quelle organisation pilote l'évaluation PIRLS ? [Liste proposée]
Alors là, vraiment, je n'en sais rien... Là, du coup, je suis perdue, parce quand vous disiez PIRLS, pour moi, ce n'était pas du tout écrit comme ça... et... j'entendais la prof d'anglais... Pourtant je suis sûre que c'est une évaluation comparative qu'elle fait en anglais, au niveau européen, ça c'est certain... Alors donc ça ne serait pas ça ?
20 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation TIMSS ?
Non.
21 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation TIMSS ? Merci de préciser l'année de l'évaluation correspondante.
Non.
22 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation TIMSS ?
Non.
23 Pouvez-vous préciser quelle est la fréquence de l'évaluation TIMSS ?
Non.
24 Pouvez-vous indiquer quelle organisation pilote l'évaluation TIMSS ?
Non.
25 Quels sont les objectifs poursuivis par les concepteurs de l'évaluation PISA et les pays participants ? Diffèrent-ils de ceux relatifs aux autres évaluations ?
Et bien, comme je ne connais pas PISA, je ne peux pas répondre.
Nous allons élargir la question aux évaluations comparatives internationales en général.Au sens large... Faire un état des lieux ? Et puis c'est faire, j'imagine, une comparaison des différents systèmes scolaires, des différentes méthodes d'apprentissage et d'évaluation.
Dans quel but ?D'harmoniser... d'échanger... de modifier... de..., enfin, j'espère en tout cas que c'est pour aller vers le mieux. Pour prendre ce qui fonctionne chez l'un, chez l'autre... C'est ce qui me semblerait logique. Et pas simplement pour faire un état des lieux et dire « voilà, là ça fonctionne » et s'arrêter là. Oui, il me semble que ça peut être intéressant. Après, il peut sûrement y avoir d'autres buts qui, pour le moment, m'échappent... mais moi, ça me semblerait déjà ça le plus important. Au niveau européen, de toute façon... un système qui emprunterait à l'un, à l'autre, un échange... enfin, je ne sais pas, pouvoir aller faire des
162/191
MARDIF Annexes
études dans un autres pays, et qu'il n'y ait pas finalement un tel écart, qu'il y ait vraiment une harmonisation entre les différents systèmes peut-être, pourquoi pas ?
Concernant plus particulièrement les résultats obtenus par les élèves français à PISA [les résultats de PISA 2006 sont présentés à l'interviewée] :
26 A votre connaissance, comment ont évolué les résultats de la France aux évaluations internationales au cours des dix dernières années ?
Je n'ai pas l'impression que cela ait beaucoup évolué. Au contraire, on reste un peu à la traîne. Par rapport à ce que j'ai pu lire ou... Quand je vois ça, je ne suis pas trop surprise finalement, alors que...
Sur une échelle graduée, vous diriez qu'ils se sont nettement améliorés, qu'ils se sont modérément améliorés, qu'ils sont restés stables, qu'ils se sont modérément dégradés, qu'ils se sont nettement dégradés ?Se sont modérément dégradés.
27 A votre connaissance, comment se situent globalement les résultats de la France à la dernière évaluation PISA, par rapport à la moyenne des pays participants ? (très au-dessus de la moyenne des pays participants / un peu au-dessus de la moyenne des pays participants / dans la moyenne des pays participants / un peu en dessous de la moyenne des pays participants / très en dessous de la moyenne des pays participants / ne sait pas)
Question sans objet, les résultats ayant déjà été présentés.
28 Que pensez-vous de ce résultat ?
Je le trouve médiocre.
Comment l'expliquez-vous ?Justement, je regarde les pays qui sont... c'est surprenant, parce que l'image que l'on peut avoir de certains pays dont on dirait « ouh là là », finalement... En même temps, je ne sais pas ce que PISA évalue, donc c'est un peu difficile...
Les trois domaines sont indiqués là, sur le document.Ah d'accord ! D'accord... A chaque fois, c'est en dessous, oh là là !... Et bien, notre système éducatif est vraiment à revoir dans tous les domaines, vraiment ! Je trouve qu'on a vraiment privilégié les mathématiques. Alors c'est peut-être là que le score est le meilleur, parce que c'est vrai qu'on est dans une culture des maths, vraiment, la réussite passe par les maths, la section « S », etc., on met de côté tout le reste. Et puis finalement on se rend compte que ce n'est pas comme ça que cela fonctionne non plus.
A priori, qu'est-ce qui pourrait expliquer ces résultats en dessous de la moyenne ?C'est ce que je disais tout à l'heure, un système qui met de côté beaucoup d'élèves, ça c'est évident, et dès le départ, et qu'on ne récupère jamais. Un système élitiste... pour quelques-uns. Un système qui manque d'ouverture, dont les méthodes ne sont pas... J'ai l'impression que l'on enseigne comme il y a cent ans, on n'arrive pas à évoluer, on n'arrive pas à s'ouvrir sur le monde. Un système qui ne s'adapte pas aux nouvelles technologies, vous voyez, je trouve que c'est un système un peu replié sur lui-même. Du coup, qui souffre. Ce qui peut expliquer ça.
Donc, en fait, ce sont des raisons endogènes au système ?Oui.
Est-ce qu'il pourrait y avoir des raisons autres ?Je vois, vous voulez parler des aspects sociaux ?
163/191
MARDIF Annexes
Par exemple.Curieusement, étrangement, on a quand même un monde qui évolue, des gamins plus vifs, qui sont plus ouverts à des tas de techniques, à des tas de choses, et puis finalement on n'en fait rien. C'est quand même bien notre système éducatif qui en est en grande partie la cause. Alors, est-ce qu'il y a un appauvrissement... par rapport à... ? Je n'ai pas envie de croire à ça, mais bon...
29 Les résultats obtenus par la France à l'évaluation PISA 2006 vous paraissent-ils conformes au niveau des élèves français ?
Je ne peux pas vous répondre comme ça. Je ne peux pas être aussi générale. Sur la culture mathématique, je suis assez surprise... Vous pouvez répéter la question ?
Les résultats obtenus par la France à l'évaluation PISA 2006 vous paraissent-ils conformes au niveau des élèves français ?Quelque chose de moyen, en somme, un peu en dessous de la moyenne... hum...
Je vous rappelle que nous parlons ici d'évaluations comparatives, donc de résultats comparés.Oui, vous faites bien de le repréciser. J'ai du mal, j'ai vraiment du mal à répondre...
Est-ce qu'il pourrait, selon vous, y avoir des explications qui ne soient pas liées au niveau des élèves français ?Je vois, qui pourraient être liées aux évaluations, à l'outil ?... Oui, c'est vrai, je n'avais pas pensé à ça. Mais comment sont-ils évalués ? J'aimerais bien savoir ça ! C'est-à-dire que peut-être que dans un système, ça va être un type d'évaluation qui va être bien connu des élèves, mais que nous, par exemple, on ne manipule pas ou on ne domine pas. Et là, forcément... oui, ça c'est possible aussi... oui, je n'y avais pas pensé, effectivement. Mais comme je ne connais pas du tout l'outil utilisé...
Vous semble-t-il possible de répondre à la question initiale sur une échelle graduée : tout à fait conformes, plutôt conformes, plutôt pas conformes, pas du tout conformes ?Euh...
Par rapport à l'image que vous vous faites du niveau des élèves français, comparés aux autres.Ça m'est vraiment difficile de les positionner par rapport aux autres. J'ai vraiment du mal. Vous voyez, si je vous dis que c'est plutôt conforme, au fond de moi je n'est pas ce sentiment-là... alors je vais dire que ce n'est pas conforme, mais en même temps je n'arriverais pas à vous dire pourquoi.
Plutôt pas conforme parce que les élèves français sont en réalité meilleurs que cet affichage ou moins bons ?Meilleurs.
30 Selon vous, qu'est-ce qui peut expliquer les bons résultats de la Finlande ou du Canada à l'évaluation PISA ?
En Finlande, ils ont un système éducatif particulièrement performant. Au Canada, je ne connais pas, mais certainement aussi. Après, là aussi, le mode d'évaluation... C'est flagrant ! Dans le domaine scientifique et en compréhension de l'écrit. Ils ont un système où l'enfant est vraiment au centre de l'éducation, il y a très peu d'élèves, très peu d'échec, le goût de l'apprentissage...
Donc les bons résultats qu'ils obtiennent reflèteraient le niveau de leurs élèves...Je crois, oui.
… et seraient dus à la qualité de leur système éducatif, qui serait plus performant que le nôtre ?Oui. Parce que très différent.
31 Selon vous, les solutions adoptées dans les pays qui obtiennent les meilleurs résultats aux évaluations internationales telles que PISA devraient-elles être mises en application en France ?
164/191
MARDIF Annexes
Dans une certaine mesure, oui.
Qu'entendez-vous par « dans une certaine mesure » ?Il faut aussi comparer... la Finlande est un petit pays... il y a aussi ce phénomène-là. Parce que, par exemple, quand on a douze élèves dans une classe avec deux enseignants... On imagine ce que cela donnerait en France, au niveau infrastructure, nombre d'enseignants, etc. Je ne sais pas si c'est franchement possible, mais il y a certainement des choses à adopter dans ce système éducatif. Oui. Respecter le rythme de l'enfant dès le départ, limiter le système d’évaluation que nous avons, qui commence à la maternelle, dans lequel si on ne rentre pas dans les cases ça ne va pas.
Au final, pouvez répondre à la question sur l'échelle suivante : « jamais », « généralement non », « oui, certaines », « oui, toutes » ?Oui, certaines.
32 Les résultats obtenus par la France aux évaluations internationales telles que PISA, vous ont-ils amené(e) à vous interroger sur vos pratiques professionnelles ?
Oui, c'est une interrogation que je me pose. Justement, le syndicat que j'ai choisi, ce n'est pas par hasard. J'essaie toujours d'être dans des activités, des opérations, pour les élèves en difficulté, pour essayer d'ouvrir ce que je fais à des intervenants extérieurs... bien sûr, je me pose des questions, mais à mon échelon.
Sur l'échelle suivante : pas du tout, assez peu, assez, beaucoup ?Assez.
33 Selon vous, quelle a été l'influence des résultats obtenus par la France aux évaluations internationales telles que PISA sur les réformes conduites par le ministère de l'Éducation nationale depuis dix ans ?
Je sais que l'un des grands combats a été l'enseignement des langues vivantes. Par rapport aux comparaisons qui ont été faites avec des pays étrangers, on se rend compte que les élèves français maîtrisent très mal les langues étrangères. Résultat, on a supprimé une heure de langue étrangère au lycée !... Donc il y a l'effet d'annonce, le scandale, et finalement ce n'est pas suivi parce qu'on est dans une logique d'économie...
Cela veut dire que, en réalité, l'influence a été faible ? Nulle ?Allons jusqu'à nulle. C'est contradictoire, comme réaction ! On s'insurge et, dans les faits, on donne encore moins d'heures aux gamins !
Donc, sans influence ?Oui, a priori, je dirais sans influence.
34 D'une manière générale, selon vous, les différences (économiques, culturelles, historiques, etc.) d'un pays à l'autre peuvent-elles expliquer les différences de résultats des pays qui participent aux évaluations internationales ?
Oui, je pense.
Pouvez-vous développer ?Peut-être que dans certains pays on va essayer de développer la richesse que peuvent représenter les élèves, leur richesse intellectuelle, pour progresser plus vite, dans les techniques, dans les technologies. C'est un investissement. Peut-être que dans certains pays on va mettre l'accent sur l'éducation parce qu'on se rend compte que c'est l'avenir, ce sont les enfants qui... mais je ne suis pas sûre que dans tous les pays on ait ça. Donc ça c'est une première différence.
C'est-à-dire que, dans certains pays, on mettrait plus de moyens, la place de l'éducation ne serait pas la même ?C'est cela. On comprend l'investissement que cela représente. Évidemment, il y a la réussite de l'enfant,
165/191
MARDIF Annexes
etc., mais derrière il aussi l'avenir du pays... cela me semble important.
Vous voyez d'autres différences qui pourraient expliquer les différences de résultats ?Historiques aussi, parce que quand on voit certains pays... vous voyez, je pense à l'Espagne, qui est sortie du franquisme en 1977, forcément, il peut y avoir un retard à rattraper. Peut-être que cela peut aussi expliquer les différences de résultats. Je me dis que oui, forcément, cela peut être une explication historique. L'histoire d'un pays peut faire que l'éducation prend du retard, ne se met pas en place tout de suite, ce n'est pas la priorité, ou au contraire il ne faut surtout pas que les jeunes pensent trop.
Est-ce que, selon vous, il pourrait y avoir des facteurs plus en lien avec la méthodologie des évaluations, compte tenu des facteurs économiques, culturels, etc. précédemment cités ?La méthodologie, c'est-à-dire les outils utilisés ? Cela revient à ce que je vous disais tout à l'heure, finalement, dans certains pays on va être à la pointe des nouvelles technologies et dans d'autres pays non. Je ne suis pas sûre que tous les pays cités aient ces avancées-là. Donc, forcément, si c'est un des outils utilisés pour les évaluations, il y aura un décalage, automati-quement. Je pense aussi à des méthodes d'évaluation comme les QCM ou des choses comme ça, nous on n'utilise quasiment jamais de QCM, d'autres systèmes si, donc voilà...
Pour résumé, vous diriez que les différences (économiques, culturelles, historiques, etc.) d'un pays à l'autre peuvent expliquer les différences de résultats des pays qui participent aux évaluations internationales : pas du tout, très partiellement, de façon substantielle, de façon décisive ?Je dirais de façon substantielle.
35 Enfin, certains aspects des comparaisons internationales, non abordés précédemment lors de cet entretien, vous paraissent-ils problématiques ?
C'est-à-dire ?
Par exemple, des aspects méthodologiques, politiques ou autres ?Je ne sais pas.
36 Souhaitez-vous rajouter quelque chose à propos des évaluations comparatives internationales ?
Non. Enfin si, peut-être qu'il faudrait qu'on soit d'avantage au courant. Mais peut-être que je ne suis pas le meilleur sujet pour ça. Peut-être que d'autres connaissent d'avantage que moi...
Je vous remercie.
166/191
MARDIF Annexes
Annexe 8 : Entretien n° 8
Enquêteur : KERGALL Emmanuel Date : 31/05/2010 Durée : 1 h 16 min N° d'ordre : 7
Fonction : Inspecteur de l'Éducation nationale Âge : 48 ans Ancienneté /la fonction : 5 ans
Établissement d'exercice : Circonscription du premier degré
Nombre d'élèves (établissement scolaire) : sans objet
Nous commencerons par quelques questions d'ordre général.
1 Spontanément, quel(s) programme(s) d'évaluation internationale sur les acquis des élèves pouvez-vous citer ?
J'en connais deux : PISA et PIRLS.
Pouvez-vous en citer d'autres spontanément ?Non. Spontanément, je n'en connais pas d'autres. Les nationaux oui, mais internationaux non.
TIMSS, cela vous dit quelque chose ?Pas du tout, non.
2 Compte tenu de vos fonctions, à quel degré vous estimez-vous concerné(e) par les évaluations internationales sur les acquis des élèves ?
A quel degré ?...
J'ai quatre items à vous proposer, que je vous demanderais de développer : pas concerné du tout, peu concerné, assez concerné ou très concerné ?Assez concerné. Dans la mesure où le socle commun, qui est imposé désormais à l'Éducation nationale française, est évalué en fin de troisième, quand on regarde les programmes de CM2, il y a très peu de divergence entre les programmes de l'école et les acquis du socle, en tout cas sur les domaines essentiels que sont les mathématiques et le français. Donc, nous qui travaillons aux acquis des élèves de fin de CM2, pour 90 %, enfin disons 85 % des élèves, normalement, si on les a validés en fin de CM2 on fait l'hypothèse qu'ils sont stabilisés aussi en fin de troisième à un niveau supérieur – ça c'est le boulot du collège. Et comme les évaluations que je connais le mieux, qui sont celles de PISA, travaillent sur les acquis des élèves de 15 ans au niveau international, grosso modo on peut dire que c'est ce niveau qui est rechercher, uniquement en termes de connaissances mais pas en terme procédural. Donc au niveau de l'école élémentaire, de la fin de l'école élémentaire, on est assez concerné par ces évaluations.
Quelle serait la partie de votre activité professionnelle qui serait la plus directement touchée par ces évaluations ?Inspection des personnels, évaluations nationales, formation-animation des personnels qui serait liée à l'exploitation de ces évaluations nationales, pilotage des écoles ou des groupes dans une moindre mesure. Néanmoins il y a toujours l'objectif d'arriver à une meilleure appropriation des enjeux de l'évaluation donc... oui, pilotage dans une moindre mesure.
3 Selon vous, dans quelle mesure la connaissance des performances des systèmes éducatifs d'autres pays peut-elle permettre d'améliorer son propre système éducatif ? Là aussi, j'ai quatre items de départ qui sont « pas du tout », « assez peu », « assez » ou « beaucoup », que je vous demanderais
167/191
MARDIF Annexes
de développer.
Je dirais « assez peu », mais qu'il est intéressant de les connaître, et qu'il est surtout important d'en connaître tous les paramètres. Les exemples classiques qui nous sont régulièrement présentés – l'Angleterre par rapport au traitement de la difficulté scolaire en petits groupes, le non redoublement des élèves, la Finlande par rapport à sa réussite – nous sont présentés comme des systèmes assez performants, sauf qu'on ne nous donne pas tous les paramètres. Il y a des paramètres sociaux, des paramètres de population, de répartition de la population, qui sont de mon point de vue extrêmement lourd de conséquences et qui ne sont pas du tout les mêmes dans les systèmes anglais ou finlandais que dans le système français, par rapport à des éléments d'assimilation ou de culture, par rapport aussi à des éléments de formation initiale et continue des enseignants, de recrutement. Moi, si j'avais des directeurs d'école qui pouvaient choisir leurs équipes comme c'est le cas en Angleterre, j'aurais des écoles peut-être plus performantes, mais on a des fonctionnements différents. Il y a un certain nombre de paramètres qu'on ne peut pas négliger et qui sont régulièrement sous-estimés – je ne veux pas utiliser de mots polémiques – sous-estimés dans les présentations que l'on fait des systèmes étrangers que l'on veut bien nous présenter.
La transposition des pratiques, vous pensez que c'est possible ?La transposition des pratiques ?... oui, je pense que c'est possible, au bémol près qu'en France on a encore, au niveau des pratiques professionnelles des enseignants, des schémas extrêmement sclérosés, stéréotypés... beaucoup d’enseignants estiment qu'ils sont seuls maîtres après Dieu dans leur classe. Donc le travail en équipe, en particulier, est très difficile à dynamiser, malgré la compétence que devrait développer ces enseignants, puisque que le travail en équipe est une de leurs compétences professionnelles supposées. Ça c'est un élément difficile. Deuxième élément particulièrement difficile, mais qui est forcément corrélé, c'est tout le travail autour de l'évaluation. Je continue de penser qu'on est très mauvais au sein d'une classe, d'une école, d'un site, en évaluation, dans notre système. C'est la même évaluation pour tout le monde... on est assez mauvais.
Toujours sur la même question de départ, est-ce que connaître les autres systèmes ça nous aide à nous connaître, à connaître notre système ?Oui, je pense que ça aide à connaître notre système, parce que finalement on se connaît – en tout cas, pour nous, les cadres – on connaît notre système de l'intérieur et parfois il ne nous questionne plus ou, en tout cas, on ne se questionne plus sur son fonctionnement ou sur le bien-fondé de telle ou telle chose qu'on a admise comme étant un postulat. Et le fait d'avoir à connaître un fonctionnement différent peut nous amener à nous poser un certains nombre de questions sur le bien-fondé ou l'historique de tel ou tel aspect. Oui, je pense qu'effectivement cette connaissance, cet éclairage extérieur nous permet de connaître... oui, car finalement on se connaît en se confrontant à d'autres. Cela peut nous faire poser de bonnes questions, faire émerger un certains nombre de sens qu'on avait perdus de vue, peut-être, oui.
4 Dans l'ensemble, pensez-vous que l'existence d'évaluations comparatives internationales sur les acquis des élèves soit profitable pour les pays participants ?
Oui, oui. Même si c'est toujours difficile de se prendre dans les dents un niveau qu'on estime ne pas être celui d'un pays industrialisé, de la quatrième puissance économique du monde. Mais oui.
Ça serait très profitable, plutôt profitable, peu profitable ?Je dirais plutôt profitable, oui, plutôt profitable. Parce que quand on a ce genre de résultats, ça nous... enfin, moi, ça me motive et je me pose des questions : pourquoi nous faisons plutôt comme ça, pourquoi eux y arrivent en faisant ça ? Cela permet d'avoir des pistes. A la difficulté près que tout n'est pas transposable directement, en l'état. On le saurait s'il n'y avait que ça à faire...
Nous sommes d'accord que c'est une réponse qui va au-delà du cas français ?Tout à fait.
D'une manière générale, par principe, vous pensez que c'est plutôt profitable......pour un système d'avoir connaissance du fonctionnement des autres, oui, oui, bien sûr.
Et l'existence des évaluations comparatives, telles qu'elles sont faites, est plutôt profitable ?Oui, c'est profitable. Il suffit de voir, par exemple, que ça nous permet dans nos rencontres internationales
168/191
MARDIF Annexes
d'inspecteurs ou de cadres, puisqu'il m'est arrivé d'y participer, d'avoir directement une espèce de dialogue commun, c'est-a-dire un sujet commun de discussion, puisque, nous, nous avons un système avec une inspection qui est totalement différent des Anglais, des Tchèques, des Allemands, etc. En revanche, quand on rentre directement sur les activités des élèves liées à ces évaluations là, on a des sujets communs, et ce qui est intéressant, justement, c'est de voir comment le pilotage, puisque c'est sur cette partie là que ça nous amène très directement, nous permet de réajuster, de dynamiser les équipes, de modifier éventuellement un certain nombre de pratiques ou d'outils, tout simplement.
Nous allons aborder la question de la diffusion des informations relatives aux comparaisons internationales.
5 Quelles sont vos sources d'informations sur la question des comparaisons internationales ?
Internet, évidemment...
Quels sites en particulier, ou quel groupe de sites ?Le site du ministère, déjà... tous les sites professionnels : le site de l'ESEN, le site du CIEP de Sèvres... je pourrais le citer mais je n'y vais pas, le site de l'OCDE, ensuite...
Vous connaissez le site de l'OCDE mais vous n'y allez pas ?Oui, mais je n'y vais pas. J'utilise plutôt les sites professionnels qui relayent ce type d'informations...
D'accord. La question porte vraiment sur les sources d'information que vous utilisez.Oui, donc les trois principales sont ces sites. Ensuite, ponctuellement les Lettres d'information du ministère, qui nous arrivent régulièrement sous format papier, donc là on a également un certain nombre de choses... Globalement, c'est ça.
La presse ?Oui, la presse nationale, effectivement, quand il y a un dossier du Monde sur PISA, je l'achète...
La presse professionnelle ?La presse syndicale, plutôt, que ce soit la presse enseignants ou inspecteurs, qui relaye systématiquement un certain nombre de choses, mais c'est relativement marginal, une fois tous les ans ou tous les deux ans.
6 A votre avis, les médias grand public relatent les résultats des évaluations internationales de façon (aspect quantitatif) : tout à fait suffisante, plutôt suffisante, plutôt insuffisante, tout à fait insuffisante ?
Pour moi, j'aurais tendance à dire plutôt insuffisante, mais par rapport au degré d'intéressement du grand public, je dirais plutôt suffisante... Effectivement, en tant que professionnel j'aimerais en savoir plus et j'ai les moyens de voir plus loin, mais je pense que pour le grand public, pour le citoyen lambda, c'est suffisant vu comment c'est parfois traité.
7 A votre avis, les médias grand public relatent les résultats des évaluations internationales de façon (aspect qualitatif) : tout à fait satisfaisante, plutôt satisfaisante, plutôt non satisfaisante, pas satisfaisante du tout ?
J'isolerais bien Le Monde, que je crois non pas plus neutre mais plus professionnel et moins dans le sensationnel que les autres quotidiens nationaux ou la télévision, par exemple... Bon, je vais quand même répondre que, qualitativement, pour moi, c'est très insuffisant.
Ce n'est pas satisfaisant du tout ?Pas satisfaisant du tout, oui. Parce qu'on est forcément dans le sensationnel. Je suis toujours très frustré quand j'entends le journal de France 2... c'est très frustrant d'entendre parler de ça.
Donc, si je vous comprends bien, ce n'est pas seulement que c'est trop simple mais c'est que, en plus, ça appuie un peu sur le levier émotionnel. C'est bien ça, je ne trahit pas votre pensée ?Non, non, vous ne trahissez pas ma pensée, c'est exactement ça. C'est sensationnel, émotionnel, voilà :
169/191
MARDIF Annexes
« la France est derrière la Roumanie ! » D'accord, mais allons voir un d'un peu plus près ; comparons ce qui est comparable ! Je ne suis pas sûr que cela veuille dire quelque chose que la France soit derrière la Roumanie. Je ne sais pas pourquoi je dis la Roumanie, mais en termes de niveau de vie par rapport au niveau OCDE, on est probablement aux extrêmes donc... c'est trop simpliste de faire ce genre de comparaison.
8 A votre avis, la presse spécialisée ou professionnelle relate les résultats des évaluations internationales de façon (aspect quantitatif) : tout à fait suffisante, plutôt suffisante, plutôt insuffisante, tout à fait insuffisante ?
Quantitatif... plutôt insuffisante, parce que finalement on sait peu de choses... je vais faire aveu de mon ignorance ; est-ce que PISA, puisque c'est celle que je connais un tout petit peu, est annuelle ? Je n'en sais rien. Si elle l'était, on pourrait avoir des comparatifs et des articles réguliers type marronnier... Non, je trouve qu'il n'y en a pas assez.
9 A votre avis, la presse spécialisée ou professionnelle relate les résultats des évaluations internationales de façon (aspect qualitatif) : tout à fait satisfaisante, plutôt satisfaisante, plutôt non satisfaisante, pas satisfaisante du tout ?
Sûrement pas, pas satisfaisante du tout ! C'est-a-dire que des articles de fond qui essaieraient de comparer des données statistiques comparables et qui permettraient de nous aider à en tirer des conclusions, c'est inexistant. Et ce n'est pas le quatre pages du ministère qui va nous renvoyer quelque chose de performant. Finalement, à part établir un classement, et à part pour quelques statisticiens pointus de je ne sais quel organisme, je ne sais pas ce que l'on peut en tirer.
Nous allons maintenant nous intéresser plus particulièrement à trois programmes d'évaluations comparatives internationales.
10 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PISA ?
Je pense que ce sont les élèves en fin de scolarité obligatoire européenne, les élèves de 15 ans.
11 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PISA ?
Une centaine.
12 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PISA ?
Je sais qu'il y a des mathématiques...
Est-ce que vous savez combien il y a de domaines dans PISA ?Pas du tout.
Donc, des mathématiques, c'est la seule certitude ?Oui, c'est la seule certitude. Après, j'imagine qu'il doit y avoir de la lecture mais je n'en ai aucune idée...
13 Pouvez-vous préciser quelle est la fréquence de l'évaluation PISA ? Vous avez abordé le sujet vous-même, donc je suppose que vous ne le savez pas puisque vous l'avez déploré ?...
Non, j'ai dit que si elle avait lieu tous les ans, ce serait bien qu'on le sache... Je dirais tous les deux ans parce que j'ai un vague souvenir d'avoir vu des choses répondant à des années paires ; je ne sais pas pourquoi j'ai ce souvenir... mais sans aucune certitude
14 Pouvez-vous indiquer quelle organisation pilote l'évaluation PISA ?
L 'OCDE.
170/191
MARDIF Annexes
15 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PIRLS ?
Je crois que ce sont les élèves de 10 ans.
16 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PIRLS ? Merci de préciser l'année de l'évaluation correspondante.
Non.
17 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PIRLS ?
Je crois que ce sont les langues vivantes mais je n'en suis pas sûr du tout... je vais dire non !
18 Pouvez-vous préciser quelle est la fréquence de l'évaluation PIRLS ?
Non.
19 Pouvez-vous indiquer quelle organisation pilote l'évaluation PIRLS ?
Non.
Je vais vous proposer une liste d'organisations. Peut-être qu'en voyant la liste cela va vous revenir.… Je suis obligé d'en citer une ?
Non. Il ne s'agit pas d'un jeu de hasard. C'était pour le cas où la liste ait suscité un souvenir.Alors je préfère dire que je ne sais pas.
20 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation TIMSS ?
Non.
21 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation TIMSS ? Merci de préciser l'année de l'évaluation correspondante.
Non.
22 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation TIMSS ?
Non.
23 Pouvez-vous préciser quelle est la fréquence de l'évaluation TIMSS ?
Non.
24 Pouvez-vous indiquer quelle organisation pilote l'évaluation TIMSS ?
Non.
25 Quels sont les objectifs poursuivis par les concepteurs de l'évaluation PISA et les pays participants ?
Je pense que l'idée est de... comment dire... je pense que c'est de là que vient notre socle commun. C'est-a-dire que je pense que l'idée de départ est d'essayer de circonscrire un minimum de base de connaissances et de compétences que des individus, citoyens, doivent pouvoir maîtriser pour avoir une vie sociale de base, ce qui peut amener effectivement, en tout cas c'est comme ça que je me représente les choses, à essayer de définir au niveau européen des socles, c'est-a-dire les incontournables en termes de connaissances, de façon à ce qu'il y ait des convergences dans un certain nombre de pays qui se
171/191
MARDIF Annexes
revendiquent, disons, du même idéal. De façon à ce que les gens aient une espèce de garantie par rapport au niveau de formation, mais que, en plus de ça, il y ait possiblement des passerelles qui puissent s'établir pour les étudiants. En tout cas, je pense que cela peut aussi avoir pour conséquence une espèce d'uniformisation des cursus universitaires. C'est-a-dire qu'à partir du moment où tout le monde à des bases, disons, partagées, on va pouvoir créer des passerelles entre un baccalauréat français, une licence allemande, un mastère anglais, etc. Disons, stabiliser un certain nombre de degrés de connaissances, peut-être pas universitaires, puisque le socle commun n'est pas universitaire, mais en tout cas qu'à différents niveaux reconnus et validés par tous – scolarité obligatoire, baccalauréat, LMD – on ait un certain nombre de choses suffisamment en commun qui permettent des passerelles.
Cela serait un objectif ou une conséquence ?Je ne sais pas. Je pense que c'est peut-être une conséquence. Mais cela me paraît trop bête d'instituer une évaluation lourde et coûteuse simplement pour classer les pays avec un premier et un dernier. A mon avis, il y a plus ambitieux que cela derrière... maintenant, est-ce que c'est ce que je dis, je n'en sais rien.
A votre avis, est-ce que les objectifs de PISA diffèrent de ceux des autres évaluations ?Je pense que oui.
Pourquoi, même si je sais que vous n'avez peut-être pas d'éléments précis par rapport à cela ?Dans la connaissance que j'en ai, on ne teste pas les mêmes choses. Donc, pour moi, les objectifs sont différents... mis pourquoi les objectifs sont-ils différents ?...
Vous semblez en avoir une sorte d'intuition. Il s'agit d'une réponse intuitive ?Oui, c'est une réponse intuitive... car pourquoi faire trois fois la même évaluation, à trois moments différents avec des supports différents si c'est simplement pour classer un premier et un dernier ? A mon avis cela coûte trop cher pour que ça se limite à cela. Mais je ne vois pas d'autres objectifs... est-ce que la conférence de Lisbonne est cachée derrière ? je n'en sais rien.
Concernant plus particulièrement les résultats obtenus par les élèves français à PISA :
26 A votre connaissance, comment ont évolué les résultats de la France aux évaluations internationales au cours des dix dernières années ? Ils se sont nettement améliorés, se sont modérément améliorés, sont restés stables, se sont modérément dégradés, se sont nettement dégradés ?
Pour moi, ils sont restés stables. J'ai le souvenir de résultats qui ont été présentés au moment de la réforme des programmes, en 2008 je crois, où on voyait que cela n'avait pas beaucoup évolué, à quelques places près, et que c'était plutôt les autres pays classés autour de nous qui avaient bougé, mais que nous étions toujours à peu près au niveau du milieu.
Donc, les résultats sont restés stables ?Oui, à ma connaissance, c'est cela.
27 A votre connaissance, comment se situent globalement les résultats de la France à la dernière évaluation PISA, par rapport à la moyenne des pays participants ?
Je pense qu'on est juste au-dessus.
Un peu au-dessus de la moyenne des pays participants ?Un peu au-dessus, oui. Il n'y a pas « un tout petit peu au-dessus ? [rire]
Non...
Voici le classement de la France à l'évaluation PISA 2006. [Remise du document.]
28 Que pensez-vous de ce résultat ?
172/191
MARDIF Annexes
C'est décevant ! [rire] c'est le cri du cœur...
Comment jugez-vous ce résultat ? Comment l'expliquez-vous ?J'ai des hypothèses concernant la culture scientifique et la culture mathématique – parce que c'est mon vécu professionnel – mais qui ne s'appliquent pas à la compréhension de l'écrit et manifestement les problèmes sont les mêmes. Sur la culture scientifique et la culture mathématique, ce n'est pas du tout la culture de nos enseignants. Donc on a un déficit de maîtrise disciplinaire sur ces domaines là et cela ne me choque pas que ce soit la résultante qui soit traduite dans les deux premières colonnes. En revanche, j'ai un peu plus de mal sur la compréhension de l'écrit, où notre public est majoritairement littéraire et devrait normalement réussir à travailler ce domaine là. Il s'avère que ce n'est pas le cas ; c'est embêtant. Donc j'ai des explications pour les sciences et mathématiques, mais je n'ai pas vraiment d'explication, si ce n'est probablement que dans les pratiques on n'est peut-être pas assez fin, pour la compréhension de l'écrit.
Donc l'explication que vous y voyez c'est que notre système éducatif pèche en termes de résultats obtenus parce que......parce que la formation des enseignants est insuffisante, qu'elle soit initiale ou continue, dans les domaines scientifiques au sens très large qui englobera les mathématiques, et puis que, probablement, au niveau de la compréhension de l'écrit, on est trop dans l'implicite et pas assez dans l'explicite. A mon avis, il y a un problème de pratiques ; globalement, en fait, il y a un problème de pratiques, qu'elles soient liées à une discipline a priori maîtrisée ou non maîtrisée.
29 Les résultats obtenus par la France à l'évaluation PISA 2006 vous paraissent-ils conformes au niveau des élèves français ? Tout à fait conformes, plutôt conformes, plutôt pas conformes ou pas du tout conformes ?
Il est très difficile de répondre à ça parce que, en fait, je n'ai comme élément de comparaison que ce que je vois dans les classes, or nous nous arrêtons en fin de primaire. Oui, j'ai du mal à répondre à cela...
Nous reviendrons peut-être un peu plus tard sur cette question.
30 Selon vous, qu'est-ce qui peut expliquer les bons résultats de la Finlande ou du Canada à l'évaluation PISA ?
Je sais que les enseignants finlandais ont une formation disciplinaire bivalente très poussée. Donc ils ont une double compétence, un peu comme avaient nos ex-PEGC, ils ont une double casquette que nous n'avons pas. Nous, nous avons beaucoup de licences de sciences de l'éducation – je n'ai rien contre les sciences de l'éducation – qui ne donnent pas grand chose en termes disciplinaires pour ce qu'on en fait. Voilà ce que j'en sais pour la Finlande. En ce qui concerne le Canada, je ne connais pas trop leur système de formation. Ce que je sais, mais ça ne répond peut-être pas à la question, c'est plutôt que nos élèves français ont des handicaps intrinsèques liés à la formation qui leur est proposée, que n'ont peut-être pas les autres... je ne sais pas.
Quels types de handicaps intrinsèques ?Par exemple, pour avoir suffisamment travaillé sur le calcul mental, je sais que nos élèves pèchent en calcul mental. Et donc ces freins là les empêchent d'accéder à des traitements de l'information de niveau supérieur. Les élèves français sont particulièrement bons dans des problèmes à étapes clairement identifiées. Ils sont particulièrement mauvais, en mathématique, dans les domaines où on doit expérimenter, tenter, fouiller des pistes. Ça, ce sont des choses que nos élèves ne savent pas faire, donc ce sont des freins. C'est plutôt le domaine scientifique qui est mon domaine de formation initial, donc je peux plus facilement répondre là-dessus que sur la compréhension de l'écrit.
Toujours dans la continuité de la même question, vous avez mentionné des raisons de fond, mais pensez-vous qu'il puisse y avoir éventuellement aussi des raisons de forme des évaluations ?De forme de l'évaluation, je ne sais pas parce que je n'ai jamais eu le protocole de PISA entre les mains. Je ne peux rien avancer là-dessus. Est-ce que ce sont des QCM ou non ?... ce qu'il y a de sûr, c'est que nos élèves français ne sont pas habitués aux QCM. D'un autre côté, je vois que les USA sont en-dessous de nous alors qu'ils ont énormément d'évaluations sous forme de QCM, donc j'aurais tendance à dire que, finalement, cette forme là n'entre pas en jeu. Ce que je pense, c'est que nous sommes foncièrement mauvais en évaluation. Nous ne savons pas faire. Je le vois tous les jours.
173/191
MARDIF Annexes
Nous ne savons pas évaluer ?Nous ne savons pas bien évaluer les acquis, les compétences. Je le vois en formation ou en inspection, les enseignants ont un mal de chien à interpréter un résultat. Par exemple – nous sortons des évaluations de CE1 – si un élève ne sait pas faire une soustraction-retenue, où est sa difficulté ? Nos enseignants sont majoritairement incapables de creuser ça. Donc je pense qu'il y a déjà un manque de culture disciplinaire et cela se traduit forcément par un manque d'analyse dans l’évaluation. On n'a pas une culture disciplinaire suffisamment pointue donc on n'est forcément pas assez capable d'évaluer finement, et donc on n'est pas capable d'identifier finement le ressort qu'il faudrait débloquer.
Donc l'évaluation serait un des points faibles parce que l'enseignant n'est pas suffisamment capable de diagnostiquer les points d'achoppement ?Oui. Et de construire l'exercice ou la modalité qui permet de définir si c'est plutôt telle chose ou telle autre. Ça je crois qu'on ne sait pas bien faire. On est trop dans le global, dans le subjectif.
Est-ce qu'il pourrait y avoir des raisons de contexte social ou culturel qui expliquent les bons résultats de la Finlande, du Canada ou d'autres pays ?Les arguments que j'aurais pour la Finlande ne seront pas recevables pour le Canada. Ils fonctionneraient peut-être pour la Corée ou le Japon. Ça ne fait rien ; je peux quand même les citer. Il y a des éléments linguistiques qui font que la Finlande, la Corée, le Japon sont probablement en tête parce que leur langue a sa propre complexité. J'imagine qu'il n'est pas aussi simple de parler finlandais que de parler français. Il est sans doute plus facile de se faire comprendre dans un français ou un anglais approximatif, alors que certaines langues induisent qu'il faut être suffisamment bons pour y arriver. Il ne peut pas y avoir de niveau de maîtrise insuffisant dans ces langues là – c'est du moins l'hypothèse que je fais. Si je prends l'exemple d'un étranger qui arrive, je fais l'hypothèse que l'on peut se débrouiller plus facilement en français, comme nous baragouinons un peu d'anglais ou d'allemand avec plein d'erreurs grammaticales, mais on se fait comprendre. C'est probablement plus difficile – mais je ne connais pas ces langues – en finlandais, en coréen ou en japonais, et donc il faut avoir une bonne maîtrise de ces langues là pour pouvoir...
Ce seraient donc des raisons inhérentes à la structure linguistique de ces pays ?Oui. Ça peut en tout cas être une hypothèse.
31 Selon vous, les solutions adoptées dans les pays qui obtiennent les meilleurs résultats aux évaluations internationales telles que PISA devraient-elles être mises en application en France ?
Ce serait trop simple...
Là encore, j'ai quatre items de départ à vous proposer : « jamais », « généralement non », « oui, certaines », « oui, toutes »« Oui, certaines » mais, premièrement, encore faudrait-il qu'il y ait une diffusion, une analyse et une réflexion de transposition, et je laisse ça à des chercheurs ; deuxièmement – cela renvoie aux paramètres dont je parlais tout-à-l'heure – je pense que les flux d'immigration et les contextes d'intégration ne sont pas les mêmes en Finlande ou en Corée qu'en France. Je ne suis pas sûr que les arméniens, par exemple – j'en ai encore vu deux cet après-midi – viennent plus en Finlande qu'en France... le seul fait que les flux de population ne sont pas les mêmes...
Vous faites référence ici au contexte socio-démographique...On est dans un contexte socio-démographique qui fait que, quoi qu'on en dise on a une histoire d'immigration qui est ce qu'elle est, qui est riche mais qui contient en même temps un certain nombre de causes de ça : maîtrise insuffisante de... – si on m'entendait parler on pourrait croire que je vote Front National, c'est une horreur ce que je raconte [rire] – c'est une des causes, je pense, d'un niveau relativement moyen. On intègre, et c'est très bien comme ça, un certain nombre d'élèves – d'ailleurs, il n'y a pas que des élèves d'origine étrangère, il y des élèves français – qui maîtrisent tellement mal la langue française qu'on se retrouve forcément avec des résultats qui sont ce qu'ils sont.
Donc une hétérogénéité socio-démographique qui se traduit par une hétérogénéité des résultats ?Oui. D'ailleurs, j'aimerais bien aller voir en Finlande comment sont composées les classes. Je n'en ai aucune idée...
174/191
MARDIF Annexes
Vous voyez d'autres éléments, d'autres freins à la transposition des pratiques ?Oui, il y a notre héritage de centralisation étatique, nos modalités de fonctionnement, les principes d'égalité, à la fois dans la gestion de nos personnels et dans les attributions budgétaires. On dit qu'il faut donner plus à ceux qui ont moins, d'accord, mais quand on regarde concrètement la politique des ZEP, malheureusement ils n'ont pas beaucoup plus... J'ai une ZEP dans ma circonscription ; à part des taux d'encadrement légèrement inférieur – et quand je dis légèrement, c'est légèrement, c'est trois élèves de moins par classe, c'est tout – on est loin des affichages initiaux en termes de budget où on disait qu'il faut donner les moyens. Or, les moyens, il n'y en a pas beaucoup plus qu'ailleurs. En tout cas, ce n'est pas perceptible. On a aussi des contradictions dans le discours et dans les actions, et on a ce fameux principe de gestion des personnels encore très centralisée, même si le ministère commence un peu à lâcher la bride là-dessus. J'ai entendu le ministre qui disait que dans certaines zones difficiles les chefs d'établissement pourraient recruter leurs enseignants... Attendons de voir, mais je pense que l'on a un certain nombre de freins en interne.
Structurels, historiques, politiques, si j'ai bien compris...Oui, culturels... de fonctionnement. On le voit bien avec que cette cogestion plus ou moins harmonieuse, à tous les niveaux, entre le ministre et les syndicats les plus représentatifs. Que ce soit au niveau national ou au niveau local, il y a une gestion plus ou moins harmonieuse qui est aussi un frein.
Un frein au changement, à la transposition ?Oui, à la transposition de choses qui marchent ailleurs, oui.
32 Les résultats obtenus par la France aux évaluations internationales telles que PISA, vous ont-ils amené(e) à vous interroger sur vos pratiques professionnelles, en tant qu'inspecteur ?
Oui, parce que, forcément, quand on voit tous ces pays, il n'y a pas de raison que l'on soit plus idiot qu'eux. On voit que, par ailleurs, nous savons faire fonctionner les élites – on a quand même les meilleurs ingénieurs du monde, la meilleure école de mathématiques du monde, un certain nombre de choses qui se mesurent à l'aune de prix internationaux, que ce soit le Nobel ou en termes de publications, sauf le classement de Shangaï, qui est particulièrement incompatible avec nos structures universitaires mais peu importe –, on a un certain nombre de positionnements d'excellence or ces résultats sont évidemment complètement éloignés de ça. L'hétérogénéité se mesure ici, en fait, je pense. Il y a du potentiel qui ne se reflète pas ici et, malheureusement, il faudrait que nous réussissions dans nos pratiques, que ce soit en inspection ou en formation, à initier un certain nombre de déblocages qui permettraient de faire bouger les choses. Mais si on débloque vingt enseignants par an dans un stage de trois semaines, c'est toujours ça de gagné mais ça ne se ressentira pas dans ces résultats. Mais on a toujours envie d'améliorer les choses, c'est évident.
Sur la gradation suivante, quelle réponse choisiriez-vous : cela vous a amené à vous interroger pas du tout, assez peu, assez, beaucoup ?Beaucoup. On se sent concerné par ce rang assez moyen, eu égard à un autre classement d'excellence dont on arrive à être très fier. Il faudrait essayer de concilier la quantité et la qualité. Or la quantité est plutôt située là.
Je vais rebondir sur vos propos et revenir à la question n° 29 : les résultats obtenus par la France à l'évaluation PISA 2006, donc celle-ci, vous paraissent-ils conformes au niveau des élèves français ? Compte tenu de ce que vous venez de dire, je pense que vous allez pouvoir répondre plus facilement à cette question à laquelle vous aviez du mal à répondre tout-à-l'heure...Oui, tout-à-l'heure j'avais du mal à répondre à partir de mon observation quotidienne...
...il me semble que les éléments que vous venez d'apporter y répondent en partie...En partie, mais ce n'est pas satisfaisant non plus. Je ne peux pas répondre tout blanc ou tout noir, ce n'est pas oui ou non, c'est...
Alors, je vous rappelle qu'il y avait une gradation selon quatre items : tout à fait conforme, plutôt conforme, plutôt pas conforme, pas conforme du tout.Je dirais plutôt pas conforme. Plutôt pas conforme par rapport au potentiel que l'on peut développer – en référence aux écoles d'ingénieurs, à Sciences Po, etc. – mais, d'un autre côté, quand je regarde le brassage social que j'ai dans mes écoles, j'aurais aussi tendance à dire « plutôt conforme »,
175/191
MARDIF Annexes
malheureusement. Quand je vois que dans certaines écoles ou dans certaines classes il y a la moitié des élèves qui ne peuvent pas être suivis par leurs parents parce qu'ils en savent déjà plus que leurs parents, parce qu'il n'y a pas de parents, du fait de la situation familiale, etc. Il y a des éléments sociaux qui font que...
En faite, si vous voulez, je peux reformuler la question. Ce que j'essaie de savoir ou de comprendre par cette question là, c'est si vous pensez que les résultats tels qu'ils figurent ici – ce classement – sont conformes au niveau des élèves français, c'est-a-dire que l'on peut s 'appuyer sur ce résultat pour faire un constat, ou si vous pensez que l'on ne peut pas procéder ainsi parce qu'il y a des raisons qui invalident ce classement ou ce résultat. Peut-on prendre ce diagnostic comme un diagnostic fiable et commencer à travailler avec, ou doit-on remettre en cause ce diagnostic, quelles qu'en soient les raisons ?Il y a un diagnostic, je pense qu'il faut l'utiliser. Mais il faut essayer d'en comprendre les raisons et de voir sur quoi on peut jouer.
Donc, la réponse serait « plutôt conforme », alors ? Les résultats vous paraîtraient plutôt conformes au niveau des élèves français ?Oui, ils sont plutôt conformes.
Enfin, je ne veux pas vous influencer... dans l'ensemble......non, non, effectivement, tout bien pensé, j’aurais tendance à dire qu'ils sont conformes. Même s'ils ne sont pas comme j'aurais envie qu'ils soient... parce qu'il n'y a pas de raison qu'on soit en dessous de la République Tchèque... Je pense que ça ne sert à rien de casser le thermomètre... ni essayer de trouver des excuses. Il faut essayer de comprendre les éléments qui sont là et de voir comment on peut avancer et travailler là-dessus.
33 Selon vous, quelle a été l'influence des résultats obtenus par la France aux évaluations internationales telles que PISA sur les réformes conduites par le ministère de l'Éducation nationale depuis dix ans ?
J'ai l'impression que les réformes – en particulier les programmes 2008 – y sont liées en termes de volonté. Je pense que le ministère affiche clairement sa volonté de se situer mieux que ça. Maintenant, en termes de contenu des programmes et sur la manière dont il souhaite que les enseignants les traitent, je ne suis pas du tout convaincu que la façon de faire va aller avec l’objectif annoncé. Il y a un certain nombre de choses qui sont nécessaires. La circulaire de 2007 préconise de refaire du calcul mental et d'avoir des exigences là-dessus, je suis tout à fait d'accord. En revanche, il y a un certain nombre de choses, de mon point de vue en tout cas, où on est très tôt dans la systématisation et où on a abandonné certains éléments qui vont vers la perte de sens pour de l'automatisation de connaissances, qui ne vont peut-être pas dans le bon sens.
Et cela découlerait des résultats des évaluations internationales ?Non. L'objectif de modifier les programmes vers des acquisitions de connaissances plus solides vient de ça, en revanche je pense qu'il y a eu, dans certains cas en particulier, une mauvaise mise en musique de l'objectif initial auquel j'adhère. Mais la déclinaison en programmes et en compétences à travailler va à contre-sens, à mon avis.
D'accord. J'avais quatre items à vous proposer, qui étaient « sans influence », « influence faible », « influence importante », « influence décisive ». Si je comprends bien, vous pensez qu'il y a eu une influence avérée dans......oui, une influence importante dans la philosophie des programmes. En revanche, à mon avis, ils ne se traduisent pas assez vers ce que PISA pointe. Par exemple, en mathématiques, c'est ce que montrait Charnay sur la carte de l'Antarctique qu'il fallait quadriller pour initier soi-même un quadrillage, ce que les élèves français ne savent pas faire, les programmes de 2008 ne permettent pas de développer cette autonomie autour de cette activité principale.
D'accord. Donc vous pensez, en fait, que la traduction du contenu des réformes n'est pas forcément pertinente par rapport à l'objectif poursuivi, mais que le déclenchement de la réforme vient bien des évaluations. C'est bien ça ?Oui, je pense.
176/191
MARDIF Annexes
Donc, l'influence, en ces termes là, serait décisive ou importante ?Importante. Décisive, c'est peut-être exagéré, mais importante oui.
Cette influence vous paraît légitime ?Oui.
Et explicite ?Légitime, oui, parce qu'il est tout à fait légitime de dire que l'on estime que l'on n'est pas à notre niveau et qu'il faut essayer de tout faire pour remonter le niveau, pour toutes sortes de raisons : c'est le plus gros poste de dépenses de la nation ; il y va du niveau des professionnels que l'on va former un jour puisque nous vivons dans une société en mutation où il n'y a plus beaucoup d'emplois de type manœuvre, donc dans laquelle on a de plus en plus d'emplois pour des personnes diplômées, ou tout au moins évolutives, ayant suffisamment de connaissances et de compétences pour passer d'un métier à un autre. Donc il faut forcément élever le niveau de connaissances. Donc, légitime, oui, bien sûr. En revanche, explicite, je pense que c'est non. Ce n'est pas assez explicite. Ce n'est pas dit comme ça. C'est dit en des termes plus, comment dire... je n'ai jamais entendu d'explicitation calme et sereine sur ce genre de choses. C'est toujours dit dans des moments de type programmes électoraux, d'ambitions électorales : « on va faire ça ! ». J'ai l'impression que c'est à ces moments là que c'est dit. Un candidat va dire : « Il faut élever le niveau. On va faire une réforme pour élever le niveau. »
La référence aux évaluations internationales, quant à elle, est-elle explicite dans la formulation ou la justification des réformes ?Non.
Pour vous, il n'y a pas de mention explicite de la raison pour laquelle on met une réforme en place en référence à des évaluations internationales ?Non. Je ne pense pas. On le retrouvera éventuellement dans les considérants de la loi, mais ça en reste là. Je ne pense pas que ce soit l'élément principal de communication qui soit avancé.
34 D'une manière générale, selon vous, les différences (économiques, culturelles, historiques, etc.) d'un pays à l'autre peuvent-elles expliquer les différences de résultats des pays qui participent aux évaluations internationales ? Vous avez déjà abordé le sujet et vous y avez déjà apporté des éléments de réponse. J'ai quatre items à vous proposer : pas du tout, très partiellement, de façon substantielle, de façon décisive ?
Je dirais de façon substantielle.
Est-ce que vous souhaitez développer de nouveaux éléments de réponse compte tenu de ce qui a déjà été dit ?Non. Je pense que je reprendrais les mêmes éléments de réponse... Si, il y a quand même une remarque qui me turlupine depuis tout-à-l'heure. Je regarde le classement sur la compréhension de l'écrit. Il n'y a pas un seul pays anglo-saxon en-dessous de la moyenne ; tous les pays de langue anglo-saxonne sont au-dessus de la moyenne. Je ne sais pas ce que cela veut dire, mais c'est intéressant. D'un autre côté, la langue française est plus difficile que la langue anglaise, puisque nous avons des divergences grapho-phonétiques plus fortes encore que chez les Anglais. Mais je vois que derrière nous, il y a quand même des pays qui ont des langues sans variété grapho-phonétique – un graphème égal un phonème. Je pense à la République Tchèque, à l'Italie, qui sont derrière nous sur ce domaine, à la Russie aussi, bien que la Russie soit un cas peut-être particulier. Mais l'Allemagne, qui a une correspondance grapho-phonétique hyper stricte, est juste au-dessus de nous. Donc ce n'est peut-être pas forcément une bonne explication. En tout cas, le fait qu'il n'y ait pas de pays anglo-saxon sous la moyenne de l'OCDE, ça questionne. Voilà, c'était juste une remarque. Dans la compréhension de l'écrit, est-ce qu'il y a quelque chose par rapport à la structure interne de la langue ? Je ne sais pas... mais c'est intéressant de le constater.
35 Enfin, certains aspects des comparaisons internationales, non abordés précédemment lors de cet entretien, vous paraissent-ils problématiques ?
Non... enfin... les comparaisons internationales comparent des « produits finis », si on peut dire, c'est-à-dire des élèves de 15 ans en fin de scolarité obligatoire, mais qui ne sont pas passés dans les mêmes tuyaux.
177/191
MARDIF Annexes
Or je pense que la façon dont les tuyaux sont faits est importante. C'est comme si on comparait de l'eau du robinet à la sortie de toutes les villes ; je ne suis pas sûr qu'on obtiendrait le même résultat. Et pourtant c'est toujours de l'eau du robinet, ça part d'une source, il y a une station d'épuration probablement entre les deux... voilà, mon image n'est peut-être pas la meilleure mais je sens cela quelque part... Il y a tout ce qu'on ne voit pas en amont, qui ne peut pas être pris en ligne de compte, qui rejaillit sur le résultat brut, sur ce qui sort du système... il y a tellement de paramètres qui jouent... je ne sais pas si les résultats... enfin, ils ne mesurent que ce qu'ils veulent bien mesurer.
Il y a deux choses qui me donnent envie de réagir ou d'approfondir. D'une part, ce vous disiez au départ, qui questionne le principe même des comparaisons en éducation. Alors, peut-on comparer en éducation, à votre avis ?Peut-on comparer ?... Oui, on peut comparer. Mais je pense qu'il faut se doter d'une palette d'outils plus grande. Ça ne peut pas être le seul thermomètre. Donc oui, bien sûr, on peut comparer, mais il faut que l'on ait un certain nombre d'indicateurs, dont celui-là évidemment, mais qu'il y ait plus que ça. On ne peut pas se contenter de ça.
De ce classement ?De ce classement, de ce thermomètre là. Il nous faut des thermomètres quantitatifs, financiers, en termes de flux de population, le classement de Shangaï, le classement des médailles Fields, du Nobel, les 15 % d'élèves qui sortent du système éducatif sans diplôme ni aucune qualification, etc. L'idée est là. Je serais donc assez favorable à la comparaison en éducation, mais pas avec un seul angle de vue.
Vigilance sur la méthodologie, alors ?Oui, déjà, vigilance sur la méthodologie, même si je pense que l'on peut faire confiance au gens qui ont mené cette évaluation. Ils ne l'ont pas faite pour taper un grand coup sur la France. Donc, vigilance sur la méthodologie, forcément, mais je pense aussi...
Plutôt variété des indicateurs...Voilà, variété des indicateurs ! Ne pas se focaliser sur un seul indicateur qui ne veut dire que ce qu'il veut dire.
Quand vous disiez : « ils comparent ce qu'ils veulent comparer », je crois que c'est ce que vous avez dit, est-ce que cela veut dire qu'il y a des enjeux politiques à prendre en compte dans la comparaison en éducation ?…
Ou que les enjeux politiques peuvent interférer avec les résultats ou l’interprétation qui en est faite ?Non, pas interférer. Je pense que ce qui est un petit peu gênant – ça a été le cas pour les programmes 2008 – c'est que les politiques s'emparent de ça pour dire que nous ne sommes pas bons et donc que nous allons faire autrement. Faire autrement, pourquoi pas ? Mais, et cela revient à ce que nous disions tout-à-l'heure, que peut-on aller chercher en Finlande, au Pays-Bas ? Est-ce que tout est transférable ? Essayons de comprendre ! Or, là, j'ai l'impression que ça a permis de passer les programmes 2008 et la réforme au forceps et qu'on n'a pas forcément fait de bonnes choses. On est en train de dire qu'il faut des programmes plus concentrés sur les apprentissages et mieux évaluer les acquis des élèves... on a fait une réforme sur les programmes parce que c'est de la cuisine interne ; personne n'a fait une réforme sur le temps de scolarisation des élèves ! Ça gène beaucoup plus de monde...
C'est volontaire ?Ce n'est pas volontaire ; c'est casse-gueule !
Mais est-ce que vous voulez dire par là qu'il y a une forme d’instrumentalisation des évaluations ?Oui. Oui, les évaluations ont servi à faire passer une réforme de l'école – et je n'en reste qu'à la réforme de l'école. Le problème est que les évaluations ne peuvent pas encore servir d'argument pour rajouter deux semaines à l'année scolaire parce que le lobby du tourisme va tomber sur le ministère, etc. Les programmes, c'est assez faciles. Les jours de la semaine, ce n'est pas trop compliqué, c'est l'association des maires de France... Les programmes, c'est de l'interne. Les parents ne peuvent pas être contre le fait qu'on leur dise : « vos enfants sauront leurs tables de multiplication ; avant ils ne les savaient pas ». En revanche, ramener la semaine française au même niveau que les autres semaines européennes, c'est une
178/191
MARDIF Annexes
gageure un peu plus compliquée à mettre en place et je ne suis pas certain qu'on y arrive. Donc il y a une instrumentalisation dans un sens où on fait ce qui est le plus aisé à faire. Après, la réforme du temps scolaire, la réforme des rythmes, ça va être beaucoup plus compliqué. D'ailleurs, il serait intéressant d'imaginer un ratio qui rapporte ces résultats au nombre d'heures passé en classe. Je pense que l'on remonterait bien dans la hiérarchie puisqu'on a la semaine et l'année les plus courtes. Alors si je veux m'amuser à mesurer l'efficacité des enseignements en France, on va remonter... ces résultats là ramenés au temps de classe, à mon avis on est champion du monde... Vous voyez, il y a toujours moyen d'avoir de l'espoir [rire]. Je pense qu'il y a un certain nombre de pistes à explorer et que ça ne peut pas se suffire à soi-même.
36 Souhaitez-vous rajouter quelque chose à propos des évaluations comparatives internationales ?
Non, je pense avoir à peu près fait le tour.
Je vous remercie.
179/191
MARDIF Annexes
Annexe 9 : Tableau de données
N° Questions thématiques N° d'entretien TotalIndi-ca-teur
Réponses catégorisées 1 2 3 4 5 6 7 8 9 10Variables indépendantes :
1 Fonction (1) DOC PLC PLC DIR PE DIR INS INS PE CPE
2 Établissement (2) CDP CLG CLG LYC EE CLG IEN REC EM CLG
3 Sexe (3) F F F F F F H F F F4 Âge 46 49 37 60 40 52 48 46 36 435 Ancienneté dans la fonction 17 25 15 40 17 17 5 4 11 19
1 Spontanément, quel(s) programme(s) d'évaluation internationale sur les acquis des élèves pouvez-vous citer ? C16 PISA 1 1 1 1 1 1 6 C17 PIRLS 1 1 2 C18 TIMSS 0 C1
2 Compte tenu de vos fonctions, à quel degré vous estimez-vous concerné(e) par les évaluations internationales sur les acquis des élèves ?
I
9 pas concerné du tout 1 1 I10 peu concerné 1 1 2 I11 assez concerné 1 1 1 1 1 5 I12 très concerné 1 1 2 I
3 Selon vous, dans quelle mesure la connaissance des performances des systèmes éducatifs d'autres pays peut-elle permettre d'améliorer son propre système éducatif ?
O1
13 pas du tout 0 O114 assez peu 1 1 1 3 O115 assez 1 1 1 1 4 O116 beaucoup 1 1 1 3 O117 référence aux différences culturelles entre pays comme facteur limitatif 1 1 1 1 1 5 O118 référence aux différences de contexte socio-démographique comme facteur limitatif 1 1 1 1 4 O1
3a La transposition des pratiques est-elle possible ? O119 refus de principe (impossible...) 0 O120 réticence (possible mais difficile...) 1 1 1 3 O121 acceptation conditionnelle (possible sous certaines conditions...) 1 1 1 3 O122 acceptation inconditionnelle (absence d'esprit critique...) 0 O1
180/191
MARDIF Annexes
N° Questions thématiques N° d'entretien Total Indi-ca-teur
Réponses catégorisées 1 2 3 4 5 6 7 8 9 103b Connaître les performances des autres permet de mieux connaître son propre système ? O1
23 réponse positive 1 1 1 1 1 1 6 O124 réponse négative 0 O1
4 Dans l'ensemble, pensez-vous que l'existence d'évaluations comparatives internationales sur les acquis des élèves soit profitable pour les pays participants ?
O1
25 très profitable 1 1 2 O126 plutôt profitable 1 1 1 1 1 1 1 7 O127 peu profitable 1 1 O128 inutile 0 O129 théoriquement profitable mais dans la réalité pas toujours 1 1 1 1 1 5 O130 risque d'enseigner pour les évaluations internationales 1 1 O1
5 Quelles sont vos sources d'informations sur la question des comparaisons internationales ? C631 médias grand public : télévision, radio 1 1 1 1 1 1 6 C632 médias grand public : presse écrite 1 1 1 3 C633 presse spécialisée ou professionnelle 1 1 1 3 C634 milieu professionnel : sources institutionnelles (publications, sites internet, notes, circulaires...) 1 1 1 1 1 1 6 C635 milieu professionnel : sources informelles (collègues, documents d'établissement, bouche-à-oreille...) 1 1 C636 autres sources 1 1 C637 aucune source 1 1 C6
6 A votre avis, les médias grand public relatent les résultats des évaluations internationales de façon : O738 tout à fait suffisante 0 O739 plutôt suffisante 1 1 O740 plutôt insuffisante 1 1 1 1 1 1 1 7 O741 tout à fait insuffisante 1 1 2 O742 ne sait pas 0 O7
7 A votre avis, les médias grand public relatent les résultats des évaluations internationales de façon : O744 tout à fait satisfaisante 0 O745 plutôt satisfaisante 0 O746 plutôt non satisfaisante 1 1 1 1 1 5 O747 pas satisfaisante du tout 1 1 1 1 1 5 O748 ne sait pas 0 O748 critiques formulées : simpliste / focalisation sur le classement 1 1 1 3 O7
181/191
MARDIF Annexes
N° Questions thématiques N° d'entretien Total Indi-ca-teur
Réponses catégorisées 1 2 3 4 5 6 7 8 9 108 A votre avis, la presse spécialisée ou professionnelle relate les résultats des évaluations internationales de façon
(aspect quantitatif) :O7
49 tout à fait suffisante 0 O750 plutôt suffisante 1 1 1 1 1 5 O751 plutôt insuffisante 1 1 1 3 O752 tout à fait insuffisante 1 1 2 O753 ne sait pas 0 O7
9 A votre avis, la presse spécialisée ou professionnelle relate les résultats des évaluations internationales de façon (aspect qualitatif) :
O7
54 tout à fait satisfaisante 0 O755 plutôt satisfaisante 1 1 1 1 1 1 1 7 O756 plutôt non satisfaisante 0 O757 pas satisfaisante du tout 1 1 2 O758 ne sait pas 1 1 O7
10 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PISA ? C259 réponse exacte 1 1 1 3 C260 réponse erronée 1 1 2 C261 ne sait pas 1 1 1 1 1 5 C2
11 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PISA ? C462 réponse exacte ou ordre de grandeur connu (+/- 10) 1 1 2 C463 réponse erronée 1 1 1 1 4 C464 ne sait pas 1 1 1 1 4 C4
12 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PISA ? C365 réponse complète et exacte (cite les 3 domaines) 1 1 2 C366 réponse incomplète mais exacte (cite au moins un domaine) 1 1 C367 réponse partiellement exacte (cite au moins 1 domaine correct mais se trompe sur l'/les autres) 1 1 1 3 C368 réponse erronée (tous les domaines cités sont incorrects) 0 C369 → cite la compréhension de l'écrit (même si la formulation est approximative) 1 1 1 1 4 C370 → cite la culture mathématique (même si la formulation est approximative) 1 1 1 1 4 C371 → cite la culture scientifique (même si la formulation est approximative) 0 C372 → cite les langues vivantes 1 1 C373 → cite la culture générale 1 1 2 C3
182/191
MARDIF Annexes
N° Questions thématiques N° d'entretien Total Indi-ca-teur
Réponses catégorisées 1 2 3 4 5 6 7 8 9 1074 ne sait pas 1 1 1 1 4 C3
13 Pouvez-vous préciser quelle est la fréquence de l'évaluation PISA ? C175 tous les ans 1 1 2 C176 tous les 2 ans 1 1 C177 tous les 3 ans 1 1 2 C178 tous les 4 ans 0 C179 tous les 5 ans 1 1 C180 ne sait pas 1 1 1 1 4 C1
14 Pouvez-vous indiquer quelle organisation pilote l'évaluation PISA ? C481 réponse spontanée exacte 1 1 1 3 C482 réponse spontanée erronée 0 C483 réponse à partir de la liste proposée : ONU 0 C484 réponse à partir de la liste proposée : IAE 1 1 2 C485 réponse à partir de la liste proposée : G20 0 C486 réponse à partir de la liste proposée : FMI 0 C487 réponse à partir de la liste proposée : UNESCO 1 1 C488 réponse à partir de la liste proposée : OCDE 1 1 C489 réponse à partir de la liste proposée : OTAN 1 1 C490 réponse à partir de la liste proposée : Union européenne 1 1 2 C491 réponse à partir de la liste proposée : Conseil de l'Europe 0 C492 réponse à partir de la liste proposée : Banque mondiale 0 C493 ne sait pas 1 1 2 C4
15 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PIRLS ? C294 réponse exacte +1/-1 an 1 1 2 C295 réponse erronée 1 1 C296 ne sait pas 1 1 1 1 1 1 1 7 C2
16 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PIRLS ? C497 réponse exacte ou ordre de grandeur connu (+/- 10) 1 1 C498 réponse erronée 0 C499 ne sait pas 1 1 1 1 1 1 1 1 1 9 C4
17 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PIRLS ? C3100 réponse exacte 1 1 C3
183/191
MARDIF Annexes
N° Questions thématiques N° d'entretien Total Indi-ca-teur
Réponses catégorisées 1 2 3 4 5 6 7 8 9 10101 réponse erronée 1 1 2 C3102 → cite la compréhension de l'écrit 0 C3103 → cite les mathématiques 0 C3104 → cite les sciences 0 C3105 → cite une/les langue(s) vivante(s) 1 1 2 C3106 ne sait pas 1 1 1 1 1 1 1 7 C3
18 Pouvez-vous préciser quelle est la fréquence de l'évaluation PIRLS ? C1107 tous les ans 1 1 C1108 tous les 2 ans 0 C1109 tous les 3 ans 0 C1110 tous les 4 ans 0 C1111 tous les 5 ans 0 C1112 autre réponse 1 1 C1113 ne sait pas 1 1 1 1 1 1 1 1 8 C1
19 Pouvez-vous indiquer quelle organisation pilote l'évaluation PIRLS ? C4114 réponse spontanée exacte 0 C4115 réponse spontanée erronée 1 1 C4116 réponse à partir de la liste proposée : ONU 0 C4117 réponse à partir de la liste proposée : IAE 0 C4118 réponse à partir de la liste proposée : G20 0 C4119 réponse à partir de la liste proposée : FMI 0 C4120 réponse à partir de la liste proposée : UNESCO 1 1 C4121 réponse à partir de la liste proposée : OCDE 0 C4122 réponse à partir de la liste proposée : OTAN 0 C4123 réponse à partir de la liste proposée : Union européenne 1 1 C4124 réponse à partir de la liste proposée : Conseil de l'Europe 0 C4125 réponse à partir de la liste proposée : Banque mondiale 0 C4126 ne sait pas 1 1 1 1 1 1 1 7 C4
20 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation TIMSS ? C2127 réponse exacte 0 C2128 réponse erronée 0 C2129 ne sait pas 1 1 1 1 1 1 1 1 1 1 10 C2
184/191
MARDIF Annexes
N° Questions thématiques N° d'entretien Total Indi-ca-teur
Réponses catégorisées 1 2 3 4 5 6 7 8 9 1021 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation TIMSS ? C4
130 réponse exacte ou ordre de grandeur connu (+/- 10) 0 C4131 réponse erronée 0 C4132 ne sait pas 1 1 1 1 1 1 1 1 1 1 10 C4
22 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation TIMSS ? C3133 réponse complète et exacte (cite les 2 domaines) 0 C3134 réponse incomplète mais exacte (cite au moins un domaine) 0 C3135 réponse partiellement exacte (cite au moins 1 domaine correct mais se trompe sur l'autre) 0 C3136 réponse erronée (tous les domaines cités sont incorrects) 0 C3137 → cite la compréhension de l'écrit 0 C3138 → cite les mathématiques 0 C3139 → cite les sciences 0 C3140 ne sait pas 1 1 1 1 1 1 1 1 1 1 10 C3
23 Pouvez-vous préciser quelle est la fréquence de l'évaluation TIMSS ? C1141 tous les ans 0 C1142 tous les 2 ans 0 C1143 tous les 3 ans 0 C1144 tous les 4 ans 0 C1145 tous les 5 ans 0 C1146 ne sait pas 1 1 1 1 1 1 1 1 1 1 10 C1
24 Pouvez-vous indiquer quelle organisation pilote l'évaluation TIMSS ? C4147 réponse spontanée exacte 0 C4148 réponse spontanée erronée 0 C4149 réponse à partir de la liste proposée : ONU 0 C4150 réponse à partir de la liste proposée : IAE 0 C4151 réponse à partir de la liste proposée : G20 0 C4152 réponse à partir de la liste proposée : FMI 0 C4153 réponse à partir de la liste proposée : UNESCO 1 1 C4154 réponse à partir de la liste proposée : OCDE 0 C4155 réponse à partir de la liste proposée : OTAN 0 C4156 réponse à partir de la liste proposée : Union européenne 1 1 C4157 réponse à partir de la liste proposée : Conseil de l'Europe 0 C4
185/191
MARDIF Annexes
N° Questions thématiques N° d'entretien Total Indi-ca-teur
Réponses catégorisées 1 2 3 4 5 6 7 8 9 10158 réponse à partir de la liste proposée : Banque mondiale 0 C4159 ne sait pas 1 1 1 1 1 1 1 1 8 C4
25 Quels sont les objectifs poursuivis par les concepteurs de l'évaluation PISA et les pays participants ? Diffèrent-ils de ceux relatifs aux autres évaluations ?
C6
160 réponse spontanée : mentionne l'objectif opérationnel « évaluer les acquis des élèves » 1 1 1 3 C6161 réponse spontanée : mentionne l'objectif opérationnel « classer les pays en fonction de leurs performances » 1 1 1 1 4 C6162 réponse spontanée : mentionne l'objectif opérationnel « identifier les bonnes pratiques » 1 1 1 1 1 5 C6163 réponse spontanée : mentionne un objectif politique au-delà de l'objectif opérationnel 1 1 2 C6164 réponse spontanée : mentionne un objectif économique au-delà de l'objectif opérationnel 1 1 C6165 réponse spontanée : mentionne un objectif éducatif au-delà de l'objectif opérationnel 1 1 2 C6166 mentionne un objectif politique au-delà de l'objectif opérationnel, après question 1 1 1 3 C6167 mentionne un objectif économique au-delà de l'objectif opérationnel, après question 1 1 1 3 C6168 mentionne un objectif éducatif au-delà de l'objectif opérationnel, après question 0 C6169 envisage une différenciation entre les objectifs de PISA et ceux des autres évaluations internationales 1 1 1 1 1 5 C6
26 A votre connaissance, comment ont évolué les résultats de la France aux évaluations internationales au cours des dix dernières années ?
C5
170 se sont nettement améliorés 0 C5171 se sont modérément améliorés 0 C5172 sont restés stables 1 1 1 3 C5173 se sont modérément dégradés 1 1 1 1 1 1 1 7 C5174 se sont nettement dégradés 0 C5175 ne sait pas 0 C5
27 A votre connaissance, comment se situent globalement les résultats de la France à la dernière évaluation PISA, par rapport à la moyenne des pays participants ?
C5
176 très au-dessus de la moyenne des pays participants 0 C5177 un peu au-dessus de la moyenne des pays participants 1 1 1 3 C5178 dans la moyenne des pays participants 1 1 C5179 un peu en dessous de la moyenne des pays participants 1 1 1 3 C5180 très en dessous de la moyenne des pays participants 1 1 C5181 ne sait pas 1 1 2 C5
28a Que pensez-vous de ce résultat ? Comment jugez-vous ce résultat ? O3182 exprime de l'étonnement 1 1 1 1 1 5 O3183 exprime un doute sur la validité des résultats 0 O3
186/191
MARDIF Annexes
N° Questions thématiques N° d'entretien Total Indi-ca-teur
Réponses catégorisées 1 2 3 4 5 6 7 8 9 10184 exprime de l'inquiétude 1 1 1 1 4 O3185 exprime un questionnement sur les causes 1 1 1 3 O3
28b Comment l'expliquez-vous ? O3186 mentionne spontanément des raisons de fond endogènes au système éducatif : pédagogie/système éducatif peu
performants1 1 1 1 1 1 6 O3
187 mentionne spontanément des raisons de forme endogènes au système éducatif : pédagogie/système d'évaluation nationale éloignés de la logique de l'évaluation PISA
1 1 1 3 O3
188 mentionne spontanément des raisons exogènes au système éducatif : culturelles/linguistiques 1 1 1 3 O3189 mentionne spontanément des raisons exogènes au système éducatif : socio-démographiques 1 1 2 O3190 mentionne spontanément des raisons exogènes au système éducatif : politiques/historiques 1 1 O3191 mentionne spontanément des raisons exogènes au système éducatif : méthodologie PISA 0 O3192 mentionne après question des raisons de fond endogènes au système éducatif : pédagogie/système éducatif peu
performants0 O3
193 mentionne après question des raisons de forme endogènes au système éducatif : pédagogie/système d'évaluation nationale éloignés de la logique de l'évaluation PISA
0 O3
194 mentionne après question des raisons exogènes au système éducatif : culturelles/linguistiques 0 O3195 mentionne après question des raisons exogènes au système éducatif : socio-démographiques 1 1 O3196 mentionne après question des raisons exogènes au système éducatif : politiques/historiques 0 O3197 mentionne après question des raisons exogènes au système éducatif : méthodologie PISA 0 O3
29 Les résultats obtenus par la France à l'évaluation PISA 2006 vous paraissent-ils conformes au niveau des élèves français ?
O3
198 tout à fait conformes 0 O3199 plutôt conformes 1 1 1 1 1 1 6 O3200 plutôt pas conformes 1 1 1 3 O3201 pas du tout conformes 0 O3202 ne sait pas 1 1 O3
30 Selon vous, qu'est-ce qui peut expliquer les bons résultats de la Finlande ou du Canada à l'évaluation PISA ? O3203 mentionne spontanément des raisons de fond endogènes au système éducatif : pédagogie/système éducatif plus
performants1 1 1 1 1 1 1 1 1 9 O3
204 mentionne spontanément des raisons de forme endogènes au système éducatif : pédagogie/système d'évaluation nationale plus proche de la logique de l'évaluation PISA
0 O3
205 mentionne spontanément des raisons exogènes au système éducatif : culturelles/linguistiques 1 1 1 1 4 O3206 mentionne spontanément des raisons exogènes au système éducatif : socio-démographiques 1 1 1 3 O3207 mentionne spontanément des raisons exogènes au système éducatif : politiques/historiques 1 1 O3
187/191
MARDIF Annexes
N° Questions thématiques N° d'entretien Total Indi-ca-teur
Réponses catégorisées 1 2 3 4 5 6 7 8 9 10208 mentionne spontanément des raisons exogènes au système éducatif : économiques 1 1 2 O3209 mentionne après question des raisons de fond endogènes au système éducatif : pédagogie/système éducatif plus
performants0 O3
210 mentionne après question des raisons de forme endogènes au système éducatif : pédagogie/système d'évaluation nationale plus proche de la logique de l'évaluation PISA
1 1 2 O3
211 mentionne après question des raisons exogènes au système éducatif : culturelles/linguistiques 1 1 1 3 O3212 mentionne après question des raisons exogènes au système éducatif : socio-démographiques 0 O3213 mentionne après question des raisons exogènes au système éducatif : politiques/historiques 0 O3
31 Selon vous, les solutions adoptées dans les pays qui obtiennent les meilleurs résultats aux évaluations internationales telles que PISA devraient-elles être mises en application en France ?
O2
214 jamais 0 O2215 généralement non 0 O2216 oui, certaines 1 1 1 1 1 1 1 1 1 9 O2217 oui, toutes 0 O2218 ne sait pas 1 1 O2219 → freins à la transposition : contexte culturel, historique, politique... 1 1 1 1 1 1 O2220 → freins à la transposition : contexte économique (moyens matériels/financiers) 1 1 1 O2221 → freins à la transposition : contexte socio-démographique (hétérogénéité des classes) 1 O2
32 Les résultats obtenus par la France aux évaluations internationales telles que PISA, vous ont-ils amené(e) à vous interroger sur vos pratiques professionnelles ?
I
222 pas du tout 1 1 2 I223 assez peu 1 1 1 3 I224 assez 1 1 2 I225 beaucoup 1 1 1 3 I
33 Selon vous, quelle a été l'influence des résultats obtenus par la France aux évaluations internationales telles que PISA sur les réformes conduites par le ministère de l'Éducation nationale depuis dix ans ?
O1
226 sans influence 1 1 O1227 influence faible 1 1 2 O1228 influence importante 1 1 1 1 1 5 O1229 influence décisive 1 1 O1230 ne sait pas 1 1 O1231 lien envisagé entre réformes et évaluations internationales : socle commun de connaissances et de compétences 1 1 1 O1232 lien envisagé entre réformes et évaluations internationales : approche par compétences 1 1 O1
188/191
MARDIF Annexes
N° Questions thématiques N° d'entretien Total Indi-ca-teur
Réponses catégorisées 1 2 3 4 5 6 7 8 9 10233 lien envisagé entre réformes et évaluations internationales : langues vivantes 1 1 O1
33a Cette influence est-elle légitime ? O1234 oui 1 1 1 1 1 5 O1235 non 0 O1
33b Cette influence est-elle explicite ? O1236 oui 0 O1237 non 1 1 1 1 4 O1
34 D'une manière générale, selon vous, les différences (économiques, culturelles, historiques, etc.) d'un pays à l'autre peuvent-elles expliquer les différences de résultats des pays qui participent aux évaluations internationales ?
O2
238 pas du tout 0 O2239 très partiellement 0 O2240 de façon substantielle 1 1 1 1 1 1 1 7 O2241 de façon décisive 1 1 1 3 O2242 ne sait pas 0 O2
35 Enfin, certains aspects des comparaisons internationales, non abordés précédemment lors de cet entretien, vous paraissent-ils problématiques ?
O2
35a Le principe de la comparaison en éducation pose-t-il problème ? O2243 argumentaire d'invalidité de toute comparaison en éducation 0 O2244 argumentaire de validité conditionnelle (nécessite certaines précautions/conditions) 1 1 1 3 O2245 pas d'argumentaire contradictoire, acceptation de principe 1 1 1 3 O2
35b La méthodologie de la comparaison est-elle problématique ? O2246 évoque la complexité méthodologique des mesures comparatives psychométriques 0 O2247 argumentaire général de questionnement / vigilance 1 1 1 1 1 5 O2248 pas d'argumentaire contradictoire ou confiance vis-à-vis du maître d'oeuvre 1 1 O2
35c Les enjeux politiques peuvent-ils interférer et invalider les résultats des comparaisons ? O2249 argumentaire général de questionnement / vigilance 1 1 2 O2250 mentionne spécifiquement l'instrumentalisation possible ou effective des comparaisons internationales par le politique 1 1 O2251 pas d'argumentaire contradictoire, absence de questionnement 1 1 1 1 4 O2252 refus de répondre ou argumentaire d'évitement 0 O2
36 Souhaitez-vous rajouter quelque chose à propos des évaluations comparatives internationales ? ODonnées transversales (toutes questions confondues) O
253 référence spontanée aux bonnes performances de la Finlande ou des pays d'Europe du Nord 1 1 1 3 O
189/191
MARDIF Annexes
N° Questions thématiques N° d'entretien Total Indi-ca-teur
Réponses catégorisées 1 2 3 4 5 6 7 8 9 10254 référence aux différences culturelles entre pays comme facteur limitatif 1 1 1 1 1 5 O255 référence au socle commun de connaissances et de compétences 1 1 2 O256 référence à l'approche par compétences de PISA 1 1 O257 référence aux biais de méthodologie (proximité éval. nat/intern, conditions de passation des épreuves...) 1 1 1 1 1 5 O258 argumentaire anti-comparaison pour des raisons idéologiques ou philosophiques 1 1 1 3 O
(1) Fonction : CPE = conseiller d'éducation ; DIR = personnel de direction ; DOC = prof. documentaliste ; INS = personnel d'inspection ; PE = prof. des écoles ; PLC = prof. de lycée/collège(2) Établissement : CLG = collège ; CDP = centre dép. de doc. pédagogique ; EE = école élémentaire ; EM = école maternelle ; IEN = inspection de l'Éducation nationale ; LYC = lycée ; REC = rectorat(3) Sexe : F = femme ; H = hommeNB : Relances complémentaires Xa, Xb, etc. : faites à partir de l'entretien n° 5
190/191
Emmanuel KERGALL
TITRE : Impact des comparaisons internationales sur les politiques éducatives.La réception des évaluations comparatives internationales sur les acquis des élèves par les personnels de l'Éducation nationale en France : enquête exploratoire auprès d'un échantillon pluri-catégoriel
Résumé :
Après une brève mise en perspective historique, il est proposé en première partie une description des principaux programmes d’évaluations internationales sur les acquis des élèves, avec une attention particulière pour les enquêtes de l'IEA et de l'OCDE. Y sont également analysées les difficultés conceptuelles liées aux instruments psychomé-triques utilisés dans ce type d'évaluations comparatives, ainsi que les enjeux politiques de telles études, notamment les conséquences implicites des choix méthodologiques opérés et les risques d'obstruction du débat démocratique sur l'école et de changement de paradigme en termes de finalités éducatives.
La deuxième partie est consacrée à une recherche exploratoire, réalisée au moyen d'en-tretiens semi-directifs, sur la réception des comparaisons internationales par les personnels de l'Éducation nationale en France. Cette recherche a mis en évidence une connaissance souvent très limitée des programmes d’évaluations internationales exis-tants et, plus crucial, des enjeux sous-jacents et changements qu'une telle approche comparatiste pouvait introduire dans les systèmes éducatifs nationaux. L'impact de ces enquêtes sur les personnes interviewées s'est avéré globalement faible. Bien que ces premiers résultats restent à confirmer, ils posent sans doute la question de la formation et de l'information des professionnels de l'éducation relativement à ces outils.
Mots-clés : comparaisons internationales, évaluations, politiques éducatives, PISA, PIRLS, OCDE, IAE, organisations internationales