Éducation

PISA, ce thermomètre qu'on prend pour un verdict

À l'approche des résultats du cycle 2025, le débat sur le « déclin scolaire » reprend partout. Mais que mesure réellement l'enquête de l'OCDE — et que peut-on honnêtement en conclure?

PISA, ce thermomètre qu'on prend pour un verdict

Tous les trois ans, le même scénario se rejoue. Une enquête internationale livre ses chiffres, les manchettes annoncent l'effondrement d'une génération, les éditorialistes désignent des coupables — les enseignants, les parents, les écrans, rarement les politiques publiques — et, six semaines plus tard, tout le monde passe à autre chose. Les Cahiers pédagogiques le notaient dans leur revue de presse : ce serait un marronnier si le sujet ne suscitait pas autant de réactions et d'analyses de « yakafokons parfois lunaires ».

Le cycle 2025 du Programme international pour le suivi des acquis des élèves (PISA) ne dérogera pas à la règle. Avant même que l'ensemble des données de l'OCDE soit digéré, la discussion est déjà cadrée : nos adolescents décrochent-ils? Et si oui, de quoi exactement? Vaut-il la peine de s'y arrêter avant que le classement ne devienne un argument de campagne dans une vingtaine de pays.

Ce que PISA mesure, exactement

PISA n'évalue pas un programme scolaire. C'est sa force et sa limite. Lancée en 2000 et menée tous les trois ans — avec un décalage exceptionnel en 2022, pandémie oblige —, l'enquête cible des jeunes de 15 ans, peu importe le niveau où ils se trouvent, et mesure leur capacité à mobiliser des connaissances dans des situations inédites : comprendre un texte argumentatif, interpréter un graphique, raisonner sur un phénomène scientifique.

Concrètement, chaque pays tire un échantillon d'au moins 150 établissements et de quelques milliers d'élèves. Personne ne répond à toutes les questions : les carnets d'épreuves sont pivotés, et les scores nationaux sont ensuite reconstitués statistiquement. Autrement dit, le fameux « score de 480 en mathématiques » n'est pas une moyenne de copies, c'est une estimation issue d'un modèle. Elle est accompagnée d'une marge d'erreur que les palmarès escamotent presque systématiquement, alors qu'elle suffit souvent à rendre non significatifs des écarts de trois ou quatre rangs.

Le cycle 2025 ajoute une pièce au casse-tête : en plus des trois domaines habituels, il comporte une évaluation de l'apprentissage dans le monde numérique, exercice inédit dont les résultats seront, par construction, impossibles à comparer à quoi que ce soit d'antérieur. Prudence donc devant toute lecture en termes de tendance.

Le « déclin » : ce que les données autorisent à dire

Il y a bel et bien un fait dur, et il n'est pas mince. Le cycle 2022 avait enregistré la baisse la plus marquée de l'histoire de l'enquête dans les pays de l'OCDE : de l'ordre d'une quinzaine de points en mathématiques et d'une dizaine en lecture par rapport à 2018. L'ampleur du recul, sa simultanéité dans des systèmes éducatifs très différents et le fait qu'il ait touché aussi bien les élèves favorisés que défavorisés ont marqué les esprits. Le site Innovation Pédagogique, qui revient sur la question, rappelle ce point capital : quand la baisse frappe tout le monde, les explications purement pédagogiques — telle réforme, telle méthode de lecture — perdent beaucoup de leur pouvoir explicatif.

En revanche, ce que PISA ne permet pas d'établir, c'est la cause. L'enquête est transversale : elle photographie des cohortes différentes à des moments différents, elle ne suit pas les mêmes élèves. Elle ne dit donc pas si le recul vient des fermetures d'écoles, de la pénurie d'enseignants qualifiés, de l'évolution des usages numériques, de la composition démographique des cohortes, ou de tout cela à la fois dans des proportions variables selon les pays. Attribuer une baisse de dix points à une réforme précise relève de l'interprétation, pas de la mesure.

Même la conversion la plus répandue — « vingt points, c'est une année de scolarité » — est une règle du pouce héritée de comparaisons anciennes, que l'OCDE elle-même assortit de réserves. Elle est pourtant devenue le principal outil de dramatisation du débat public.

Les palmarès contre les inégalités

Le plus gros angle mort du classement, c'est qu'une moyenne nationale additionne des réalités sociales incomparables. Or PISA collecte précisément les données qui permettraient de le voir : l'indice de statut économique, social et culturel des familles. Dans les pays de l'OCDE, l'écart de performance en mathématiques entre le quart des élèves les plus favorisés et le quart des plus défavorisés avoisine 90 points — soit, avec la règle du pouce, l'équivalent de plusieurs années de scolarité, à l'intérieur d'un même pays.

Autrement dit : deux systèmes peuvent afficher la même moyenne tout en n'ayant rien à voir, l'un concentrant ses faiblesses sur une minorité d'établissements ségrégués, l'autre répartissant les écarts plus également. C'est cette information — la part de la variance expliquée par l'origine sociale, la ségrégation entre écoles, la proportion d'élèves « résilients » — qui est la plus utile aux décideurs, et c'est exactement celle qui disparaît dans un tableau à trois colonnes.

La question de la représentativité complique encore les comparaisons. La Chine n'a jamais participé comme pays : en 2018, ses résultats spectaculaires provenaient de quatre entités seulement — Pékin, Shanghai, le Jiangsu et le Zhejiang. Les règles de l'enquête plafonnent les exclusions d'élèves à 5 %, mais les taux de scolarisation à 15 ans varient énormément d'un pays à l'autre : là où une partie des adolescents a déjà quitté l'école, la population testée est mécaniquement plus sélective. L'OCDE a d'ailleurs dû retirer ou signaler des données nationales par le passé, comme les résultats espagnols en lecture en 2018, invalidés en raison de patrons de réponses invraisemblables.

Une mesure faite par des adolescents qui n'ont rien à y gagner

Dès 2014, une centaine de chercheurs signaient une lettre ouverte au responsable de l'enquête à l'OCDE, Andreas Schleicher, dénonçant l'effet du cycle triennal sur les politiques éducatives : une pression à la réforme de court terme, alignée sur ce qui est mesurable. Des statisticiens, dont le Danois Svend Kreiner, ont pour leur part montré que le rang d'un pays pouvait bouger sensiblement selon les choix de modélisation retenus.

S'ajoute un facteur banal et rarement discuté : PISA est un test sans enjeu pour l'élève. Aucune note, aucun diplôme, deux heures d'épreuves et des questionnaires. Des expériences contrôlées ont montré que la motivation et l'effort influencent les résultats, et rien ne garantit que cette disposition soit stable dans le temps ni identique d'un pays à l'autre.

Ce que le classement ne verra jamais

Pendant que l'on compare des moyennes, l'essentiel se joue souvent hors champ. The Conversation publiait récemment une analyse de l'évolution de l'absentéisme chronique en maternelle au Canada après la pandémie, phénomène observé aussi aux États-Unis et en Europe : des enfants qui manquent un jour sur dix dès l'entrée à l'école. Aucun test administré à 15 ans ne capte ce mécanisme-là, pourtant décisif.

Même chose pour les objets culturels. Dans un entretien au Café pédagogique, la chercheuse Marine Doinel résume une position qui tranche avec la panique ambiante : les pratiques de lecture des adolescents « ne s'effondrent pas, elles se transforment ». Les supports, les formats et les circuits de recommandation changent; un test de compréhension écrite sur écran en mesure une tranche, pas l'ensemble.

Et dans plusieurs pays, le rapport triennal n'apprend plus rien à ceux qui sont dans les classes. « Les enseignants n'ont pas besoin d'un rapport PISA » pour savoir dans quel état se trouve le système éducatif mexicain, écrivait ainsi la revue Educación Futura, qui rappelle le coût de l'exercice et l'absence de suites politiques depuis 2000.

Comment lire le prochain classement

PISA reste l'un des rares instruments permettant de comparer, sur deux décennies, la capacité de dizaines de systèmes à faire progresser tous leurs élèves. Le problème n'est pas l'enquête : c'est l'usage qu'on en fait. Trois réflexes valent mieux qu'un palmarès. Regarder l'intervalle de confiance avant le rang. Regarder la dispersion et le gradient social avant la moyenne. Et regarder qui a été testé — taux de couverture, exclusions, entités participantes — avant de comparer quoi que ce soit.

Le reste — la recherche du coupable en quarante-huit heures — relève du rituel médiatique, pas de la mesure.