La publication des résultats de l’étude Pisa 2015 a provoqué soupirs de soulagement, sauts de joie, mais le plus souvent grognements indignés de Luxembourg à Washington en passant par Berne ou Madrid.

Peu de pays se sont en effet montrés satisfaits de leur place dans le classement. Si le Luxembourg ne parvient toujours pas à atteindre la moyenne de l’OCDE en 15 ans de participation, d’autres capitales s’offusquent de ne pas figurer plus haut dans le classement dominé par les pays asiatiques (Singapour, Hong Kong, la Corée du Sud, le Japon et Taïwan). Premier pays européen, la Finlande n’arrive que 6^e, devant l’Estonie, la Suisse et les Pays-Bas. Londres, Berlin, Washington ou encore Paris ne figurent pas dans le top 10.

Les résultats globaux, qui montrent une inflexion des performances dans l’ensemble de l’OCDE, conduisent certains à remettre en question la méthodologie utilisée pour l’étude menée en 2015. Les enseignants suisses ont été les premiers à monter au créneau mardi, fustigeant la modification de la composition de l’échantillon des élèves mis à l’épreuve «d’une manière qui ne s’explique pas par des changements démographiques», rapporte le quotidien Le Temps. Au point qu’«il n’est pas possible d’interpréter de manière détaillée les données concernant la Suisse». Le Temps rapporte ainsi que le pourcentage d’élèves allophones dans l'échantillon suisse de 2015 est supérieur de 10 points à celui de 2012, sans aucun lien avec l'évolution démographique sur cette période. Une vingtaine de pays voient ainsi leur score fortement décliner sans aucune autre raison que ce changement de paramètre.

Ce qui amène le Syndicat des enseignants romands à juger que «les résultats suisses de Pisa 2015 ne peuvent être comparés ni avec les résultats suisses du cycle Pisa 2000-2012 ni avec les résultats Pisa actuels en 2015 des autres pays de l’OCDE, ce qui est très ennuyant et peu professionnel».

Une méthodologie largement décriée

Le passage à l’informatique est aussi épinglé par le ministre de l’Éducation nationale luxembourgeois, Claude Meisch, dans son préambule au rapport national sur les résultats de Pisa 2015 publié mardi. «Le remplacement complet et rapide du support papier par un test informatisé ne fait pas l’unanimité parmi les pays membres de l’OCDE qui participent à l’étude», relève-t-il. «Beaucoup d’entre eux, dont le Luxembourg, considèrent surtout les données et résultats de l’édition 2015 de façon critique.» Un commentaire qui prête à sourire lorsqu’on sait que l’informatisation des épreuves est un pur produit luxembourgeois, puisqu’elle a été développée par le List.

De fait, ce n'est pas le format électronique lui-même mais le passage d'une épreuve écrite à une épreuve informatique qui pose problème. Le format informatique laisse la possibilité à des exercices différents par rapport au questionnaire papier. Ensuite, la durée de l'examen a été réduite. Enfin - et cela n'est pas anodin -, le questionnaire électronique ne permet pas aux élèves de choisir l'ordre dans lequel ils vont répondre aux questions. Impossible donc pour les élèves de commencer par les exercices les plus faciles pour se concentrer ensuite sur les plus complexes. Ni même, et c'est plus problématique, de revenir sur une réponse donnée. Ce qui explique que la Conférence des directeurs cantonaux de l’instruction publique suisse estime que «le passage au test par ordinateur représente un changement radical, qui pose de nombreuses questions sur le plan scientifique».

Une source du ministère de l'Éducation nationale évoque encore la promesse non tenue par l'OCDE de tenir compte du pré-test de 2014 destiné à évaluer les différences de résultats entre questionnaire papier et questionnaire informatique. Un pré-test qui aurait justement permis de corriger les résultats de l'étude 2015.

Au final, c'est bien la comparabilité dans le temps qui est compromise par ce changement de paramètres. Comment juger de l'évolution des performances des élèves d'une étude à l'autre si l'échantillon et le mode d'examen sont radicalement différents? La Suisse, habituellement placide sur le terrain international, a même décidé de ne pas présenter publiquement de rapport national, tandis que ses enseignants envoyaient une lettre ouverte au secrétaire général de l'OCDE, Angel Gurria, reprenant leurs griefs.

Derrière des résultats discutés, un débat de fond validé

Si l’étude froisse certaines fiertés nationales, la plupart reconnaissent en revanche qu’elle engage à une réflexion de fond sur le lien très étroit entre l’environnement socio-économique des élèves et leurs performances, alors que le rôle de l’école est justement de compenser les différences afin que chacun ait les mêmes chances de réussir. Un raisonnement qui ressort des analyses dans des pays aussi divers que l’Australie ou encore la France.

C’est également l’enseignement que veut tirer Claude Meisch de cette étude, comme il le répétait mercredi matin dans un tweet.

<blockquote class="twitter-tweet" data-lang="fr"><p lang="de" dir="ltr"><a href="https://twitter.com/hashtag/PISA?src=hash">#PISA</a>: Eenheetsmodell as Auslaafmodell. Lëtzebuerg brauch ënnerschiddlech Schoule fir ënnerschiddlech Schüler. Brauche mir awer nach PISA?</p>&mdash; Claude Meisch (@MeischClaude) <a href="https://twitter.com/MeischClaude/status/806272421611393024">6 décembre 2016</a></blockquote>

<script async src="//platform.twitter.com/widgets.js" charset="utf-8"></script>

En français: «Le modèle unique est un modèle en fin de série. Le Luxembourg a besoin d’écoles différentes pour des élèves différents. Avons-nous encore besoin de Pisa?»

Et de mettre en avant la réflexion déjà menée au Luxembourg à travers le Lucet (Luxembourg Centre for Educational Testing), opérationnel depuis juillet 2014 et qui a pour mission d’évaluer les performances et acquis des élèves tout au long de leur carrière scolaire afin de produire une base de données alimentée sur le long terme.

Interrogé sur l'étude Pisa à la Chambre mercredi, Claude Meisch a encore souligné que le Luxembourg ne pouvait de toute façon pas être comparé à d'autres pays, mais plutôt à d'autres régions. Sa forte immigration et la répartition particulière de l'enseignement entre les langues officielles rendent d'emblée toute comparaison malvenue. Le ministre a de ce fait évoqué de potentielles discussions avec l'OCDE afin de définir des critères plus pertinents pour le Grand-Duché. Ce qui poserait encore une fois la question de la comparabilité avec les autres pays...