GPT‑6 Astra a résolu 99,9% des tâches du benchmark ARC‑AGI‑3 avec le dispositif optimisé par OpenAI. Évalué avec l’outil standard du même test, le modèle n’en réussit plus que 62,7%. Entre ces deux scores se loge toute la difficulté de prouver que l’intelligence artificielle générale est arrivée.
Lors du lancement de GPT‑6 Astra, le 3 septembre, le président d’OpenAI, Greg Brockman, a estimé que les années à venir pourraient désigner ce modèle comme le moment où l’intelligence artificielle générale, ou AGI, a véritablement été créée. L’expression désigne, sans définition scientifique unanimement admise, une intelligence artificielle capable d’apprendre, de raisonner et de s’adapter à une grande diversité de tâches.
Pour étayer cette ambition, OpenAI a publié une série de résultats spectaculaires. Astra aurait notamment atteint 99,9% sur ARC-AGI-3, un test conçu pour mesurer la capacité d’un système à acquérir de nouvelles compétences dans des environnements abstraits inconnus. Le modèle a également affiché des performances élevées en mathématiques, en cybersécurité, en programmation et dans l’utilisation autonome de logiciels.
Mais le score d’ARC-AGI-3 a été obtenu avec un «Provider Adapter», une couche logicielle propriétaire optimisée pour le modèle. Avec le dispositif standard du benchmark, le résultat tombe à 62,7%. La fondation ARC Prize précise elle-même que la saturation de son test ne prouverait pas l’existence d’une intelligence artificielle générale: ses puzzles fermés et déterministes ne reproduisent pas la complexité ouverte du monde réel.
Le «benchmaxxing», nouvelle religion des gourous de la tech
Cette controverse donne une actualité particulière aux travaux de Stella Wohnig. La chercheuse postdoctorale de l’Université du Luxembourg a cosigné avec 15 autres chercheurs le papier «Benchmarking is Broken – Don’t Let AI be its Own Judge», présenté à la conférence NeurIPS 2025. Elle travaille aujourd’hui au sein du groupe Cryptographic Protocols de la Faculté des sciences, des technologies et de médecine.
Le texte ne porte pas sur GPT‑6 Astra, lancé près d’un an plus tard. Il attaque cependant le mécanisme central utilisé pour en faire un événement historique: la publication de scores records par l’entreprise qui développe elle-même le modèle. Les auteurs décrivent un «Far West» de l’évaluation. Les jeux de questions publics peuvent avoir été absorbés dans les données d’entraînement, permettant au modèle de restituer des réponses déjà rencontrées plutôt que de résoudre un problème nouveau. Les développeurs peuvent sélectionner les tests les plus favorables, ajuster les instructions, multiplier les tentatives ou consacrer davantage de puissance de calcul à une évaluation jusqu’à obtenir le meilleur résultat possible.
Cette pratique a désormais un nom dans l’industrie: le «benchmaxxing». Elle consiste à modifier les prompts, l’environnement logiciel ou les ressources accordées au modèle pour rechercher un pic de performance. Le score obtenu renseigne alors sur ce que le système peut accomplir dans des conditions de laboratoire optimisées, beaucoup moins sur sa fiabilité immédiate pour un utilisateur ou une entreprise.
Les auteurs pointent aussi l’absence de règles communes. Chaque benchmark peut employer ses propres données, méthodes de notation et logiciels d’exécution. Certains tests vieillissent jusqu’à devenir prévisibles; d’autres restent propriétaires et donc impossibles à auditer. Des résultats produits dans ces conditions ne permettent pas toujours de comparer deux modèles ni de reproduire les affirmations de leurs concepteurs.
L’écart apparaît déjà dans les évaluations d’Astra. Selon les résultats compilés par Artificial Analysis, le nouveau modèle est resté à 61 points sur son indice général d’intelligence, soit le même niveau que GPT‑5.6 Sol. Il a également reculé dans le classement relatif d’un test portant sur des tâches professionnelles exercées dans 44 métiers. Des régressions ont été relevées dans le service à la clientèle, la programmation scientifique en Python et le traitement de longs documents.
Le projet PeerBench plus fiable
Astra n’est pas pour autant un modèle sans progrès. Les évaluations externes confirment notamment une amélioration substantielle de son efficacité dans certaines tâches de programmation. Mais ces avancées sectorielles ne démontrent pas qu’une intelligence générale comparable à celle d’un humain a été atteinte.
L’étude cosignée par Stella Wohnig propose de remplacer l’accumulation de classements par une évaluation continue, contrôlée et gouvernée collectivement. Son projet PeerBench prévoit des tests conservés secrets pendant leur utilisation, renouvelés régulièrement, exécutés dans un environnement fermé puis rendus publics pour permettre leur audit. Les résultats seraient ainsi moins exposés à la mémorisation, aux ajustements opportunistes et à la sélection des seuls scores avantageux.
Les auteurs comparent ce dispositif aux examens humains à forts enjeux, dont les questions sont sécurisées, les sessions surveillées et les procédures encadrées. Leur interrogation est simple: pourquoi imposer aux étudiants ou aux professionnels des règles d’évaluation plus strictes qu’aux systèmes d’intelligence artificielle appelés à intervenir dans le droit, la finance, la médecine ou la cybersécurité?
Les travaux de la chercheuse de l’Université du Luxembourg ne permettent donc pas d’affirmer que GPT‑6 Astra n’est pas une intelligence artificielle générale. Ils montrent que les résultats avancés par OpenAI ne permettent pas davantage de conclure qu’il en est une. Avant de déterminer si l’AGI est arrivée, l’industrie doit encore se mettre d’accord sur une manière crédible de la mesurer.



