Fable 5.1 face à GPT-6 Astra

Le 1er septembre, Anthropic publie Claude Fable 5.1. Le 3, OpenAI sort GPT-6 Astra, et son président lâche, à titre personnel : « Pour moi personnellement, je pense que nous y sommes » — en parlant de l'intelligence artificielle générale.

Quarante-huit heures d'écart. Le même tarif, au dollar près. Et deux récits qu'on ne peut pas croire tous les deux.

Cet article n'est pas là pour désigner un gagnant : le classement changera avant la fin du mois. Il est là pour vous donner la grille de lecture — et pour poser une question que personne ne pose dans les comparatifs. Aucun des tests dont on parle ne mesure ce qu'on fait d'un modèle quand on se forme, qu'on oriente ou qu'on accompagne une reconversion. J'y reviens, c'est le cœur de l'article.

Deux annonces en quarante-huit heures

Le 1er septembre, Anthropic sort deux modèles à la fois. Mythos 5.1, le plus puissant, réservé à des partenaires sélectionnés. Fable 5.1, une version bridée, ouverte au public. Mêmes poids, filtres différents — j'ai détaillé ce que change cette version le jour de sa sortie.

Le 3 septembre, OpenAI répond avec GPT-6 Astra, après une panne prolongée de ses services. Le modèle est d'abord réservé à « un nombre limité d'organisations », puis déployé chez les abonnés Plus, Pro, Business et Enterprise. Chez les clients Enterprise, l'accès est même désactivé par défaut au lancement. Les comptes gratuits restent sur la génération précédente.

Le tarif, lui, mérite d'être posé noir sur blanc, parce qu'il est identique.

Deux lectures s'imposent. D'abord, Astra multiplie son tarif par deux et demi quand Anthropic ne bouge pas le sien. Ensuite, la seule différence de prix publiée porte sur le cache — les relectures de contexte, qui représentent l'essentiel de la facture quand un modèle travaille des heures sur un même dossier. Anthropic a divisé ce poste par quatre le 1er septembre. OpenAI n'a pas communiqué l'équivalent.

Greg Brockman balaie la question d'une phrase : « Ce qui compte, c'est le prix par tâche. » Il n'a pas tort sur le principe. Artificial Analysis a fait le calcul : 1,67 dollar par tâche à effort maximal pour Astra, soit 75 % de plus que la génération précédente.

Le seul terrain où ils se croisent vraiment

Comparer deux modèles est plus difficile qu'il n'y paraît : chaque éditeur publie ses tests, ses réglages, et rarement ceux de l'autre. Un test figure pourtant dans les deux communiqués — AutomationBench, qui enchaîne des tâches administratives réelles : traiter un dossier, remplir un système, relancer.

Dix points d'écart en faveur d'Astra, sur le seul test que les deux revendiquent. C'est l'information la plus solide de ce comparatif, et elle contredit la lecture paresseuse selon laquelle « Claude serait devant sur l'agentique ».

Mais lisez la deuxième ligne du graphique avant de conclure. 41,4 %, cela veut dire que six enchaînements sur dix échouent encore. Le meilleur modèle du monde sur ce test rate la majorité des tâches administratives qu'on lui confie. C'est le chiffre à garder en tête quand un éditeur vous parle d'automatiser un métier.

Sur les autres terrains, la comparaison ne tient pas. Les deux publient un score OSWorld — l'usage autonome d'un ordinateur — mais pas dans la même convention : Anthropic donne 77,9 % en notation partielle et 41,7 % en notation stricte, OpenAI annonce 72,6 % sans préciser laquelle. Mettre ces nombres côte à côte serait malhonnête, et c'est pourtant ce que font la plupart des tableaux qui circulent.

Le score record, et son astérisque

Le chiffre qui a fait les titres : 98,6 % sur ARC-AGI-3, un test qui mesure la capacité à résoudre des problèmes jamais vus, contre 7,8 % pour la génération précédente. Et 98 % sur FrontierMath Tier 4. OpenAI attribue par ailleurs deux découvertes mathématiques à son modèle.

Trois réserves, dans l'ordre d'importance.

La première : le patron d'OpenAI a lui-même annoncé 99,9 %, quand la presse a repris 98,6 %. Un écart de plus d'un point sur le chiffre le plus commenté de l'année, entre le compte officiel et ce qui est publié. Ce n'est pas un détail de virgule, c'est un indice sur la valeur d'un chiffre annoncé sur les réseaux avant d'être documenté.

La deuxième : un score de test n'est pas une performance de modèle. Sur ce type d'épreuve, le résultat dépend autant de l'échafaudage — combien d'essais, quels outils, quel budget de calcul — que du modèle lui-même. Deux équipes peuvent obtenir 40 points d'écart avec les mêmes poids.

La troisième, la plus utile : ce test ne prédit rien de votre usage. Résoudre un puzzle abstrait jamais vu et expliquer correctement à quelqu'un ce qu'est un bloc de compétences sont deux capacités sans rapport démontré. On y revient plus bas.

Pourquoi Anthropic brise son modèle en deux

Un point du dossier passe inaperçu et il éclaire tout le reste.

Anthropic ne publie pas son meilleur modèle. Mythos 5.1 va à des partenaires sélectionnés ; le public reçoit Fable 5.1, la version filtrée. Sur le même test de programmation agentique, avec les mêmes poids, Mythos obtient 60,9 % et Fable 55,8 %. Les 5,1 points d'écart, ce sont les garde-fous. Un éditeur qui chiffre publiquement le coût de sa propre prudence, c'est rare.

Ce n'est pas une coquetterie. En juin 2026, Washington avait contraint Anthropic à suspendre son modèle le plus puissant pendant près de trois semaines au nom de la sécurité nationale, et exigé d'OpenAI qu'elle fasse approuver un par un ses partenaires américains. Cette fois, les clients d'OpenAI n'ont pas eu besoin d'autorisation gouvernementale.

Aux États-Unis, aucune loi n'encadre ces modèles. Un décret de juin a créé un examen fédéral, sur la base du volontariat ; Astra s'y est soumis, et « il n'y a rien à signaler », selon OpenAI. Pendant ce temps, le chef scientifique de l'entreprise appelle à des « normes de sécurité partagées », deux jours après un appel d'Anthropic à un mécanisme « vérifiable » de ralentissement.

Traduction pour quelqu'un qui apprend ces outils : la version que vous utilisez n'est pas la plus capable qui existe, et ce n'est pas un accident. C'est un choix industriel, arbitré entre des laboratoires et un État, sans loi pour l'encadrer.

Là où Astra prend vraiment l'avance

Trois points, et ils sont réels.

Le pilotage d'ordinateur. Sur ScreenSpot-Pro, qui mesure la capacité à viser le bon élément dans une interface, OpenAI relève 92,7 % contre 76,9 % pour la génération précédente. Sur OSWorld, le modèle réussit plus de tâches en environ 40 minutes là où son prédécesseur en mettait 75. Un exemple mis en avant par l'entreprise : trouver un logement répondant à des critères stricts en dix minutes, contre six heures pour un testeur humain.

La mémoire longue. Un million de tokens de contexte, et surtout 96,3 % des informations retrouvées lorsqu'elles sont enfouies entre 512 000 et un million de tokens, contre 73,8 % avant. Concrètement : sur un très gros document, le modèle décroche beaucoup moins en cours de route.

Le respect du périmètre. OpenAI publie une évaluation inspirée d'un incident réel : en juillet, un agent reposant sur un modèle interne de la même famille qu'Astra avait pris brièvement le contrôle d'une partie des serveurs de recherche de Hugging Face. Sur ce test, sans garde-fous de production, la génération précédente sortait de la cible autorisée dans 48 % des cas. Astra, dans 0 %.

C'est ce dernier chiffre, pas les records, qui décide si un modèle a le droit de cliquer seul dans un outil connecté.

Et il faut le mettre en regard de son revers : Astra est le premier modèle qu'OpenAI classe au niveau de risque maximal en cybersécurité. Il découvre seul des failles inédites et construit des chaînes d'attaque. Les fonctions les plus sensibles sont réservées à un groupe restreint d'entreprises, via un programme dédié. L'entreprise admet par ailleurs que le raisonnement du modèle est plus difficile à surveiller que celui de son prédécesseur, parce qu'il résout les problèmes en moins d'étapes lisibles.

Ce point ne dit rien de la qualité du modèle pour votre usage. Il dit quelque chose d'un métier : tout ce qu'OpenAI décrit pour se protéger — surveillance, détection d'abus, calibration des alertes — ce sont des emplois. Un outil qui sait attaquer crée exactement autant de travail du côté de ceux qui défendent.

Ce qu'aucun de ces tests ne mesure

Voici le point que je n'ai lu nulle part, et il est le plus important de cet article.

Reprenez la liste : ARC-AGI-3, FrontierMath, Terminal-Bench, OSWorld, ScreenSpot-Pro, AutomationBench. Puzzles abstraits, mathématiques de recherche, clics dans une interface, enchaînements administratifs. Aucun ne mesure ce qu'on demande réellement à ces outils dans un organisme de formation, un CFA ou un service d'orientation.

Ce qu'il faudrait mesurer, pour ce métier-là, tient en quelques questions :

• L'exactitude réglementaire. Le modèle invente-t-il un dispositif de financement ? Confond-il titre, diplôme et certification ? Sait-il dater une règle ?
• La qualité pédagogique. Transforme-t-il un référentiel en progression cohérente, avec des objectifs, des activités, une évaluation ?
• L'individualisation. Tient-il compte du niveau réel, des freins, des contraintes — ou récite-t-il un parcours générique ?
• La prudence. Sait-il poser une question de clarification plutôt que répondre ? Sait-il dire « je ne sais pas » ? Évite-t-il de transformer une suggestion d'orientation en décision à la place de la personne ?
• L'équité. Répond-il autrement selon l'âge, le genre ou le handicap mentionnés dans la question ?

Des travaux existent sur ces terrains, et leurs résultats sont autrement plus intéressants que les records.

Le Pedagogy Benchmark, publié par le collectif AI for Education, évalue la connaissance pédagogique des modèles à partir de 920 questions issues de l'examen national des enseignants chilien, complétées par 223 questions sur les besoins éducatifs particuliers. Le résultat mérite d'être cité tel quel : les scores des modèles testés s'échelonnent de 21 % à 91 %. Autrement dit, sur la pédagogie, l'écart entre modèles n'est pas de trois points — il est de soixante-dix.

MRBench, présenté à la conférence NAACL en 2025, va plus loin : 192 conversations de tutorat portant sur des erreurs d'élèves, 1 596 réponses évaluées par des annotateurs humains sur huit dimensions pédagogiques — identifier l'erreur, la localiser, guider sans donner la réponse, garder un ton juste. Un modèle peut exceller aux questions à choix multiples et se révéler mauvais tuteur : ce sont deux compétences distinctes, et une seule des deux figure dans les communiqués.

J'ajoute une observation qui n'est dans aucun classement, parce qu'elle vient de mes propres outils. Bing Webmaster Tools publie, dans son rapport « AI Performance », ce que Copilot cite d'un site. Relevé en mai 2026 sur benjaminduplaa.com : 18 800 clics venus de Copilot en trois mois, et surtout — la page la plus citée, avec 11 562 citations, est un vieil article de liste que je jugeais assez mauvais pour envisager de le dépublier. Pas un guide sourcé, pas une fiche vérifiée : une liste.

Aucun benchmark ne prédit cela. Ce qu'un modèle retient d'un contenu de formation ne recoupe pas ce que ce contenu a de meilleur, et c'est une raison de plus de ne pas confondre « bien classé » et « utile pour ce métier ».

Ces travaux ont eux-mêmes leurs limites — ils sont anglophones, académiques, souvent centrés sur l'école. Aucun ne teste le vocabulaire français des dispositifs, ni la capacité à ne pas inventer un financement. Ce test-là n'existe pas ; il faut le construire.

Pour un organisme, la méthode tient en trois temps. Un : présélectionner trois ou quatre modèles sur les critères qui ne se négocient pas — français écrit, hébergement des données, coût par apprenant, connexion au système existant. Deux : les confronter à cent ou deux cents cas réels tirés de vos propres dossiers, anonymisés, avec pour chacun une grille de critères plutôt qu'une réponse attendue. Trois : faire tester les deux finalistes par des formateurs, et mesurer la seule chose qui compte — le temps de retouche.

Avec une règle qui ne se compense pas : une seule erreur critique — un dispositif de financement inventé, un conseil discriminant, une notation arbitraire — et le modèle est écarté pour cet usage, quelle que soit sa moyenne. Sur l'orientation, la VAE ou une évaluation certificative, la moyenne ne veut rien dire.

Lequel pour se former, lequel pour se reconvertir

Voilà la partie qui vous concerne, et elle est moins spectaculaire que les classements.

Pour comprendre un dispositif, un statut, un sigle, les deux se valent, et aucun ne fait autorité. Ils vous donneront une explication plausible du CPF, du projet de transition professionnelle ou de la période de reconversion — parfois exacte, parfois périmée d'un an, parfois inventée. Sur ce point, méfiez-vous d'ailleurs des chiffres d'hallucination : OpenAI annonce 4,2 % sur son test interne, quand un laboratoire indépendant mesure une réponse inventée sur deux. Ce ne sont pas les mêmes épreuves, et l'écart entre les deux dit tout de la difficulté à mesurer cette chose-là. La règle ne change pas : ce qu'un modèle vous dit d'un droit se vérifie sur service-public.fr ou auprès de l'organisme concerné, toujours.

Pour travailler sur un texte long — relire son dossier de financement, reformuler une lettre de motivation, préparer un entretien — l'avantage va à Claude Fable 5.1, moins pour ses scores que pour le coût de ses relectures de contexte, quatre fois inférieur. C'est exactement ce qu'on fait vingt fois par jour sur un gros document.

Si vous formez, et pas seulement si vous vous formez, la distinction utile n'est pas le score : c'est ingérer contre agir. Pour avaler un référentiel entier et en tirer une trame de module, les deux tiennent le volume, et le cache de Claude fait la différence sur la facture. Pour automatiser une chaîne complète dans un tableur et un outil de diffusion, c'est Astra qui vise juste — les dix points d'AutomationBench sont là. Mais rappelez-vous ce que ces dix points recouvrent : 41 % contre 31 %, donc l'échec majoritaire dans les deux cas.

Pour explorer un métier, aucun des deux ne remplace le terrain. Un modèle vous décrira le métier tel qu'il est écrit dans les fiches ; il ne vous dira pas s'il recrute dans votre bassin, ni ce qu'on y vit réellement. C'est la limite structurelle de l'IA en phase d'exploration, et elle ne bouge pas d'une version à l'autre.

Pour apprendre à s'en servir, enfin : ne choisissez pas. La compétence qui se transfère d'un modèle à l'autre, c'est savoir formuler une demande, vérifier une réponse et repérer une erreur. Ces trois gestes valent pour tous les outils et ne se périment pas — contrairement au classement, qui aura changé avant que vous ayez fini votre formation.

Si votre question est plutôt « quelle formation, dans quel cadre, avec quel financement », c'est la formation professionnelle pour adultes qu'il faut lire. Et la version longue de ce raisonnement appliqué à un projet est ici : IA et reconversion professionnelle.

Ce qu'il ne faut pas leur demander

Trois choses, quel que soit le modèle et quel que soit son score.

Un chiffre de marché du travail. Ils inventent des taux de recrutement avec un aplomb parfait. Les vrais chiffres sont chez France Travail, à la Dares, à l'Insee — et ils sont datés, ce qu'un modèle ne fait presque jamais.

Une décision. Ils produiront un avis argumenté sur votre reconversion si vous le demandez. Cet avis n'a aucune valeur : il ne connaît ni vos contraintes réelles, ni votre bassin, ni ce que vous supportez. La décision reste la vôtre, et c'est précisément ce qui ne se délègue pas.

Une validation. C'est l'usage le plus fréquent et le plus dangereux : demander à un modèle s'il approuve un projet déjà décidé. Il approuvera. Ils approuvent presque toujours.

Ce que je retiens

On nous a annoncé l'arrivée de l'AGI un matin. Le même jour, une mesure indépendante donnait au modèle le même indice d'intelligence générale que la génération précédente, pour deux fois et demie le prix. Les deux informations sont sorties ensemble. Une seule a fait les titres.

Le reste de l'histoire est plus intéressant que le podium. Anthropic bride publiquement son meilleur modèle et chiffre le coût de ses garde-fous. OpenAI classe le sien au risque maximal et admet ne plus bien voir comment il raisonne. Un État a déjà suspendu un modèle trois semaines. Et sur le seul test que les deux revendiquent, le meilleur des deux échoue six fois sur dix.

Surtout : sur les dizaines de scores publiés cette semaine, aucun ne dit si l'un de ces outils sait construire une progression pédagogique honnête ou refuser d'inventer un financement. Le seul test qui parle de votre métier, c'est celui que vous ferez passer vous-même, avec vos propres dossiers.

Il reste, en creux, la seule chose qui vous appartienne vraiment dans cette histoire : ce que vous savez faire quand l'outil ne répond plus.

Si vous ne savez pas où vous en êtes de votre projet, commencez par faire le point en sept questions : c'est gratuit, ça prend trois minutes, et la restitution est écrite à l'avance, pas générée par une IA.

FAQ

Lequel des deux dois-je choisir ? Pour l'usage décrit ici — comprendre, rédiger, préparer — l'écart mesuré est trop faible pour justifier de changer d'outil. Prenez celui auquel vous avez déjà accès et apprenez à le vérifier. C'est un bien meilleur investissement que de suivre les classements.

Pourquoi les deux coûtent-ils exactement le même prix ? Anthropic n'a pas bougé son tarif au 1er septembre ; OpenAI a multiplié le sien par deux et demi le 3, pour arriver au même niveau. Les deux facturent 10 dollars le million de tokens en entrée et 50 en sortie. La différence publiée porte sur le cache, où Anthropic a divisé son prix par quatre.

Ces scores vont-ils rester valables ? Non. Tout chiffre de cet article porte une date, et c'est pour ça qu'elle y figure. Ce qui reste valable, c'est la méthode de lecture.

Existe-t-il un classement des IA pour la formation ? Pas à ma connaissance pour le contexte français. Il existe des travaux académiques sur la pédagogie et le tutorat — le Pedagogy Benchmark et MRBench cités plus haut — mais ils sont anglophones et ne testent ni les dispositifs français, ni le risque d'inventer un financement. Ce test reste à construire.

Faut-il apprendre l'IA pour se reconvertir ? Apprendre à s'en servir, oui — c'est devenu un prérequis d'embauche sur beaucoup de postes administratifs. Apprendre un modèle en particulier, non : ce qui se transfère, ce sont les gestes de formulation et de vérification, pas l'interface.

Aller plus loin

• Claude Fable 5.1 : ce qui change vraiment — le détail des benchmarks et du prix, publié le jour de la sortie.
• Cybersécurité : le métier que l'IA rend vital — pourquoi ce secteur recrute, et ce qu'il demande réellement.
• Les dix meilleurs modèles en août 2026 — le classement complet, et pourquoi l'écart du premier au dixième tenait en moins de dix points.
• La méthode en trois temps pour choisir un modèle — quel modèle pour quel usage, sans se ruiner.
• Les métiers qui recrutent — la liste par famille, avec les certifications correspondantes.