Science

Anthropic publie ses propres indicateurs de vitesse de R&D : l'IA fabrique-t-elle déjà la prochaine IA ?

Le laboratoire américain a dévoilé une grille de mesure de l'accélération de la recherche en intelligence artificielle, accompagnée de données internes. Une première utile, mais qui ne prouve pas encore l'autonomie scientifique des modèles.

Anthropic publie ses propres indicateurs de vitesse de R&D : l'IA fabrique-t-elle déjà la prochaine IA ?

L'idée circule depuis des années dans les couloirs des laboratoires de la baie de San Francisco : à partir d'un certain seuil de compétence, un modèle d'intelligence artificielle cesserait d'être seulement un outil pour devenir un contributeur de la recherche qui produit ses successeurs. Une boucle, en somme, où chaque génération raccourcit le temps nécessaire à la suivante. L'hypothèse a un nom dans la littérature — « explosion d'intelligence », « décollage », « automatisation de la R&D » — mais elle a longtemps manqué de quelque chose de beaucoup plus prosaïque : des chiffres.

C'est précisément ce qu'Anthropic a tenté de combler. Le média scientifique chinois ScienceNet rapporte que le laboratoire américain a rendu public, le 17 septembre, un cadre d'indicateurs destiné à mesurer la vitesse de recherche et de développement dans les laboratoires d'IA de pointe, en y joignant pour la première fois des données issues de ses propres équipes. Autrement dit : une entreprise qui construit des modèles de langage propose une méthode pour évaluer à quel point ses modèles accélèrent la construction des prochains.

Pourquoi mesurer cela est si difficile

Le problème de fond n'est pas technique, il est conceptuel. Comment quantifie-t-on l'accélération d'une activité aussi peu standardisée que la recherche ?

Les métriques disponibles jusqu'ici mesuraient surtout les capacités brutes des modèles : scores à des examens, résolution de problèmes de mathématiques de concours, taux de réussite sur des tickets de programmation extraits de dépôts publics. Ces tests disent quelque chose de réel, mais ils saturent vite et se prêtent mal à la question qui intéresse les décideurs : est-ce que le travail scientifique lui-même va plus vite ?

Une autre famille d'indicateurs, plus proche du sujet, a été développée par l'organisme d'évaluation indépendant METR. Son travail le plus cité, publié sur la plateforme de prépublication arXiv sous le titre « Measuring AI Ability to Complete Long Tasks », introduit la notion d'« horizon temporel » : la durée d'une tâche qu'un humain compétent mettrait à accomplir et que le modèle réussit dans la moitié des cas. L'intérêt de cette mesure est qu'elle traduit les capacités en unités compréhensibles — minutes, heures, jours de travail humain — et qu'elle affiche une tendance exponentielle sur plusieurs années de modèles. Les tâches concernées restent toutefois des tâches d'ingénierie logicielle bien définies, avec un critère de réussite vérifiable. Une grande partie du métier de chercheur ne ressemble pas à cela : choisir la bonne question, écarter une piste morte, interpréter un résultat ambigu.

D'où l'intérêt, et la limite, d'un jeu d'indicateurs venu de l'intérieur d'un laboratoire. Anthropic a accès à ce qu'aucun évaluateur externe ne voit : ses cycles d'expérimentation, la part du code écrit avec assistance, le temps entre une idée et un résultat exploitable, la charge de travail réellement déléguée à ses propres modèles via ses outils de développement assisté. C'est la matière première de la question. C'est aussi une matière que l'entreprise contrôle entièrement.

Le conflit d'intérêts structurel

Il faut le dire simplement : un laboratoire qui publie des mesures de sa propre accélération est à la fois juge et partie. Anthropic lève des capitaux sur la promesse que ses systèmes deviennent rapidement plus capables ; ses dirigeants, au premier chef le patron Dario Amodei, ont multiplié les déclarations publiques sur la proportion écrasante de code désormais généré par des modèles au sein de l'entreprise. Des indicateurs maison qui confirmeraient une accélération nette servent aussi un récit commercial et, dans le cas d'Anthropic, un récit politique : le laboratoire s'est construit une identité autour de l'idée que l'IA avance vite et qu'il faut donc l'encadrer.

Ce n'est pas une raison pour écarter le geste. La publication de métriques internes, si elle est documentée, est en soi une contribution : elle crée une base discutable, réfutable, comparable d'un laboratoire à l'autre si d'autres suivent. C'est très exactement ce que réclament depuis des années les organismes qui tentent de suivre la trajectoire du secteur de l'extérieur, comme Epoch AI, qui reconstitue la puissance de calcul et les coûts d'entraînement des grands modèles à partir de sources publiques, ou l'AI Index de l'institut Stanford HAI, qui compile chaque année l'état des capacités, des investissements et des politiques publiques. Ces travaux butent systématiquement sur la même barrière : l'opacité des laboratoires sur ce qui se passe réellement chez eux.

Accélérer n'est pas devenir autonome

La nuance décisive est là. Qu'un modèle multiplie la productivité d'un chercheur ne signifie pas qu'il fait de la recherche. Les deux affirmations sont souvent confondues dans le débat public, y compris dans la formulation provocante retenue par ScienceNet — « l'IA fabrique-t-elle de façon autonome la prochaine génération d'IA ? ».

Trois réserves méritent d'être posées.

D'abord, les gains d'assistance mesurés en laboratoire ne se retrouvent pas toujours sur le terrain. L'étude randomisée menée par METR auprès de développeurs open source expérimentés en 2025 a livré un résultat contre-intuitif largement commenté : les participants outillés d'assistants de codage ont été mesurablement plus lents sur leurs propres dépôts, alors qu'ils s'estimaient plus rapides. L'écart entre la vitesse perçue et la vitesse réelle est un piège classique, et il vise directement les indicateurs auto-déclarés.

Ensuite, la R&D en IA n'est pas qu'un problème d'écriture de code. Elle dépend de la disponibilité de calcul, de l'accès à des données, de la logistique des grappes de calcul, du temps d'entraînement, de la sécurité, des arbitrages de gestion. Accélérer la couche logicielle ne dissout pas ces goulots d'étranglement physiques et financiers. Une boucle d'auto-amélioration bornée par la fonderie de puces et les réseaux électriques n'est pas une explosion.

Enfin, l'autonomie scientifique suppose la capacité de formuler un problème nouveau, non pas de résoudre un problème posé. Les évaluations actuelles, y compris les plus ambitieuses, testent l'exécution. Elles disent peu de choses sur le jugement.

Un enjeu de gouvernance, plus que de marketing

Ces indicateurs ont une utilité qui dépasse la concurrence entre laboratoires. Les régimes de surveillance de l'IA en préparation — engagements volontaires aux États-Unis, code de pratique européen, instituts de sécurité créés au Royaume-Uni, au Japon, à Singapour — reposent tous sur une idée : détecter l'arrivée de capacités dangereuses avant leur déploiement. Or l'accélération interne de la R&D est l'un des signaux les plus discutés dans les politiques de sécurité des grands laboratoires, parce qu'elle réduit mécaniquement le temps disponible pour évaluer chaque nouvelle génération.

Si Anthropic publie des chiffres crédibles sur cette dynamique, les régulateurs disposent d'un tableau de bord. Si les chiffres restent non vérifiables, ils fonctionnent comme un argument. La différence tient à des choses très concrètes : la méthodologie est-elle reproductible ? Les définitions sont-elles stables dans le temps ? Un tiers indépendant peut-il auditer les données ? Le précédent de l'Anthropic Economic Index, qui documente depuis 2025 l'usage réel des modèles par tâche et par secteur à partir de conversations anonymisées, montre que l'entreprise sait produire des jeux de données exploitables par des chercheurs extérieurs. Le même standard s'appliquera ici.

En attendant, la formule prudente est celle-ci : les laboratoires de pointe utilisent massivement leurs propres modèles pour accélérer leur travail, cette accélération commence à être chiffrée par ceux qui en bénéficient, et rien dans ces chiffres ne démontre pour l'instant qu'un système d'IA conduit un programme de recherche de bout en bout. La boucle existe. Elle n'est pas encore fermée.