Le responsable de la sécurité d’Anthropic estime à plus de 10 % le risque d’extinction causé par l’IA

Ce qui a changé

Selon les informations de The Verge, le chercheur d’Anthropic Jacob Coxon a démissionné, affirmant qu’Anthropic et OpenAI se livrent à une course vers une IA auto-améliorante sans garanties de sécurité suffisantes. Evan Hubinger, qui dirige une équipe de sécurité chez Anthropic, a déclaré estimer personnellement à plus d’une chance sur 10 la probabilité que l’IA « puisse tuer tous les humains » au cours de la prochaine décennie. Il a également indiqué qu’Anthropic n’avait pas encore de plan pour garantir que les IA avancées restent sûres et alignées.

Pourquoi c’est important

Le discours d’un fournisseur sur la sécurité ne suffit plus. Si le responsable de la sécurité d’un laboratoire reconnaît que son plan n’est pas achevé, tout déploiement ambitieux exige une question plus précise: quels jalons concrets de mise en production, quelles limites d’accès et quelles modalités de surveillance s’interposent entre le modèle et son utilisation en production?

Nos perspectives (spéculation éclairée): au cours des 6 à 12 prochains mois, l’issue la plus probable sera un accès encadré à certaines capacités de pointe plutôt qu’un arrêt généralisé du développement. Les fonctionnalités les plus puissantes pourraient ainsi parvenir plus lentement en production, être soumises à davantage de conditions d’utilisation et exiger davantage d’attention en ingénierie. Les équipes qui conçoivent dès maintenant pour la substitution, l’auditabilité et l’approbation humaine disposeront d’une plus grande marge de manœuvre si les règles d’accès se durcissent. Il ne s’agit pas de paniquer face à une estimation de probabilité personnelle, mais de cesser de traiter la disponibilité des modèles de pointe comme une garantie produit permanente.

Le parallèle historique

Lors de la conférence d’Asilomar de 1975, des scientifiques ont conclu que les travaux émergents sur l’ADN recombinant nécessitaient des contrôles stricts. La structure commune est claire: les personnes les plus proches d’une capacité évoluant rapidement ont estimé que des dommages incertains mais aux conséquences élevées imposaient de modifier les modalités du développement.

La réponse est devenue opérationnelle. En 1976, les NIH ont publié des lignes directrices sur l’ADN recombinant, fondées sur des catégories de risque, des exigences de confinement et des interdictions pour certains travaux; des données ultérieures ont justifié l’assouplissement de certains contrôles. L’IA est sensiblement différente: ses risques incluent les comportements autonomes, les capacités cyber et un déploiement à grande échelle, et non l’exposition en laboratoire. La leçon utile demeure néanmoins solide: les avertissements ne deviennent une gouvernance utile que lorsqu’ils se traduisent par des seuils mesurables, des contrôles applicables et des révisions guidées par l’expérience.

Comment les effets pourraient se propager

Si Anthropic transforme la lacune de planification révélée par Hubinger en évaluations, jalons de mise en production ou restrictions d’accès, les équipes produit pourraient avoir besoin de davantage de tests et de supervision avant que des capacités avancées n’atteignent les clients. Les utilisateurs en entreprise pourraient alors recevoir ces capacités plus tard, avec une disponibilité progressive, une surveillance ou des conditions plus restrictives.

Cette chaîne peut se rompre si les garde-fous ne retardent pas matériellement le déploiement, ou si des fournisseurs concurrents proposent des capacités de substitution avec moins de restrictions. Le véritable test est de savoir si l’inquiétude modifie les opérations produit.

Évaluation de l’impact

Anthropic est exposée à court terme. La démission de Coxon et les propos de Hubinger renforcent la question de savoir si sa posture en matière de sécurité peut se traduire par des décisions qui influencent les mises en production.

Les concurrents de pointe font face à des incitations contradictoires au cours des 6 à 12 prochains mois. Un déploiement plus lent ou plus restreint chez Anthropic pourrait créer ailleurs un avantage de vitesse, tout en renforçant les attentes selon lesquelles les rivaux doivent montrer leurs propres contrôles.

Les acheteurs en entreprise font face à un arbitrage sur le même horizon. Un accès et une surveillance propres à certaines capacités pourraient clarifier le risque de déploiement, mais aussi limiter ou retarder l’accès aux fonctionnalités avancées.

Scénarios

Le plus probable. Si les laboratoires de pointe répondent à la pression publique et interne par des garde-fous mesurables qui permettent néanmoins le développement, les 6 à 12 prochains mois apporteront des contrôles plus explicites sur l’évaluation et le déploiement, tandis que les avancées commerciales se poursuivront. C’est le scénario de référence, car le rapport décrit une course concurrentielle active en l’absence de plan complet d’alignement. Des signaux plus forts incluraient des seuils propres à certaines capacités, un accès progressif et des équipes de sécurité dotées d’une autorité définie sur les mises en production. Ce scénario s’affaiblirait si les mises en production devenaient plus capables sans nouvelles conditions.

Scénario favorable. Si les entreprises et les institutions extérieures transforment les affirmations générales sur le danger en règles vérifiables et propres à certaines capacités, la recherche peut se poursuivre avec des seuils plus clairs de confinement, d’accès et d’examen. Les acheteurs disposeraient d’une vision plus exploitable de ce qu’un système peut faire, des environnements dans lesquels il peut fonctionner et des contrôles qui l’accompagnent. Une évaluation indépendante et des règles d’accès spécifiques renforceraient cette trajectoire; des engagements vagues sans mécanisme d’application l’affaibliraient.

Scénario défavorable. Si la concurrence l’emporte sur des garde-fous applicables alors que les travaux sur l’IA auto-améliorante s’accélèrent, d’autres départs motivés par la sécurité pourraient suivre et les clients pourraient devoir créer leurs propres règles d’approvisionnement restrictives. Cela favoriserait les organisations capables de financer des contrôles internes des risques et laisserait les petits adopteurs avec moins de capacités pratiques pour évaluer les systèmes de pointe. Des jalons de déploiement clairs et appliqués interrompraient cette trajectoire.

Ce qu’il faut surveiller

• La publication par Anthropic d’un plan de sécurité, d’alignement, d’évaluation ou de déploiement comportant des seuils mesurables, des droits de décision, des limites d’accès ou des jalons de mise en production.
• Le passage des modèles avancés à une disponibilité progressive, restreinte, surveillée ou conditionnée à des évaluations de sécurité.
• De nouveaux départs liés à la sécurité, dans lesquels des chercheurs invoquent des pratiques de planification ou de déploiement non résolues.