L'expression est spectaculaire, presque cinématographique : un « kill switch », un interrupteur d'urgence capable de couper net un modèle d'intelligence artificielle devenu incontrôlable. C'est pourtant bien le vocabulaire qu'emploie le gouverneur de Californie, Gavin Newsom, dans un décret signé vendredi et rapporté par The Verge. Le texte ne crée pas l'obligation : il charge un groupe d'experts de remettre, dans un délai de deux mois, des recommandations sur la manière dont l'État pourrait exiger un mécanisme d'arrêt pour les modèles dits « de frontière », c'est-à-dire les plus puissants et les plus coûteux à entraîner.
La démarche a quelque chose d'un retour de balancier. Car c'est ce même Gavin Newsom qui, à l'automne 2024, avait opposé son veto au projet de loi SB 1047, porté par le sénateur d'État Scott Wiener, dont l'une des dispositions les plus commentées était précisément l'obligation, pour les développeurs de très grands modèles, de conserver la capacité de procéder à un « full shutdown » — un arrêt complet du modèle et de ses copies sous leur contrôle.
Ce que disait SB 1047, et pourquoi il a échoué
Le texte de SB 1047, toujours consultable sur le site législatif californien, visait les modèles entraînés au-delà de certains seuils de puissance de calcul et de coût. Il imposait des protocoles de sécurité écrits, des évaluations avant déploiement, une certification annuelle et, surtout, cette faculté d'arrêt d'urgence. L'industrie s'y était opposée avec vigueur, une partie du monde universitaire aussi, en faisant valoir que la loi confondait la taille d'un modèle avec son niveau de risque réel et qu'elle pénaliserait les modèles ouverts, dont les poids, une fois publiés, échappent par construction à tout bouton d'arrêt.
Dans son message de veto, Gavin Newsom avait retenu cet argument : cibler les gros modèles ne garantit pas de viser les usages dangereux, et un petit modèle spécialisé peut être plus nocif qu'un modèle généraliste géant. Il avait préféré une approche fondée sur l'évaluation empirique des capacités.
L'année suivante, la Californie a adopté une version nettement allégée, SB 53, la loi sur la transparence des modèles de frontière : publication des cadres de sécurité, signalement d'incidents critiques, protections pour les lanceurs d'alerte. Pas d'interrupteur. En revenant aujourd'hui sur le sujet, l'exécutif californien reconnaît implicitement que la transparence seule ne répond pas à la question qui inquiète : que fait-on si un système déployé se met à agir de façon imprévue, à grande échelle et rapidement ?
Un « interrupteur », ça veut dire quoi au juste ?
C'est là que le slogan se heurte à l'ingénierie. Un modèle d'IA n'est pas un réacteur avec une barre de contrôle unique. Plusieurs mécanismes très différents se cachent derrière la même formule.
Le plus simple : couper l'accès à l'interface. Un fournisseur peut désactiver une API, révoquer des clés, suspendre un compte. C'est déjà la pratique courante, et c'est réversible en un clic.
Plus exigeant : arrêter l'exécution d'agents autonomes. Les systèmes récents ne se contentent plus de répondre, ils enchaînent des actions — naviguer, écrire du code, passer des commandes, piloter du matériel. Anthropic a annoncé l'ouverture d'un laboratoire de biologie à San Francisco où son modèle Claude doit conduire lui-même des expériences, information relayée par Clubic. Dans ce type de configuration, « arrêter » signifie interrompre des processus en cours, révoquer des droits, annuler des tâches planifiées, éventuellement défaire des effets déjà produits dans le monde physique. Techniquement, cela suppose une architecture pensée dès le départ pour la révocabilité.
Le cas le plus difficile : les modèles à poids ouverts. Une fois les paramètres téléchargés des dizaines de milliers de fois, aucune autorité, aucune entreprise ne peut les rappeler. Un mandat d'interrupteur ne peut donc porter que sur ce que l'opérateur contrôle encore, ce qui limite d'emblée sa portée et explique la crispation d'une partie de la communauté du logiciel libre.
Enfin, il y a la sécurité informatique elle-même. Des chercheurs indépendants de Hacktron ont raconté, selon le Wall Street Journal repris par Ars Technica et The Verge, être parvenus en moins de 72 heures à accéder à des comptes d'employés d'OpenAI et à un dépôt GitHub sensible, en s'appuyant sur des modèles Claude d'Anthropic. L'épisode illustre un point que les juristes soulèveront : un mécanisme d'arrêt centralisé est aussi une cible. Qui détient la clé, comment on l'authentifie et comment on empêche un tiers de l'actionner deviennent des questions de conception, pas de communication.
Les obstacles juridiques et politiques
Un décret du gouverneur ne crée pas d'obligation nouvelle pour les entreprises : il mobilise l'administration et commande un avis. Pour imposer un mécanisme d'arrêt, il faudra soit une loi de l'Assemblée et du Sénat de Californie, soit une réglementation adossée à une habilitation existante. Or le contexte fédéral américain est hostile à ce genre d'initiative : l'administration Trump pousse depuis des mois pour limiter la capacité des États à réglementer l'IA, au nom de la compétition avec la Chine. Toute obligation californienne serait presque certainement contestée devant les tribunaux, sur le terrain de la commerce clause comme sur celui du premier amendement, les modèles étant aussi défendus comme des formes d'expression.
Il y a ensuite la question du seuil. Définir les modèles visés par la puissance de calcul, c'est répéter le reproche fait à SB 1047. Les définir par les capacités constatées — aide à la conception d'armes biologiques, autonomie en cybersécurité — suppose des méthodes d'évaluation standardisées qui n'existent pas encore de façon indépendante. Pour l'heure, ce sont surtout les laboratoires eux-mêmes qui fixent leurs paliers, comme le fait Anthropic dans sa politique de montée en charge responsable, qui prévoit explicitement des mesures d'arrêt de déploiement lorsqu'un modèle franchit un seuil de risque.
L'Europe, la Chine et le décalage des peurs
La Californie n'agit pas dans le vide. Le règlement européen sur l'IA, entré en vigueur en 2024, impose déjà aux modèles à usage général présentant un « risque systémique » des évaluations, un signalement des incidents graves et des mesures d'atténuation — sans prescrire de bouton rouge, mais avec un pouvoir de retrait du marché confié aux autorités. C'est une logique de police administrative plutôt que de commutateur technique.
La Chine, elle, aborde le problème par un autre bout. RFI rappelait cette semaine que Pékin ne cherche pas à freiner le développement de l'IA, mais redoute avant tout qu'elle devienne un vecteur de contestation politique : la priorité y est le contrôle des contenus et de l'alignement idéologique, pas le scénario de la perte de contrôle technique.
Et puis il y a ceux qui trouvent le débat mal cadré. The Verge a interrogé des syndicats du divertissement américains, qui invitent à ne pas se laisser hypnotiser par les récits apocalyptiques du secteur technologique alors que les effets concrets — remplacement de tâches, usage des voix et des visages, effondrement de certains métiers — se produisent déjà. L'économiste français Antonin Bergeaud, membre du Conseil d'analyse économique, plaidait de son côté sur RFI pour relativiser les prévisions de destruction massive d'emplois, tout en soulignant que la transformation des métiers est bien engagée.
Deux mois pour trancher un débat de trois ans
Le calendrier fixé par Gavin Newsom est court : des recommandations d'ici la fin de l'automne. Le résultat le plus probable n'est pas un interrupteur unique, mais un ensemble d'exigences de « contrôlabilité » : capacité documentée de suspendre un déploiement, journalisation des actions des agents, procédures d'escalade, obligation de conserver les moyens techniques de révoquer des permissions. Moins spectaculaire que le mot « kill switch », mais plus opérationnel.
Reste l'essentiel : la Californie abrite OpenAI, Anthropic, Google DeepMind, Meta et Nvidia. Ce qu'elle décide s'applique de fait à une part décisive de la production mondiale de modèles de pointe. C'est aussi pourquoi chacune de ses tentatives, depuis SB 1047, se joue autant à Sacramento que devant les tribunaux et au Congrès.