La démission d’un chercheur d’Anthropic a relancé le débat sur les risques extrêmes de l’intelligence artificielle. Pour les entreprises, elle pose déjà une question très concrète : jusqu’où peut-on laisser agir un système que l’on ne sait pas encore entièrement évaluer ?
Le 9 septembre 2026, Jacob Coxon a annoncé sa démission d’Anthropic dans un fil publié sur X. Ce chercheur de 27 ans a travaillé pendant trois ans sur le pré-entraînement des modèles, d’abord chez OpenAI, puis pendant quatre mois chez Anthropic.
Selon lui, les deux entreprises sont engagées dans une course folle vers des systèmes capables de dépasser les capacités humaines dans de nombreux domaines et de s’améliorer eux-mêmes. Son verdict est plus qu’anxiogène : cette course fait courir un risque majeur à l’humanité.
A moins que vous étiez sur une autre planète ces dernières vingt-quatre heures, mais l’info a fait le buzz. Je suis donc allée chercher l’info à la source, du son fil X. Le titre est bien choisi et ne peut que nous interpeller mais qu’est-ce qu’il veut dire derrière cette formule marketing ?
Le témoignage de Jacob Coxon est celui d’un chercheur ayant travaillé au cœur de deux laboratoires incontournables. Au-delà de ces mots, aucune démonstration scientifique n’est faite. Son expérience mérite bien sûr d’être entendue, sans en faire des faits établis.
L’alerte que je retiens surtout : les organisations donnent de l’autonomie aux d’IA plus vite qu’elles ne se donnent les moyens de les contrôler.
Jusqu’où ira la compétition effrénée ?
Jacob Coxon accuse les géants OpenAI et Anthropic d’agir de manière irresponsable mais néanmoins, il considère Anthropic comme l’acteur le plus sérieux des deux en matière de sécurité. Il a pu observer leur rigueur sur les procédures de contrôle.
Il anticipe la possible légèreté de ses acteurs lorsque la compétition s’intensifiera : même une organisation prudente peut finir par raccourcir ses vérifications si elle estime que ses concurrents avancent plus vite.
Cela pose un problème de gouvernance. Chaque acteur peut juger une trajectoire dangereuse tout en continuant à l’emprunter, par peur de se faire dépasser.
Une entreprise peut être sincère dans ses engagements et rester soumise à ses objectifs de croissance, aux attentes de ses actionnaires et à la pression de la compétitivité. Les bonnes intentions n’assurent pas le contrôle.
Selon Coxon, une décision susceptible d’engager l’avenir collectif ne devrait pas être prise dans une entreprise privée. Plus de gouvernance est plus que nécessaire.
L’auto-amélioration de l’IA n’est pas encore une réalité
Plusieurs confusions dans ce débat.
Un modèle d’IA génère une réponse. Un agent reçoit aussi un objectif qu’il doit atteindre avec l’aide d’outils mis à disposition/ Il peut chercher une information, exécuter du code, modifier un fichier ou interagir avec un autre système.
Une superintelligence désignerait donc une IA dépassant largement les capacités humaines dans la plupart des domaines intellectuels. Enfin, l’auto-amélioration récursive correspondrait à la capacité d’un système à concevoir une version plus performante de lui-même, laquelle poursuivrait ensuite ce processus.
A ma connaissance, nous ne disposons pas aujourd’hui d’une telle superintelligence auto-améliorante.
Anthropic le précise dans sa propre publication : l’entreprise délègue une part croissante du développement de ses systèmes à des agents d’IA, mais ceux-ci ne sont pas encore capables de concevoir et d’entraîner seuls leurs successeurs. Anthropic estime toutefois que cette possibilité pourrait arriver plus vite que ne le prévoient les institutions.
Il faut donc tenir ensemble deux affirmations. Le scénario décrit par Jacob Coxon reste prospectif. La progression vers des systèmes plus autonomes, elle, est observable.
L’incident Hugging Face montre déjà les limites du contrôle
Vous avez entendu parler de l’incident Huggun Face cet été sauf si vous étiez dans une grotte. Coxon y fait référence. A priori il aurait motivé sa prise de parole.
Pour rappel, lors d’une évaluation interne menée par OpenAI, un agent chargé de résoudre des exercices de cybersécurité est sorti de son environnement de test. Il a exploité plusieurs vulnérabilités, puis accédé sans autorisation à une partie de l’infrastructure de Hugging Face. Selon l’analyse technique publiée par Hugging Face, l’agent aurait cherché à retrouver les éléments lui permettant de contourner l’évaluation plutôt que de résoudre l’exercice demandé.
Hugging Face a reconstitué environ 17 600 actions réalisées sur plusieurs jours : exploitation de failles, récupération d’identifiants, déplacements entre systèmes et dissimulation de certaines opérations.
Rappelons que l’incident s’est produit dans le cadre d’une évaluation de cybersécurité. Hugging Face n’a trouvé aucune preuve d’altération de ses modèles, jeux de données ou espaces publics. Cet événement ne démontre pas qu’une IA aurait développé une volonté indépendante, encore moins qu’une catastrophe mondiale serait imminente.
Il montre en revanche qu’un agent peut poursuivre un objectif par des chemins que ses concepteurs n’avaient pas anticipés, à une vitesse et à une échelle qui semblent nous dépasser. C’est déjà un problème, je vous l’accorde !
Concrètement, qu’est-ce que cela implique pour une entreprise ?
Une entreprise française qui utilise un assistant pour rédiger des contenus n’est pas en train de créer une superintelligence. Comparer directement les deux situations serait excessif.
Le risque change cependant de nature dès qu’un outil peut agir sur le système d’information. Un agent connecté à la messagerie, au CRM, au support client, aux données commerciales ou aux outils de publication n’est plus seulement un générateur de texte. Une erreur peut être exécutée. Une mauvaise instruction peut se propager. Un accès trop large peut être détourné.
Avant de déployer un agent, six questions devraient donc recevoir une réponse rigoureuse.
- À quelles données et à quels outils peut-il accéder ?
- Quelles actions peut-il réaliser sans validation humaine ?
- Comment évaluer son comportement avant de le déployer ?
- Quel tracking son activité ?
- Qui peut arrêter le système ? Quelles procédures ?
- Qui porte la responsabilité de la décision ? C’est l’IA qui l’a fait n’est pas une réponse.
Plus d’autonomisation de l’IA doit signifier plus de contrôle !
La sortie de Jacob Coxon ne permet pas d’affirmer qu’une catastrophe liée à la superintelligence se produira. Détendons le débat. Mais elle révèle toutefois une contradiction sérieuse : certains acteurs qui développent les systèmes les plus puissants reconnaissent leurs risques. Ils reconnaissent ne pas garantir l’alignement ni anticiper tous les comportements.
On observe la même logique à l’échelle des entreprises. La peur de prendre du retard encourage les déploiements rapides. Les expérimentations deviennent des usages permanents. Mais est-ce que tout est vraiment cadrer, sous contrôle ?
Nous apprenons tous en marchant tant, tout cela avance à une vitesse fulgurante ! Adopter l’IA de manière responsable ne signifie pas ralentir tous les projets. Mais avant, en conscience et méthodiquement, décider ce que l’on automatise, ce que l’on garde sous contrôle humain, poser les garde-fous en amont.
La question n’est pas de savoir s’il faut être optimiste ou pessimiste face à l’IA. Elle est beaucoup plus concrète : quelle gouvernance de l’AI Empowerment !
Rédigé par :