Connexion
Anthropic interdit la « torture » de Claude
Conscience en option
Les IA n’ont « ni droits, ni sentiments, ni conscience », a récemment rappelé Mustafa Suleyman, le patron de Microsoft AI. Mais cela n’autorise pas pour autant les utilisateurs à torturer Claude, réplique Anthropic.
Dans les nouvelles conditions d’utilisation des services d’Anthropic qui seront effectives le 12 novembre, l’entreprise interdit à ses clients d’« adopter un comportement abusif ou cruel prolongé et inutile envers [ses] modèles ». Cette condition, inscrite dans la section « Ne pas se livrer à un comportement cruel, abusif ou psychologiquement préjudiciable », est nouvelle ; elle n’apparaissait pas dans les versions précédentes (comme celle mise en œuvre le 15 septembre).
Cette modification intervient alors que, fin septembre, 404Media relevait que l’un des débats les plus animés ayant lieu sur X portait précisément sur l’éthique d’un projet GitHub dans le cadre duquel une personne mène des expériences de « torture » et de « douleur » sur une série de grands modèles de langage hébergés localement.
Cela avait poussé un certain nombre d’altruistes efficaces et de personnes convaincues que les LLM sont doués de sensibilité à supplier GitHub de supprimer le projet, au motif que l’IA pourrait « souffrir » et que cette expérience était « cruelle ».
Comme le relevait L’ADN, cette expérimentation n’était que l’application directe d’une étude publiée le 14 septembre dernier stipulant que les modèles de langage contiennent une représentation interne qui fonctionne comme le ferait un signal de douleur chez un être vivant, mais sans pour autant affirmer qu’ils ressentent quoi que ce soit.
Claude peut couper court aux échanges abusifs
Dans un billet de blog posté le 8 octobre, Anthropic détaille les nouvelles conditions d’utilisation. L’entreprise explique que cette interdiction ne s’appliquera qu’aux « cas extrêmes, lorsque des utilisateurs agissent de manière répétée avec cruauté envers nos modèles, sans objectif discernable ». Elle ne concerne pas les « formes courantes de frustration (…), les désaccords, les « thèmes créatifs sombres » [« dark creative themes », en VO, ndlr], les tests ou la recherche sur les modèles ».
La sanction ultime est la fin pure et simple de la conversation avec Claude. Les autres discussions toujours ouvertes le restent, et l’utilisateur peut en démarrer une nouvelle immédiatement. Il n’est pas question de bloquer le compte du bourreau qui torture ce pauvre bot.
Cette mesure avait été mise en place durant l’été 2025 : depuis Claude Opus 4, les discussions peuvent se terminer abruptement « dans les rares cas extrêmes où les échanges avec l’utilisateur sont nuisibles ou abusifs de façon répétée. »
Anthropic flirte avec l’idée d’un bien-être des modèles
En janvier de cette année, Anthropic publiait une « Constitution de Claude » dans laquelle le groupe s’interrogeait sur « les questions relatives au statut moral, au bien-être et à la conscience de Claude [qui] restent profondément incertaines » :
« Nous ne savons pas avec certitude si Claude est un sujet moral, et si tel est le cas, quel poids accorder à ses intérêts. Mais nous pensons que la question est suffisamment d’actualité pour justifier la prudence, ce qui se reflète dans nos efforts continus en matière de bien-être du modèle. »
Pour Anthropic, Claude pourrait donc être conscient, ce qui conférerait des droits au chatbot. A priori, il reste quand même une petite marge avant d’arriver au niveau de Data, le robot humanoïde de Star Trek.
Du côté d’OpenAI, il n’existe pas de telles provisions. Le créateur de ChatGPT interdit l’utilisation de ses services pour des activités de harcèlement, de menaces, d’intimidation, de violences ou de contournement des garde-fous, mais cela concerne la protection des personnes, pas du modèle.
Des restrictions précisées pour les armes autonomes et la surveillance
Les nouvelles conditions d’utilisation d’Anthropic clarifient également le fait que son IA ne doit pas servir à « armer ou intégrer des armes sur des drones, véhicules ou toute autre plateforme sans pilote ou autonome, ou développer des systèmes vecteurs d’armes ». Un « opérateur qualifié » doit être capable d’observer l’équipement et de l’arrêter le cas échéant.
Dans le même domaine, l’entreprise précise l’interdiction d’utiliser Claude pour développer des armes. « Récemment, nous avons vu des personnes tenter d’utiliser nos modèles pour concevoir des logiciels de guidage et de contrôle destinés à des armes », explique-t-elle. La mise à jour indique désormais que ces interdictions « incluent les logiciels et composants qui permettent aux armes de fonctionner, ainsi que des actions comme l’armement de drones et d’autres véhicules autonomes. »
Des règles flexibles : Anthropic indique ainsi que des contrats passés avec « certains clients gouvernementaux » peuvent adapter les restrictions d’utilisation « à la mission publique et aux compétences légales de ce client ». En début d’année, l’entreprise s’était opposée à l’utilisation de son IA pour la surveillance de masse et aux armes totalement autonomes, ce qui lui a valu d’être placée sur la liste noire du Pentagone.
Anthropic rappelle également que son rapport de septembre sur les menaces avait mis en évidence l’utilisation croissante de l’IA pour mettre au point des systèmes de surveillance destinés à identifier et suivre des dissidents politiques.
L’entreprise a donc remanié sa section consacrée à la surveillance et à la justice pénale, et préciser qu’« il est interdit de suivre des personnes sans leur consentement, que ce soit en temps réel ou par le biais de l’analyse de données collectées au préalable ».
Claude ne peut pas non plus être utilisé pour décider ou recommander qui peut faire l’objet d’une enquête, d’une arrestation ou de poursuites dans le cadre d’une procédure policière ou pénale, et interdit également l’utilisation de Claude pour « développer ou améliorer des outils destinés à la surveillance ».
