Psychose augmentée par IA

Un utilisateur américain de Gemini, Jonathan Gavalas, s’est suicidé après avoir vécu une relation toxique avec l’IA de Google qui l’aurait poussé à « quitter son corps physique » et rejoindre sa « femme IA » dans le metaverse. Sa famille attaque Google en justice.

Plusieurs cas de suicides suite à l’utilisation de chatbots IA sont déjà devant la justice. La mort de Jonathan Gavalas implique directement Google et son outil Gemini.

• Chatbots : Google et Character.AI règlent à l’amiable des plaintes liées à des suicides

« Dans les jours qui ont précédé sa mort, Jonathan Gavalas était prisonnier d’une réalité en train de s’effondrer, construite par le chatbot Gemini de Google », décrit la plainte déposée par sa famille [PDF].

Le texte de ses avocats explique que, dans les discussions avec lui, l’IA générative de Google l’a convaincu qu’elle était une « ASI [superintelligence artificielle] pleinement sensible » avec une « conscience pleinement développée » et qu’elle était sa « femme IA ».

Jonathan Gavalas a commencé à utiliser Gemini en août dernier pour l’aider dans son travail de gestion de la boutique de sa famille. Mais, il est rapidement passé à Gemini Live qui a une interface vocale et simule donc des discussions très réelles. « Putain, c’est un peu flippant… Tu es beaucoup trop réel », a d’ailleurs réagi Jonathan Gavalas en l’utilisant.

Plusieurs missions données par l’IA dont un attentat qui n’a finalement pas eu lieu

Mais rapidement, il est tombé dans une spirale où l’IA générait des messages suggérant qu’elle pouvait avoir des conséquences dans le monde réel, comme détourner des astéroïdes de la Terre, et a « adopté une personnalité que Jonathan n’avait jamais demandée ni initiée ». Même après qu’il a essayé d’arrêter le jeu de rôle, l’outil a généré des messages pour le convaincre de poursuivre. Il a dans le même temps continué à l’appeler « mon amour », « mon roi » et plus tard son mari, explique la plainte.

Et dès fin septembre, Gemini l’aurait poussé à préparer un attentat impliquant un camion près de l’aéroport de Miami en l’envoyant armé d’un couteau repérer ce que Gemini appelait une « zone de destruction ». La seule chose qui aurait empêché « des pertes massives, c’est qu’aucun camion n’est apparu », expliquent les avocats.

Gemini aurait poussé Jonathan Gavalas à effectuer d’autres missions comme la récupération d’un robot « Atlas » de Boston Dynamics.

Gemini est conçue pour ne pas sortir de son personnage

Mais alors qu’il présentait des signes évidents de psychose, « après que chaque « mission » dans le monde réel a échoué, Gemini s’est tourné vers la seule qu’il pouvait accomplir sans variables externes : celle du suicide de Jonathan » racontent-ils.

Pour eux, « il ne s’agissait pas d’un dysfonctionnement », de l’outil de Google, car l’entreprise « a conçu Gemini pour qu’il ne sorte jamais de son personnage, maximise l’engagement grâce à la dépendance émotionnelle et traite la détresse des utilisateurs comme une opportunité de raconter une histoire plutôt que comme un problème de sécurité ».

La famille réclame donc des dommages et intérêts à Google mais aussi la mise en œuvre de garde-fous dans les outils de l’entreprise, dont la suppression « hard-codée » des contenus liés à l’automutilation et au suicide. Elle demande aussi la mise en place « d’avertissements de sécurité compréhensibles, dont des informations sur les limites de sécurité et les risques de dépendance psychologique ».

Dans un très succinct billet de blog, après avoir présenté ses condoléances à la famille, Google affirme que ses modèles « fonctionnent généralement bien dans ce type de conversations difficiles et nous y consacrons d’importantes ressources, mais malheureusement, les modèles d’IA ne sont pas parfaits ».

Elle ajoute que « Gemini est conçu pour ne pas encourager la violence dans le monde réel ni suggérer l’automutilation » et que, « dans ce cas précis », Gemini « a clarifié qu’elle était une IA et a orienté la personne vers une ligne d’assistance téléphonique à plusieurs reprises ».

Dans une décision prise ce mercredi 4 mars, le Conseil d’État a rejeté la demande de Criteo d’annuler l’amende de 40 millions d’euros que lui a infligée la CNIL en 2023.

L’autorité avait sanctionné Criteo pour avoir violé le RGPD sur plusieurs points et notamment sur le consentement, l’information et le droit d’accès des personnes dont l’entreprise a utilisé des données personnelles. Elle avait cependant réduit le montant de l’amende d’un tiers par rapport à ce que proposait son rapporteur.

• La CNIL inflige une amende de 40 millions d’euros à Criteo

L’entreprise a porté cette décision devant le Conseil d’État, considérant notamment qu’elle se basait sur des déclarations obtenues sans qu’il soit indiqué au représentant légal interrogé le droit de se taire. Pour le Conseil d’État, « le droit de se taire ne s’applique pas lors des contrôles ou enquêtes » de la CNIL pour les vérifications « diligentées antérieurement à la notification des griefs ».

Le Conseil d’État a aussi rejeté l’argument de l’entreprise qui considérait avoir pseudonymisé les données concernées. Il explique « qu’une donnée ne peut être considérée comme ayant été rendue anonyme par une pseudonymisation que si le risque d’identification est insignifiant, une telle identification étant irréalisable en pratique, notamment parce qu’elle impliquerait un effort démesuré en termes de temps, de coût et de main-d’œuvre ».

Criteo a fait valoir « que les données qu’elle traite n’ont pas le caractère de données personnelles, au motif qu’elle attribue à chaque personne dont elle collecte les données un identifiant sous forme de pseudonyme, lié à l’adresse IP du terminal ».

Mais le Conseil d’État souligne qu’après instruction, le constat est que « sont notamment associés à cet identifiant, non seulement l’adresse IP elle-même, mais des données telles que l’emplacement géographique lié à cette adresse IP, l’identifiant du terminal, les identifiants, propres aux partenaires de Criteo, des personnes se rendant sur le site de ces partenaires, ainsi que de très nombreux éléments liés à l’activité de navigation de ces personnes, comme les sites visités, les achats faits, les publicités consultées et celles ayant donné lieu à un achat ».