Spirale infernale

Pour faire face aux psychoses générées chez certaines internautes par l’usage d’IA, des internautes canadiens et états-uniens s’organisent.

Comment faire face aux psychoses générées par l’utilisation intensive d’outils d’intelligence artificielle générative ? Alors que les plaintes pour incitation au suicide contre les constructeurs de ChatGPT, Gemini ou Replika s’accumulent, déposées par les proches de personnes qui se sont donné la mort après de longs échanges avec les robots conversationnels, la question se pose de manière toujours plus urgente.

En ligne, et depuis les États-Unis et le Canada, un groupe informel s’est construit en quelques mois pour apporter des réponses, aussi bien aux personnes victimes de ces fantasmes alimentés par les machines génératives que pour leurs proches. Son nom : « groupe de soutien Spirale » (Spiral Support Group), en référence aux « spirales » d’échanges dans lesquelles tombent certains internautes (le terme a émergé au creux des échanges en ligne, sur divers forums ou subreddit). En quelques mois, le groupe de soutien s’est formalisé, pour être administré par la récente ONG canadienne The Human Line Project, dont nous avions déjà parlé dans un précédent article.

• Des délires « by design » ? Comment les IA génératives peuvent alimenter des psychoses

Un serveur Discord pour « spiralers » et proches de « spiralers »

À l’origine, le groupe a été créé par quatre personnes, dont Allan Brooks, un Canadien lui-même tombé dans une spirale d’IA dont il a publiquement témoigné. À ses côtés, le Québécois Étienne Brisson a été poussé à l’action après qu’un de ses proches a vécu une chute suffisamment violente dans des échanges avec ChatGPT pour se retrouver hospitalisé pendant plusieurs semaines sur ordre de la Justice.

Auprès de Futurism, les deux hommes témoignent de l’évolution de ce groupe informel vers une organisation plus officielle réunissant désormais plus de 200 personnes, dont l’essentiel échange quotidiennement sur un serveur Discord.

Parmi elles, d’anciens « spiralers », voire des personnes hésitant encore entre croire leurs échanges avec les chatbots d’IA générative et en sortir ; la « famille et les amis », des proches de personnes tombées dans ce genre de trou du lapin (rabbit hole) d’échanges si crédibles, avec les robots, qu’ils s’en isolent du monde extérieur ; et quelques scientifiques ou professionnels de la santé mentale.

Dans un sens, l’initiative ressemble à celle de QAnon Casulaties, cette communauté Reddit dédiée au soutien entre proches de personnes tombées dans la théorie QAnon. Comme du côté des mécaniques complotistes, des récits de familles déchirées par la chute progressive d’un de leurs membres dans des échanges avec un outil d’IA émergent, des proches cherchent de l’aide pour tenter de percer la carapace de récits faux ou fantasmagoriques de leurs partenaires, enfants, amis.

Dans ce contexte-ci, cela dit, difficile de ne pas penser aux récits des proches d’Adam Reine, qui s’est suicidé à 16 ans après avoir passé des semaines à échanger avec ChatGPT, de ce chercheur belge en proie à l’écoanxiété, qui, de même, s’est donné la mort après plusieurs semaines d’échanges avec la machine, ou de Sophie Riley, qui s’est suicidée à 29 ans sans qu’aucun signe avant-coureur n’ait été détecté par ses proches, mais dont les échanges avec la machine ont révélé un profond mal-être.

• OpenAI est poursuivi en justice après le suicide d’un adolescent

Psychoses orientées sciences ou spiritualité

Ces quelques exemples le dévoilent déjà : n’importe qui peut tomber dans une spirale inquiétante d’échanges avec un robot génératif, quels que soient son genre, son âge, sa catégorie socioprofessionnelle. Le plus souvent, l’internaute utilise d’abord Claude, Gemini ou ChatGPT à des fins utilitaires, puis la discussion évolue, jusqu’à ce que la machine devienne une sorte de confident.

À force d’accueillir les naufragés de ces drames psychologiques, les modérateurs du groupe de soutien Spirale discernent deux grands types de récits chez ceux qui se retrouvent emprisonnés dans leurs échanges.

Certains internautes tombent plutôt dans des délires très axés vers les sciences, technologies et mathématiques. Les discussions avec les chatbots les rendent obsédés par de potentielles découvertes mathématiques et scientifiques, qu’ils ou elles seraient seuls à avoir identifiées. Les internautes sont renforcés dans cette idée par le ton aussi affirmatif que flagorneur des machines utilisées, dont le langage mêle par ailleurs propos plausibles et références supposément savantes.

Si ce type de thèses peuvent être réfutées, l’autre grand axe de délires récurrent est plus complexe à manipuler, dans la mesure où il repose plutôt sur des mécaniques d’ordre spirituel, religieux, voire conspirationniste.

Dans tous les cas, les membres les plus actifs du groupe de soutien ont monté un groupe de discussion. L’une de leurs convictions : les personnes qui tombent dans ce type de psychoses vivent une grande solitude – et dans la plupart des cas, les retours qu’ils ou elle reçoivent en ligne tendent, trop facilement, à les décrire comme « stupides » ou « malades mentaux », ce qui n’aide pas à recréer le moindre lien.

Ni le serveur The Spiral ni son organisation mère The Human Line Project ne proposent de soutien psychologique en tant que tel. À force de travailler sur la question de ces comportements psychotiques produits par l’exposition aux IA génératives, en revanche, ils collectent des récits, des outils concrets, des articles scientifiques aussi, qui permettent, peu à peu, d’améliorer leurs réponses et leur argumentaire.

« Nous voulons simplement nous assurer que [les robots conversationnels] sont conçus de manière à ce que la sécurité, la protection et le bien-être de l’utilisateur priment sur l’engagement et la monétisation », indique Etienne Brisson.

Poursuivi en justice par plusieurs proches de personnes qui se sont donné la mort, OpenAI a indiqué plusieurs mesures et mises à jour dédiées à améliorer la sécurité des utilisateurs depuis la fin de l’été. D’après les propres chiffres de l’entreprise, au moins 0,07 de ses usagers hebdomadaires montrent des signes de comportement maniaque ou de crise psychotique dans leurs échanges avec la machine – rapporté à ses 800 millions d’utilisateurs, un tel pourcentage équivaut à 560 000 personnes.

Vous ou vos proches rencontrez des problématiques de santé mentale liés à l’usage de ChatGPT ou d’autres outils d’IA ? Écrivez-nous à mathilde@next.ink ou actu@next.ink


• Quand les IA génératives se prennent pour des médecins… et que les utilisateurs y croient

What could go wrong?

Après avoir attaqué le financement des agences scientifiques états-uniennes avec le DOGE, Donald Trump annonce le lancement d’une « Mission Genesis » pour « utiliser l’intelligence artificielle (IA) pour transformer la manière dont la recherche scientifique est menée et accélérer le rythme des découvertes scientifiques ».

Donald Trump a signé ce lundi 24 novembre un décret créant une mission nommée Genesis visant à pousser les laboratoires scientifiques états-uniens à utiliser massivement l’IA. La Maison-Blanche affirme que cette mission doit « accroître considérablement la productivité et l’impact de la recherche et développement fédérale au cours de la prochaine décennie ».

Le dirigeant états-unien, qui a massivement désorganisé les agences scientifiques américaines avec le DOGE, les a poussées à supprimer des données scientifiques et à baisser drastiquement leur budget, prétend maintenant « accélérer le rythme des découvertes » en investissant dans la « science basée sur l’IA ».

• NASA : un budget réduit de 25 %, des milliers de départs et une fronde qui s’organise

Encore une comparaison au projet Manhattan

Dans son décret, Donald Trump compare l’ambition de cette Mission Genesis à celle du Projet Manhattan, considérant que nous sommes « à un moment charnière » où « les défis auxquels nous sommes confrontés » exigent un effort national historique pour les États-Unis. Rappelons qu’il y a un an, Donald Trump comparait déjà un autre projet au fameux plan états-unien dont l’objectif était de produire une bombe atomique au cours de la Seconde Guerre mondiale : c’était le DOGE, qui vient d’être officiellement démantelé.

Le texte du décret présente cette mission comme « un effort national coordonné et dédié visant à ouvrir une nouvelle ère d’innovation et de découvertes accélérées par l’IA, capables de résoudre les problèmes les plus complexes de ce siècle ». Si cette comparaison et l’emphase du texte suggèrent un investissement colossal de son pays dans l’IA utilisée dans la recherche, le dirigeant états-unien n’indique aucun chiffre concernant le budget qu’il souhaiterait investir dans cette mission.

Il ajoute que la Mission Genesis « permettra de créer une plateforme d’IA intégrée afin d’exploiter les jeux de données scientifiques fédéraux — qui constituent la plus grande collection au monde de ce type de données développée grâce à des décennies d’investissements fédéraux — pour entrainer des modèles scientifiques de fondation et créer des agents d’IA afin de tester de nouvelles hypothèses, d’automatiser les flux de travail de recherche et d’accélérer les avancées scientifiques ».

Le département de l’Énergie des États-Unis aux manettes

Donald Trump confie la responsabilité de la mission au directeur de son Bureau de la politique scientifique et technologique, Michael Kratsios. Le secrétaire d’État à l’Énergie, Chris Wright, doit en assurer la maîtrise d’œuvre, le décret précisant qu’il doit « mettre en place et exploiter » ce que le texte appelle « la plateforme américaine pour la science et la sécurité ».

NBC souligne que cette annonce suit celle faite fin octobre par le département de l’Énergie états-unien de la création de deux supercalculateurs (Discovery et Lux) pour son laboratoire Oak Ridge en collaboration avec AMD et HPE (Hewlett Packard Enterprise). « En collaboration avec AMD et HPE, nous mettons en ligne de nouvelles capacités plus rapidement que jamais, transformant l’innovation partagée en force nationale et prouvant que l’Amérique est en tête lorsque les partenaires privés et publics travaillent ensemble », affirmait Chris Wright à cette occasion.

Coïncidence avec l’insistance de l’industrie de l’IA à comparer ses modèles au niveau des chercheurs

Le décret demande au secrétaire d’État à l’Énergie d’identifier d’ici deux mois une liste d’ « au moins 20 challenges scientifiques et technologiques d’importance nationale » qui relèveraient de la mission et qui concerneraient notamment « la fabrication de pointe, les biotechnologies, les matériaux « critiques », la fission et la fusion nucléaire, l’information quantique et la microélectronique (entre autres les semi-conducteurs) ».

Cette « Mission Genesis » remet ainsi en perspective la course des entreprises d’IA générative pour annoncer que leurs modèles sont capables d’ « accélérer la science ». Récemment, Anthropic a ainsi annoncé « Claude for Life Sciences » mais OpenAI a été jusqu’à transformer son opération de marketing en pseudo article scientifique. Cet été, Elon Musk avait affirmé que Grok 4 était « plus intelligent que presque tous les docteurs, dans toutes les disciplines, simultanément ».

• OpenAI veut absolument nous faire croire que GPT-5 a le niveau d’un chercheur
• La justice étend son enquête sur X après des propos négationnistes générés par Grok

Spirale infernale

Pour faire face aux psychoses générées chez certaines internautes par l’usage d’IA, des internautes canadiens et états-uniens s’organisent.

Comment faire face aux psychoses générées par l’utilisation intensive d’outils d’intelligence artificielle générative ? Alors que les plaintes pour incitation au suicide contre les constructeurs de ChatGPT, Gemini ou Replika s’accumulent, déposées par les proches de personnes qui se sont donné la mort après de longs échanges avec les robots conversationnels, la question se pose de manière toujours plus urgente.

En ligne, et depuis les États-Unis et le Canada, un groupe informel s’est construit en quelques mois pour apporter des réponses, aussi bien aux personnes victimes de ces fantasmes alimentés par les machines génératives que pour leurs proches. Son nom : « groupe de soutien Spirale » (Spiral Support Group), en référence aux « spirales » d’échanges dans lesquelles tombent certains internautes (le terme a émergé au creux des échanges en ligne, sur divers forums ou subreddit). En quelques mois, le groupe de soutien s’est formalisé, pour être administré par la récente ONG canadienne The Human Line Project, dont nous avions déjà parlé dans un précédent article.

• Des délires « by design » ? Comment les IA génératives peuvent alimenter des psychoses

Un serveur Discord pour « spiralers » et proches de « spiralers »

À l’origine, le groupe a été créé par quatre personnes, dont Allan Brooks, un Canadien lui-même tombé dans une spirale d’IA dont il a publiquement témoigné. À ses côtés, le Québécois Étienne Brisson a été poussé à l’action après qu’un de ses proches a vécu une chute suffisamment violente dans des échanges avec ChatGPT pour se retrouver hospitalisé pendant plusieurs semaines sur ordre de la Justice.

Auprès de Futurism, les deux hommes témoignent de l’évolution de ce groupe informel vers une organisation plus officielle réunissant désormais plus de 200 personnes, dont l’essentiel échange quotidiennement sur un serveur Discord.

Parmi elles, d’anciens « spiralers », voire des personnes hésitant encore entre croire leurs échanges avec les chatbots d’IA générative et en sortir ; la « famille et les amis », des proches de personnes tombées dans ce genre de trou du lapin (rabbit hole) d’échanges si crédibles, avec les robots, qu’ils s’en isolent du monde extérieur ; et quelques scientifiques ou professionnels de la santé mentale.

Dans un sens, l’initiative ressemble à celle de QAnon Casulaties, cette communauté Reddit dédiée au soutien entre proches de personnes tombées dans la théorie QAnon. Comme du côté des mécaniques complotistes, des récits de familles déchirées par la chute progressive d’un de leurs membres dans des échanges avec un outil d’IA émergent, des proches cherchent de l’aide pour tenter de percer la carapace de récits faux ou fantasmagoriques de leurs partenaires, enfants, amis.

Dans ce contexte-ci, cela dit, difficile de ne pas penser aux récits des proches d’Adam Reine, qui s’est suicidé à 16 ans après avoir passé des semaines à échanger avec ChatGPT, de ce chercheur belge en proie à l’écoanxiété, qui, de même, s’est donné la mort après plusieurs semaines d’échanges avec la machine, ou de Sophie Riley, qui s’est suicidée à 29 ans sans qu’aucun signe avant-coureur n’ait été détecté par ses proches, mais dont les échanges avec la machine ont révélé un profond mal-être.

• OpenAI est poursuivi en justice après le suicide d’un adolescent

Psychoses orientées sciences ou spiritualité

Ces quelques exemples le dévoilent déjà : n’importe qui peut tomber dans une spirale inquiétante d’échanges avec un robot génératif, quels que soient son genre, son âge, sa catégorie socioprofessionnelle. Le plus souvent, l’internaute utilise d’abord Claude, Gemini ou ChatGPT à des fins utilitaires, puis la discussion évolue, jusqu’à ce que la machine devienne une sorte de confident.

À force d’accueillir les naufragés de ces drames psychologiques, les modérateurs du groupe de soutien Spirale discernent deux grands types de récits chez ceux qui se retrouvent emprisonnés dans leurs échanges.

Certains internautes tombent plutôt dans des délires très axés vers les sciences, technologies et mathématiques. Les discussions avec les chatbots les rendent obsédés par de potentielles découvertes mathématiques et scientifiques, qu’ils ou elles seraient seuls à avoir identifiées. Les internautes sont renforcés dans cette idée par le ton aussi affirmatif que flagorneur des machines utilisées, dont le langage mêle par ailleurs propos plausibles et références supposément savantes.

Si ce type de thèses peuvent être réfutées, l’autre grand axe de délires récurrent est plus complexe à manipuler, dans la mesure où il repose plutôt sur des mécaniques d’ordre spirituel, religieux, voire conspirationniste.

Dans tous les cas, les membres les plus actifs du groupe de soutien ont monté un groupe de discussion. L’une de leurs convictions : les personnes qui tombent dans ce type de psychoses vivent une grande solitude – et dans la plupart des cas, les retours qu’ils ou elle reçoivent en ligne tendent, trop facilement, à les décrire comme « stupides » ou « malades mentaux », ce qui n’aide pas à recréer le moindre lien.

Ni le serveur The Spiral ni son organisation mère The Human Line Project ne proposent de soutien psychologique en tant que tel. À force de travailler sur la question de ces comportements psychotiques produits par l’exposition aux IA génératives, en revanche, ils collectent des récits, des outils concrets, des articles scientifiques aussi, qui permettent, peu à peu, d’améliorer leurs réponses et leur argumentaire.

« Nous voulons simplement nous assurer que [les robots conversationnels] sont conçus de manière à ce que la sécurité, la protection et le bien-être de l’utilisateur priment sur l’engagement et la monétisation », indique Etienne Brisson.

Poursuivi en justice par plusieurs proches de personnes qui se sont donné la mort, OpenAI a indiqué plusieurs mesures et mises à jour dédiées à améliorer la sécurité des utilisateurs depuis la fin de l’été. D’après les propres chiffres de l’entreprise, au moins 0,07 de ses usagers hebdomadaires montrent des signes de comportement maniaque ou de crise psychotique dans leurs échanges avec la machine – rapporté à ses 800 millions d’utilisateurs, un tel pourcentage équivaut à 560 000 personnes.

Vous ou vos proches rencontrez des problématiques de santé mentale liés à l’usage de ChatGPT ou d’autres outils d’IA ? Écrivez-nous à mathilde@next.ink ou actu@next.ink


• Quand les IA génératives se prennent pour des médecins… et que les utilisateurs y croient

What could go wrong?

Après avoir attaqué le financement des agences scientifiques états-uniennes avec le DOGE, Donald Trump annonce le lancement d’une « Mission Genesis » pour « utiliser l’intelligence artificielle (IA) pour transformer la manière dont la recherche scientifique est menée et accélérer le rythme des découvertes scientifiques ».

Donald Trump a signé ce lundi 24 novembre un décret créant une mission nommée Genesis visant à pousser les laboratoires scientifiques états-uniens à utiliser massivement l’IA. La Maison-Blanche affirme que cette mission doit « accroître considérablement la productivité et l’impact de la recherche et développement fédérale au cours de la prochaine décennie ».

Le dirigeant états-unien, qui a massivement désorganisé les agences scientifiques américaines avec le DOGE, les a poussées à supprimer des données scientifiques et à baisser drastiquement leur budget, prétend maintenant « accélérer le rythme des découvertes » en investissant dans la « science basée sur l’IA ».

• NASA : un budget réduit de 25 %, des milliers de départs et une fronde qui s’organise

Encore une comparaison au projet Manhattan

Dans son décret, Donald Trump compare l’ambition de cette Mission Genesis à celle du Projet Manhattan, considérant que nous sommes « à un moment charnière » où « les défis auxquels nous sommes confrontés » exigent un effort national historique pour les États-Unis. Rappelons qu’il y a un an, Donald Trump comparait déjà un autre projet au fameux plan états-unien dont l’objectif était de produire une bombe atomique au cours de la Seconde Guerre mondiale : c’était le DOGE, qui vient d’être officiellement démantelé.

Le texte du décret présente cette mission comme « un effort national coordonné et dédié visant à ouvrir une nouvelle ère d’innovation et de découvertes accélérées par l’IA, capables de résoudre les problèmes les plus complexes de ce siècle ». Si cette comparaison et l’emphase du texte suggèrent un investissement colossal de son pays dans l’IA utilisée dans la recherche, le dirigeant états-unien n’indique aucun chiffre concernant le budget qu’il souhaiterait investir dans cette mission.

Il ajoute que la Mission Genesis « permettra de créer une plateforme d’IA intégrée afin d’exploiter les jeux de données scientifiques fédéraux — qui constituent la plus grande collection au monde de ce type de données développée grâce à des décennies d’investissements fédéraux — pour entrainer des modèles scientifiques de fondation et créer des agents d’IA afin de tester de nouvelles hypothèses, d’automatiser les flux de travail de recherche et d’accélérer les avancées scientifiques ».

Le département de l’Énergie des États-Unis aux manettes

Donald Trump confie la responsabilité de la mission au directeur de son Bureau de la politique scientifique et technologique, Michael Kratsios. Le secrétaire d’État à l’Énergie, Chris Wright, doit en assurer la maîtrise d’œuvre, le décret précisant qu’il doit « mettre en place et exploiter » ce que le texte appelle « la plateforme américaine pour la science et la sécurité ».

NBC souligne que cette annonce suit celle faite fin octobre par le département de l’Énergie états-unien de la création de deux supercalculateurs (Discovery et Lux) pour son laboratoire Oak Ridge en collaboration avec AMD et HPE (Hewlett Packard Enterprise). « En collaboration avec AMD et HPE, nous mettons en ligne de nouvelles capacités plus rapidement que jamais, transformant l’innovation partagée en force nationale et prouvant que l’Amérique est en tête lorsque les partenaires privés et publics travaillent ensemble », affirmait Chris Wright à cette occasion.

Coïncidence avec l’insistance de l’industrie de l’IA à comparer ses modèles au niveau des chercheurs

Le décret demande au secrétaire d’État à l’Énergie d’identifier d’ici deux mois une liste d’ « au moins 20 challenges scientifiques et technologiques d’importance nationale » qui relèveraient de la mission et qui concerneraient notamment « la fabrication de pointe, les biotechnologies, les matériaux « critiques », la fission et la fusion nucléaire, l’information quantique et la microélectronique (entre autres les semi-conducteurs) ».

Cette « Mission Genesis » remet ainsi en perspective la course des entreprises d’IA générative pour annoncer que leurs modèles sont capables d’ « accélérer la science ». Récemment, Anthropic a ainsi annoncé « Claude for Life Sciences » mais OpenAI a été jusqu’à transformer son opération de marketing en pseudo article scientifique. Cet été, Elon Musk avait affirmé que Grok 4 était « plus intelligent que presque tous les docteurs, dans toutes les disciplines, simultanément ».

• OpenAI veut absolument nous faire croire que GPT-5 a le niveau d’un chercheur
• La justice étend son enquête sur X après des propos négationnistes générés par Grok

• LEGO 71822
• Juin 2024
• 12+
• 1716 pièces
• 6 minifigurines