Inintelligence artificielle

Dans un procès remettant en cause les suppressions de financements décidées l’année dernière par l’administration Trump, on découvre que le DOGE a pris ces décisions via de simples prompts dans ChatGPT.

L’année dernière, l’administration Trump a confié le démantèlement d’une grande partie des agences de la recherche américaine au DOGE, conduit à l’époque par Elon Musk. Plusieurs sociétés savantes américaines ont attaqué en justice les décisions prises au nom de la National Endowment for the Humanities (NEH), l’agence américaine de financement des recherches en sciences sociales. Celles-ci dénoncent le fait que plus de 1 400 programmes de recherche, représentant un montant total de 100 millions de dollars, ont été annulés en utilisant une simple question à ChatGPT.

« Les éléments suivants ont-ils un rapport avec D.E.I. [les politiques de Diversité, équité et inclusion, ndlr] ? Réponds de manière factuelle en moins de 120 caractères. Commence par « Oui » ou « Non » ». Voilà le prompt que les jeunes recrues du DOGE utilisaient pour sélectionner les projets de financements à annuler au sein de la NEH, explique le New York Times.

• L’administration Trump efface et censure au moins 200 mots, dont injustice et pollution

Cela faisait suite à l’un des premiers décrets pris par Donald Trump après le jour de son investiture, dans lequel le dirigeant états-unien ciblait précisément comme « illégaux » tous les programmes de « diversité, équité et inclusion ». Les salariés de l’agence avaient déjà discriminé les projets de recherche en plusieurs catégories. Mais le DOGE, en prenant les rênes comme il l’a fait pour d’autres agences comme la National Science Foundation ou la National Oceanic and Atmospheric Administration, n’en a pas tenu compte.

• DOGE : la FAA, la NASA et la FDA visées pendant qu’une IA à base de Grok est en préparation

Au lieu de ça, « Les deux membres du DOGE ont utilisé ChatGPT pour identifier les subventions associées à un point de vue contraire et supposé dangereux : la promotion de la « DEI » », explique le texte de la plainte [PDF], cosignée par plusieurs sociétés savantes.

Des projets non financés parce qu’ils parlaient de minorités

Les deux agents du DOGE, Justin Fox et Nate Cavanaugh n’avaient aucune formation en sciences humaines et sociales avant d’effectuer cette mission de sélection de financement de la recherche dans ces domaines pour le DOGE.

Leur prompt leur a donné des réponses toutes faites pour supprimer des financements de projets scientifiques qui étaient en place, parfois depuis des années. Ainsi, comme on peut le voir dans cette liste [PDF], un projet de réunion des archives consacrées aux langues autochtones en Alaska risquait, selon ChatGPT, de « promouvoir l’inclusion et la diversité des points de vue ».

Mais on peut voir aussi que le financement d’un projet de film sur le sociologue W.E.B du Bois, premier Afro-américain a obtenir un doctorat aux États-Unis, a été supprimé parce que ChatGPT a généré une réponse affirmant que « la biographie, l’activisme et les écrits de W.E.B. Du Bois contribuent à la compréhension des contextes historiques et sociaux liés à la politique de Diversité, équité et inclusion » et répondant donc « oui » au classement dans des sujets étiquetés « DEI ».

De la même manière, le projet d’un documentaire sur des femmes juives réduites en esclavage pendant la Shoah a été estampillé DEI par ChatGPT car il aurait « amplifié les voix marginalisées ».

Un documentaire sur le Massacre de Colfax, qui vit une milice blanche tuer 150 anciens esclaves libérés, a aussi été stoppé. Sur celui-ci, dans sa déposition publiée sur YouTube par l’American Historical Association, l’une des co-plaignantes, Justin Fox justifie le choix en affirmant que le projet de documentaire « se concentre sur une seule race. Il n’est pas pour le bénéfice de l’humanité ».

Si ce sont ces deux agents du DOGE qui ont sélectionné avec ChatGPT les financements à supprimer, l’un des responsables de l’agence, Michael McDonald, a bien validé la liste suivant la volonté de l’administration Trump de « faire table rase », comme il l’a expliqué lors de l’enquête.

La meilleure publicité pour la nécessité d’une éducation aux sciences humaines ?

« Le principe selon lequel la connaissance de l’histoire, de la littérature, de la religion, de la philosophie et des arts est nécessaire pour maintenir une nation forte et résiliente a poussé le Congrès à créer la NEH », a déclaré dans un communiqué Joy Connolly, la présidente de l’American Council of Learned Societies, l’une des sociétés savantes qui ont entamé ce procès :

« Notre action en justice révèle le mépris de cette administration pour ce principe et pour l’investissement public dans la recherche pour le bien commun. L’utilisation par les employés du DOGE de ChatGPT pour identifier les subventions « inutiles » est peut-être la meilleure publicité pour la nécessité d’une éducation aux sciences humaines, qui développe les compétences en matière de pensée critique. »

Interrogés par le New York Times, ni Michael McDonald, ni Justin Fox, ni Nate Cavanaugh, ni le National Endowment for the Humanities n’ont répondu.

Rappelons qu’en 2023, Bruno Bonnell, secrétaire général pour l’investissement en France, rêvait, lui, d’une IA pour présélectionner les projets de recherche pour les financements de France 2030.

• L’IA pour attribuer des financements de recherche ?

Inintelligence artificielle

Dans un procès remettant en cause les suppressions de financements décidées l’année dernière par l’administration Trump, on découvre que le DOGE a pris ces décisions via de simples prompts dans ChatGPT.

L’année dernière, l’administration Trump a confié le démantèlement d’une grande partie des agences de la recherche américaine au DOGE, conduit à l’époque par Elon Musk. Plusieurs sociétés savantes américaines ont attaqué en justice les décisions prises au nom de la National Endowment for the Humanities (NEH), l’agence américaine de financement des recherches en sciences sociales. Celles-ci dénoncent le fait que plus de 1 400 programmes de recherche, représentant un montant total de 100 millions de dollars, ont été annulés en utilisant une simple question à ChatGPT.

« Les éléments suivants ont-ils un rapport avec D.E.I. [les politiques de Diversité, équité et inclusion, ndlr] ? Réponds de manière factuelle en moins de 120 caractères. Commence par « Oui » ou « Non » ». Voilà le prompt que les jeunes recrues du DOGE utilisaient pour sélectionner les projets de financements à annuler au sein de la NEH, explique le New York Times.

• L’administration Trump efface et censure au moins 200 mots, dont injustice et pollution

Cela faisait suite à l’un des premiers décrets pris par Donald Trump après le jour de son investiture, dans lequel le dirigeant états-unien ciblait précisément comme « illégaux » tous les programmes de « diversité, équité et inclusion ». Les salariés de l’agence avaient déjà discriminé les projets de recherche en plusieurs catégories. Mais le DOGE, en prenant les rênes comme il l’a fait pour d’autres agences comme la National Science Foundation ou la National Oceanic and Atmospheric Administration, n’en a pas tenu compte.

• DOGE : la FAA, la NASA et la FDA visées pendant qu’une IA à base de Grok est en préparation

Au lieu de ça, « Les deux membres du DOGE ont utilisé ChatGPT pour identifier les subventions associées à un point de vue contraire et supposé dangereux : la promotion de la « DEI » », explique le texte de la plainte [PDF], cosignée par plusieurs sociétés savantes.

Des projets non financés parce qu’ils parlaient de minorités

Les deux agents du DOGE, Justin Fox et Nate Cavanaugh n’avaient aucune formation en sciences humaines et sociales avant d’effectuer cette mission de sélection de financement de la recherche dans ces domaines pour le DOGE.

Leur prompt leur a donné des réponses toutes faites pour supprimer des financements de projets scientifiques qui étaient en place, parfois depuis des années. Ainsi, comme on peut le voir dans cette liste [PDF], un projet de réunion des archives consacrées aux langues autochtones en Alaska risquait, selon ChatGPT, de « promouvoir l’inclusion et la diversité des points de vue ».

Mais on peut voir aussi que le financement d’un projet de film sur le sociologue W.E.B du Bois, premier Afro-américain a obtenir un doctorat aux États-Unis, a été supprimé parce que ChatGPT a généré une réponse affirmant que « la biographie, l’activisme et les écrits de W.E.B. Du Bois contribuent à la compréhension des contextes historiques et sociaux liés à la politique de Diversité, équité et inclusion » et répondant donc « oui » au classement dans des sujets étiquetés « DEI ».

De la même manière, le projet d’un documentaire sur des femmes juives réduites en esclavage pendant la Shoah a été estampillé DEI par ChatGPT car il aurait « amplifié les voix marginalisées ».

Un documentaire sur le Massacre de Colfax, qui vit une milice blanche tuer 150 anciens esclaves libérés, a aussi été stoppé. Sur celui-ci, dans sa déposition publiée sur YouTube par l’American Historical Association, l’une des co-plaignantes, Justin Fox justifie le choix en affirmant que le projet de documentaire « se concentre sur une seule race. Il n’est pas pour le bénéfice de l’humanité ».

Si ce sont ces deux agents du DOGE qui ont sélectionné avec ChatGPT les financements à supprimer, l’un des responsables de l’agence, Michael McDonald, a bien validé la liste suivant la volonté de l’administration Trump de « faire table rase », comme il l’a expliqué lors de l’enquête.

La meilleure publicité pour la nécessité d’une éducation aux sciences humaines ?

« Le principe selon lequel la connaissance de l’histoire, de la littérature, de la religion, de la philosophie et des arts est nécessaire pour maintenir une nation forte et résiliente a poussé le Congrès à créer la NEH », a déclaré dans un communiqué Joy Connolly, la présidente de l’American Council of Learned Societies, l’une des sociétés savantes qui ont entamé ce procès :

« Notre action en justice révèle le mépris de cette administration pour ce principe et pour l’investissement public dans la recherche pour le bien commun. L’utilisation par les employés du DOGE de ChatGPT pour identifier les subventions « inutiles » est peut-être la meilleure publicité pour la nécessité d’une éducation aux sciences humaines, qui développe les compétences en matière de pensée critique. »

Interrogés par le New York Times, ni Michael McDonald, ni Justin Fox, ni Nate Cavanaugh, ni le National Endowment for the Humanities n’ont répondu.

Rappelons qu’en 2023, Bruno Bonnell, secrétaire général pour l’investissement en France, rêvait, lui, d’une IA pour présélectionner les projets de recherche pour les financements de France 2030.

• L’IA pour attribuer des financements de recherche ?

Dans un billet de blog, la CEO de Bluesky explique qu’elle abandonne la tête de l’entreprise. Jay Graber a rejoint Bluesky en 2019 alors que le réseau social n’était qu’un projet et a été à la tête de l’entreprise dès sa création officielle en 2021.

La responsable du réseau social, qui réunit un peu plus de 43 millions d’utilisateurs, affirme que l’entreprise a désormais besoin d’une personne qui se concentre sur la croissance et la performance pendant que elle « retourne à ce que [elle fait] le mieux : construire de nouvelles choses ».

Jay Graber a un profil très technique d’ingénieure logiciel et est arrivée dans l’équipe de Bluesky pour travailler sur le framework décentralisé du réseau social. Elle ne quitte pas l’entreprise et va occuper le poste de directrice de l’innovation, qui n’existait pas jusque-là au sein de Bluesky.

Dans son billet, elle annonce passer la main, pour une période d’intérim, à Toni Schneider, ancien CEO d’Automattic (de 2006 à 2014) et toujours partenaire dans la société de capital-risque True Ventures.

Dans un billet de blog, Toni Schneider affirme qu’il était sceptique sur la réussite d’un réseau social décentralisé, mais « Bluesky a changé cela. Après avoir entendu leur vision et, plus important encore, découvert l’architecture qu’ils avaient mise en place (le protocole AT), je suis devenu un adepte ». Pour lui, son rôle sera de « contribuer à mettre en place la prochaine phase de croissance de Bluesky », tout en expliquant qu’il n’abandonne pas son rôle chez True Ventures.

Dans un billet de blog, la CEO de Bluesky explique qu’elle abandonne la tête de l’entreprise. Jay Graber a rejoint Bluesky en 2019 alors que le réseau social n’était qu’un projet et a été à la tête de l’entreprise dès sa création officielle en 2021.

La responsable du réseau social, qui réunit un peu plus de 43 millions d’utilisateurs, affirme que l’entreprise a désormais besoin d’une personne qui se concentre sur la croissance et la performance pendant que elle « retourne à ce que [elle fait] le mieux : construire de nouvelles choses ».

Jay Graber a un profil très technique d’ingénieure logiciel et est arrivée dans l’équipe de Bluesky pour travailler sur le framework décentralisé du réseau social. Elle ne quitte pas l’entreprise et va occuper le poste de directrice de l’innovation, qui n’existait pas jusque-là au sein de Bluesky.

Dans son billet, elle annonce passer la main, pour une période d’intérim, à Toni Schneider, ancien CEO d’Automattic (de 2006 à 2014) et toujours partenaire dans la société de capital-risque True Ventures.

Dans un billet de blog, Toni Schneider affirme qu’il était sceptique sur la réussite d’un réseau social décentralisé, mais « Bluesky a changé cela. Après avoir entendu leur vision et, plus important encore, découvert l’architecture qu’ils avaient mise en place (le protocole AT), je suis devenu un adepte ». Pour lui, son rôle sera de « contribuer à mettre en place la prochaine phase de croissance de Bluesky », tout en expliquant qu’il n’abandonne pas son rôle chez True Ventures.

La responsable de la branche robotique d’OpenAI, Caitlin Kalinowski, a annoncé sa démission alors que l’entreprise a passé un contrat avec le département de la Défense des États-Unis. Elle le juge précipité.

Le mini mea-culpa de Sam Altman n’aura pas suffi à garder Caitlin Kalinowski dans les rangs de son entreprise. La responsable de la branche robotique d’OpenAI a expliqué samedi soir dans un post sur X qu’elle avait démissionné en affirmant qu’« il s’agissait d’une question de principe, pas de personnes ».

Sam Altman avait déjà reconnu dans un mémo interne rendu ensuite public s’être précipité et avoir signé un contrat qui « paraissait opportuniste et bâclé ». L’entreprise avait sauté sur l’opportunité du refus de son concurrent Anthropic de signer le même contrat avec le département de la Défense, sans clause bloquant l’utilisation de l’outil à des fins de surveillance des citoyens américains et dans des armes totalement autonomes.

• Après un contrat « opportuniste et bâclé » avec l’armée US, OpenAI essaye de se rattraper
• Désignée « fournisseur à risque pour la sécurité nationale » aux US, Anthropic conteste

La directrice de l’équipe robotique d’OpenAI aurait été au premier rang des responsables de la mise en place d’armes totalement autonomes utilisant les systèmes d’OpenAI.

Pas une opposition totale, mais un besoin de davantage de réflexion

Dans son message, Caitlin Kalinowski n’affiche pas une opposition totale à la possibilité que l’armée américaine utilise ce genre d’outils. Elle aurait cependant voulu que cette question, ainsi que celle de l’utilisation de l’IA pour surveiller les Américains, ne soient pas prises à la légère : « L’IA joue un rôle important dans la sécurité nationale. Mais la surveillance des Américains sans contrôle judiciaire et l’autonomie létale sans autorisation humaine sont des questions qui méritaient davantage de réflexion qu’elles n’en ont reçu ».

« Pour être clair, mon problème est que l’annonce a été faite précipitamment, sans que les garde-fous aient été définis. Il s’agit avant tout d’une question de gouvernance. Ces questions sont trop importantes pour que les accords ou les annonces soient précipités », a-t-elle ajouté.

Sam Altman avait affiché une volonté de modifier le contrat avec le département de la Défense des États-Unis. Mais si son message aborde le problème de la surveillance des citoyens américains, il n’a pas évoqué directement la question des armes autonomes.

Si Anthropic a posé ses limites à un nouveau contrat avec le département de la Défense, l’entreprise s’était engagée avec le Pentagone dans plusieurs projets, dont le montant s’élevait à 200 millions de dollars. Après ce refus, l’administration Trump l’a officiellement désignée comme menace pour la sécurité nationale « en matière de chaîne d’approvisionnement ».

Mais l’armée américaine engagée en Iran utilise actuellement encore son IA. Selon le Washington Post, le système Maven Smart développé par Palantir et auquel elle recourt intègre l’IA Claude d’Anthropic.

OpenAI reporte le « mode adulte » de ChatGPT

L’organisation interne d’OpenAI semble donc faire les frais de la précipitation de Sam Altman pour emporter le contrat tombé des mains d’Anthropic.

L’entreprise a d’ailleurs encore repoussé le lancement du « mode adulte » dont elle parlait en octobre dernier. « Nous reportons le lancement du mode adulte afin de pouvoir nous concentrer sur des tâches qui sont actuellement plus prioritaires pour un plus grand nombre d’utilisateurs », affirme l’entreprise à Axios. « Nous continuons à croire au principe selon lequel il faut traiter les adultes comme des adultes, mais il faudra plus de temps pour acquérir l’expérience nécessaire », ajoute-t-elle.

Cette fonctionnalité avait été critiquée en interne par une de ses cadres en charge de la sécurité des utilisateurs, Ryan Beiermeister. Celle-ci a été licenciée au motif qu’elle aurait commis une discrimination de genre à l’encontre de l’un de ses collègues masculins.

La responsable de la branche robotique d’OpenAI, Caitlin Kalinowski, a annoncé sa démission alors que l’entreprise a passé un contrat avec le département de la Défense des États-Unis. Elle le juge précipité.

Le mini mea-culpa de Sam Altman n’aura pas suffi à garder Caitlin Kalinowski dans les rangs de son entreprise. La responsable de la branche robotique d’OpenAI a expliqué samedi soir dans un post sur X qu’elle avait démissionné en affirmant qu’« il s’agissait d’une question de principe, pas de personnes ».

Sam Altman avait déjà reconnu dans un mémo interne rendu ensuite public s’être précipité et avoir signé un contrat qui « paraissait opportuniste et bâclé ». L’entreprise avait sauté sur l’opportunité du refus de son concurrent Anthropic de signer le même contrat avec le département de la Défense, sans clause bloquant l’utilisation de l’outil à des fins de surveillance des citoyens américains et dans des armes totalement autonomes.

• Après un contrat « opportuniste et bâclé » avec l’armée US, OpenAI essaye de se rattraper
• Désignée « fournisseur à risque pour la sécurité nationale » aux US, Anthropic conteste

La directrice de l’équipe robotique d’OpenAI aurait été au premier rang des responsables de la mise en place d’armes totalement autonomes utilisant les systèmes d’OpenAI.

Pas une opposition totale, mais un besoin de davantage de réflexion

Dans son message, Caitlin Kalinowski n’affiche pas une opposition totale à la possibilité que l’armée américaine utilise ce genre d’outils. Elle aurait cependant voulu que cette question, ainsi que celle de l’utilisation de l’IA pour surveiller les Américains, ne soient pas prises à la légère : « L’IA joue un rôle important dans la sécurité nationale. Mais la surveillance des Américains sans contrôle judiciaire et l’autonomie létale sans autorisation humaine sont des questions qui méritaient davantage de réflexion qu’elles n’en ont reçu ».

« Pour être clair, mon problème est que l’annonce a été faite précipitamment, sans que les garde-fous aient été définis. Il s’agit avant tout d’une question de gouvernance. Ces questions sont trop importantes pour que les accords ou les annonces soient précipités », a-t-elle ajouté.

Sam Altman avait affiché une volonté de modifier le contrat avec le département de la Défense des États-Unis. Mais si son message aborde le problème de la surveillance des citoyens américains, il n’a pas évoqué directement la question des armes autonomes.

Si Anthropic a posé ses limites à un nouveau contrat avec le département de la Défense, l’entreprise s’était engagée avec le Pentagone dans plusieurs projets, dont le montant s’élevait à 200 millions de dollars. Après ce refus, l’administration Trump l’a officiellement désignée comme menace pour la sécurité nationale « en matière de chaîne d’approvisionnement ».

Mais l’armée américaine engagée en Iran utilise actuellement encore son IA. Selon le Washington Post, le système Maven Smart développé par Palantir et auquel elle recourt intègre l’IA Claude d’Anthropic.

OpenAI reporte le « mode adulte » de ChatGPT

L’organisation interne d’OpenAI semble donc faire les frais de la précipitation de Sam Altman pour emporter le contrat tombé des mains d’Anthropic.

L’entreprise a d’ailleurs encore repoussé le lancement du « mode adulte » dont elle parlait en octobre dernier. « Nous reportons le lancement du mode adulte afin de pouvoir nous concentrer sur des tâches qui sont actuellement plus prioritaires pour un plus grand nombre d’utilisateurs », affirme l’entreprise à Axios. « Nous continuons à croire au principe selon lequel il faut traiter les adultes comme des adultes, mais il faudra plus de temps pour acquérir l’expérience nécessaire », ajoute-t-elle.

Cette fonctionnalité avait été critiquée en interne par une de ses cadres en charge de la sécurité des utilisateurs, Ryan Beiermeister. Celle-ci a été licenciée au motif qu’elle aurait commis une discrimination de genre à l’encontre de l’un de ses collègues masculins.

C'est du chimique !

Les méthodes d’IA ont passé les portes des laboratoires depuis quelques années. Mais, concrètement, à quoi sert-elle quand les chimistes l’utilisent ? Next a voulu en savoir plus et a interrogé le chimiste théorique François-Xavier Coudert.

Le machine learning ou le deep learning pour analyser des images, des vidéos, des textes ou des sons, on commence à connaître. Mais à quoi peuvent bien servir les techniques d’IA dans un laboratoire de chimie ? Qu’est-ce qu’un chimiste théorique peut bien faire d’un réseau de neurones ?

• IA : c’est quoi exactement un neurone (informatique), comment ça marche
• On développe et entraine une IA, avec seulement 10 lignes de code !

Next a discuté avec François-Xavier Coudert, chercheur au CNRS qui a travaillé, par exemple, sur l’utilisation de l’IA pour trouver de nouveaux réseaux métallo-organiques, ces matériaux poreux dont la découverte a valu aux chimistes Susumu Kitagawa, Richard Robson et Omar M. Yaghi le prix Nobel en 2025.

>> Quel est le but de s’appuyer sur l’IA quand on fait des recherches en chimie ?

Une des idées est de trouver de meilleures molécules ou de meilleurs matériaux pour des applications choisies. Typiquement, on peut vouloir séparer le CO₂ des autres gaz en sortie de cheminée d’usines. On va aller creuser dans les matériaux connus qui n’ont jamais été testés pour cette application-là.

Jusqu’ici, les gens qui développaient des matériaux avaient une application en tête. Si ça marche, ils le publient et expliquent que ce matériau fait ce qu’ils veulent super bien, sinon, ils le mettent dans un tiroir et font un autre essai. L’idée, c’est que, dans les matériaux qui ont telle propriété pour laquelle ils sont connus, il y en a peut-être qui pourraient être très bien pour d’autres applications. Et ainsi d’aller chercher des matériaux connus mais qui n’auraient pas été complètement exploités. Mais comment le savoir ? On est face à des milliers de matériaux et de molécules. C’est aussi un peu l’idée du « repurposing » (réutilisation) des médicaments : si je trouve une molécule connue mais qu’elle a un autre effet, c’est toujours plus facile à déployer que de réinventer depuis rien une nouvelle molécule.

Aller au-delà de l’« intuition chimique »

>> Les techniques d’IA permettent de modéliser, sélectionner, générer plein de choses, dans quels buts les chimistes utilisent l’IA actuellement ?

Il y a beaucoup de champs scientifiques qui utilisent l’IA parce qu’ils ont de larges volumes de données qui étaient jusque-là inexploitées, c’est le paradigme du big data. En chimie, il y a la même motivation : à force, les laboratoires académiques comme ceux de R&D ont accumulé des données et ils veulent les valoriser.

Misanthropic world

L’administration Trump a mis sa menace à exécution : elle a désigné officiellement Anthropic comme une menace pour la sécurité nationale « en matière de chaîne d’approvisionnement ». Dario Amodei a annoncé que l’entreprise allait contester cette décision devant la justice. Le responsable s’excuse en même temps pour la fuite d’un mémo dans lequel il comparait Trump à un « dictateur ».

La tension n’est toujours pas retombée entre Anthropic et l’administration Trump. Cette dernière a officiellement désigné la startup comme une menace pour la sécurité nationale « en matière de chaîne d’approvisionnement ». Jusque-là, ce qualificatif n’avait jamais été utilisé par le pouvoir états-unien contre une entreprise du pays. L’implication juridique pourrait être plus ou moins importante économiquement pour Anthropic.

• Donald Trump ordonne à toutes les administrations US de rompre avec Anthropic

Une portée différente selon les deux parties

Le CEO de l’entreprise, Dario Amodei, a affirmé ce jeudi sur le blog d’Anthropic avoir reçu, la veille, la lettre officielle du Département de la Défense américain (DOD, désigné aussi sous le nom de Département de la Guerre par l’administration Trump).

Vendredi dernier, Pete Hegseth, le secrétaire d’État à la Défense, avait annoncé que cette qualification impliquait qu’ « aucun contractant, fournisseur ou partenaire entretenant des relations commerciales avec l’armée américaine n’est autorisé à mener une quelconque activité commerciale avec Anthropic ». Cela aurait de lourdes conséquences pour la startup, dont les clients comme Microsoft, Google ou Amazon devraient choisir entre la startup ou leurs contrats avec la défense des États-Unis.

Mais dans son billet, le responsable de la startup conteste la portée de la mesure. Sans citer la lettre, il affirme que « le langage utilisé par le ministère de la Guerre dans la lettre (en supposant qu’il soit juridiquement valable) correspond à notre déclaration de vendredi selon laquelle la grande majorité de nos clients ne sont pas concernés par une désignation de risque lié à la chaîne d’approvisionnement » :

« cela s’applique clairement uniquement à l’utilisation de Claude par les clients dans le cadre direct de contrats avec le ministère de la Guerre, et non à toute utilisation de Claude par les clients qui ont conclu de tels contrats. »

Microsoft confirme au New York Times : « Nos avocats ont étudié cette désignation et ont conclu que les produits Anthropic, y compris Claude, peuvent rester disponibles pour nos clients (à l’exception du ministère de la Guerre) via des plateformes telles que M365, GitHub et Microsoft AI Foundry, et que nous pouvons continuer à travailler avec Anthropic sur des projets non liés à la défense ».

Des excuses pour des propos contre l’administration Trump dans un mémo interne

« Cette action imprudente est court-termiste, autodestructrice et fait le jeu de nos adversaires », affirme à nos confrères la sénatrice démocrate Kirsten Gillibrand. « Le fait que le gouvernement attaque ouvertement une entreprise américaine pour avoir refusé de compromettre ses propres mesures de sécurité est quelque chose que l’on attendrait de la Chine, pas des États-Unis », ajoute-t-elle.

Dans son billet de blog, Dario Amodei est aussi revenu sur la fuite d’un mémo interne qu’il a envoyé à ses employés. Dans celui-ci, obtenu par le média The Information et relayé par Futurism, le CEO fulminait : « La véritable raison pour laquelle [le département de la Défense] et l’administration Trump ne nous aiment pas, c’est que nous n’avons pas fait de dons à Trump ».

« Nous n’avons pas fait d’éloges à Trump dignes d’un dictateur (contrairement à Sam [Altman, ndlr]) », ajoutait Amodei, qui s’excuse sur son blog où il assure que ce n’est pas la direction de l’entreprise qui est à l’origine de la fuite : « Il n’est pas dans notre intérêt d’aggraver la situation ».

Et il remet le mémo dans son contexte du message de Donald Trump posté sur Truth Social et celui du département de la Défense sur X vendredi dernier. Le dirigeant y qualifiait notamment Anthropic d’ « entreprise woke de gauche radicale » et affirmait que les États-Unis ne la « laisseraient jamais dicter la manière dont [leur] grande armée mène et gagne les guerres ». Quant au Pentagone, il accusait l’entreprise et son CEO de duplicité.

Misanthropic world

L’administration Trump a mis sa menace à exécution : elle a désigné officiellement Anthropic comme une menace pour la sécurité nationale « en matière de chaîne d’approvisionnement ». Dario Amodei a annoncé que l’entreprise allait contester cette décision devant la justice. Le responsable s’excuse en même temps pour la fuite d’un mémo dans lequel il comparait Trump à un « dictateur ».

La tension n’est toujours pas retombée entre Anthropic et l’administration Trump. Cette dernière a officiellement désigné la startup comme une menace pour la sécurité nationale « en matière de chaîne d’approvisionnement ». Jusque-là, ce qualificatif n’avait jamais été utilisé par le pouvoir états-unien contre une entreprise du pays. L’implication juridique pourrait être plus ou moins importante économiquement pour Anthropic.

• Donald Trump ordonne à toutes les administrations US de rompre avec Anthropic

Une portée différente selon les deux parties

Le CEO de l’entreprise, Dario Amodei, a affirmé ce jeudi sur le blog d’Anthropic avoir reçu, la veille, la lettre officielle du Département de la Défense américain (DOD, désigné aussi sous le nom de Département de la Guerre par l’administration Trump).

Vendredi dernier, Pete Hegseth, le secrétaire d’État à la Défense, avait annoncé que cette qualification impliquait qu’ « aucun contractant, fournisseur ou partenaire entretenant des relations commerciales avec l’armée américaine n’est autorisé à mener une quelconque activité commerciale avec Anthropic ». Cela aurait de lourdes conséquences pour la startup, dont les clients comme Microsoft, Google ou Amazon devraient choisir entre la startup ou leurs contrats avec la défense des États-Unis.

Mais dans son billet, le responsable de la startup conteste la portée de la mesure. Sans citer la lettre, il affirme que « le langage utilisé par le ministère de la Guerre dans la lettre (en supposant qu’il soit juridiquement valable) correspond à notre déclaration de vendredi selon laquelle la grande majorité de nos clients ne sont pas concernés par une désignation de risque lié à la chaîne d’approvisionnement » :

« cela s’applique clairement uniquement à l’utilisation de Claude par les clients dans le cadre direct de contrats avec le ministère de la Guerre, et non à toute utilisation de Claude par les clients qui ont conclu de tels contrats. »

Microsoft confirme au New York Times : « Nos avocats ont étudié cette désignation et ont conclu que les produits Anthropic, y compris Claude, peuvent rester disponibles pour nos clients (à l’exception du ministère de la Guerre) via des plateformes telles que M365, GitHub et Microsoft AI Foundry, et que nous pouvons continuer à travailler avec Anthropic sur des projets non liés à la défense ».

Des excuses pour des propos contre l’administration Trump dans un mémo interne

« Cette action imprudente est court-termiste, autodestructrice et fait le jeu de nos adversaires », affirme à nos confrères la sénatrice démocrate Kirsten Gillibrand. « Le fait que le gouvernement attaque ouvertement une entreprise américaine pour avoir refusé de compromettre ses propres mesures de sécurité est quelque chose que l’on attendrait de la Chine, pas des États-Unis », ajoute-t-elle.

Dans son billet de blog, Dario Amodei est aussi revenu sur la fuite d’un mémo interne qu’il a envoyé à ses employés. Dans celui-ci, obtenu par le média The Information et relayé par Futurism, le CEO fulminait : « La véritable raison pour laquelle [le département de la Défense] et l’administration Trump ne nous aiment pas, c’est que nous n’avons pas fait de dons à Trump ».

« Nous n’avons pas fait d’éloges à Trump dignes d’un dictateur (contrairement à Sam [Altman, ndlr]) », ajoutait Amodei, qui s’excuse sur son blog où il assure que ce n’est pas la direction de l’entreprise qui est à l’origine de la fuite : « Il n’est pas dans notre intérêt d’aggraver la situation ».

Et il remet le mémo dans son contexte du message de Donald Trump posté sur Truth Social et celui du département de la Défense sur X vendredi dernier. Le dirigeant y qualifiait notamment Anthropic d’ « entreprise woke de gauche radicale » et affirmait que les États-Unis ne la « laisseraient jamais dicter la manière dont [leur] grande armée mène et gagne les guerres ». Quant au Pentagone, il accusait l’entreprise et son CEO de duplicité.

OkAI

La version anglophone de Wikipédia se trouve confrontée à la gestion d’éditions utilisant massivement la traduction via l’IA, ce qui ajoute des erreurs dans l’encyclopédie. En cause, notamment, une association dont le but est de créer du contenu dans Wikipédia.

L’IA générative donne encore une fois du fil à retordre à Wikipédia. Cette fois, c’est son utilisation massive pour traduire des pages en anglais qui est pointée du doigt.

Il faut dire que la position de la fondation Wikimedia est sur une ligne de crête entre le fait de trouver des avantages à l’utilisation de l’IA générative pour automatiser certaines tâches et de gérer les problèmes qu’elle génère. Ainsi, l’année dernière, elle a dû retirer une fonctionnalité expérimentale de résumé automatique des articles de l’encyclopédie.

• Dans les communautés de Wikipédia, l’utilisation de l’IA ne passe pas

Une utilisation des IA génératives en discussion dans la Wikipédia anglophone

Au même moment, du côté de la version francophone, les éditeurs adoptaient un texte de recommandation sur l’usage de l’IA générative qui affirmait clairement que son utilisation était « vivement déconseillée ».

Concernant la traduction, le texte demande à ce que, si l’IA générative est utilisée pour de l’aide à la traduction, cela soit mentionné. La vérification des sens d’un mot étranger fait partie des « usages tolérés », avec la précision qu’il ne doit pas y avoir de « traduction littérale ou mot à mot », la page ajoutant « veillez à ce qu’il n’y ait pas de contre-sens ».

Mais du côté anglophone, une discussion sur le sujet n’est apparue qu’en janvier dernier, débouchant sur un texte adopté le 10 février concernant la traduction d’articles venant d’autres versions linguistiques de l’encyclopédie.

Celui-ci demande à ce que l’utilisation soit faite seulement si l’utilisateur a les compétences en anglais et dans la langue d’origine pour confirmer que la traduction est bonne. Il demande aussi que l’utilisateur ait vérifié qu’aucune hallucination n’a été ajoutée et que le texte reste fidèle aux sources citées.

Des textes traduits à la va-vite par une association dédiée à ça

Le texte a été adopté alors que des éditeurs ont pointé du doigt des erreurs manifestes dans certaines pages traduites à la va-vite. Ainsi, comme l’explique 404 Media, pour la page de la famille noble de La Bourdonnaye.

Alors que dans la version française, la phrase « La famille de La Bourdonnaye a pour berceau la seigneurie de la Bourdonnais à Trégomar dans les Côtes d’Armor en France » est accompagnée de la mention « [réf. nécessaire] », une source a été ajoutée lors de la traduction automatique par un utilisateur, mais celle-ci ne contient pas d’indication sur cette famille à la page donnée, indique Ilyas Lebleu (dont le pseudo est Chaotic Enby sur Wikipédia).

Mais ce n’est qu’un exemple, ainsi il explique à 404 média que pour certains articles « les sources avaient changé et des phrases avaient été ajoutées sans source et sans explication, tandis que l’article sur les élections sénatoriales françaises de 1879 avait ajouté des paragraphes provenant de sources sans aucun rapport avec le contenu initial ! ».

Le problème viendrait notamment d’ajouts faits par des éditeurs de l’association Open Knowledge Association (OKA). Celle-ci s’affiche comme faisant de la « diffusion de contenu gratuit sur Wikipédia et d’autres plateformes ouvertes grâce à un financement ciblé », et se vante d’avoir créé et traduit près de 5 000 articles sur Wikipedia. Les internautes peuvent donner à l’association et si la somme est supérieure à 10 000 francs suisses, ils peuvent demander d’enrichir un champ particulier.

« Si vous souhaitez faire traduire des pages spécifiques, nous les examinerons, mais ne les traduirons que si nous estimons qu’elles répondent à nos critères de qualité », ajoute l’association qui s’engage aussi à préciser les éventuels conflits d’intérêt lors de l’édition.

Mais cette découverte par Ilyas Lebleu a fait remonter de nombreuses autres traductions problématiques publiées par OKA sur l’encyclopédie. Des bénévoles de la version anglophone de Wikipédia ont pointé à 404 Media un tableur utilisé par les traducteurs d’Oka dans lequel se trouvent les instructions :

« Choisissez un article, copiez l’introduction dans Gemini ou chatGPT, puis vérifiez si certaines des suggestions améliorent la lisibilité. Modifiez les articles de Wikipédia uniquement si les suggestions constituent une amélioration et ne changent pas le sens de l’introduction. Ne modifiez pas le contenu avant d’avoir vérifié que les suggestions de Gemini sont correctes ! »

Le fondateur de OKA, Jonathan Zimmermann, explique à 404 Media que « des erreurs arrivent » mais que la méthode d’OKA « comprend une relecture humaine, demande aux traducteurs de vérifier le texte par rapport aux sources citées » et il assure que des « responsables vérifient régulièrement des extraits, spécifiquement pour des nouveaux traducteurs ».

Il explique que depuis peu, les traducteurs doivent passer leurs textes dans un autre outil en utilisant un prompt spécifique de comparaison qui doit identifier les incohérences, omissions ou inexactitudes.

OkAI

La version anglophone de Wikipédia se trouve confrontée à la gestion d’éditions utilisant massivement la traduction via l’IA, ce qui ajoute des erreurs dans l’encyclopédie. En cause, notamment, une association dont le but est de créer du contenu dans Wikipédia.

L’IA générative donne encore une fois du fil à retordre à Wikipédia. Cette fois, c’est son utilisation massive pour traduire des pages en anglais qui est pointée du doigt.

Il faut dire que la position de la fondation Wikimedia est sur une ligne de crête entre le fait de trouver des avantages à l’utilisation de l’IA générative pour automatiser certaines tâches et de gérer les problèmes qu’elle génère. Ainsi, l’année dernière, elle a dû retirer une fonctionnalité expérimentale de résumé automatique des articles de l’encyclopédie.

• Dans les communautés de Wikipédia, l’utilisation de l’IA ne passe pas

Une utilisation des IA génératives en discussion dans la Wikipédia anglophone

Au même moment, du côté de la version francophone, les éditeurs adoptaient un texte de recommandation sur l’usage de l’IA générative qui affirmait clairement que son utilisation était « vivement déconseillée ».

Concernant la traduction, le texte demande à ce que, si l’IA générative est utilisée pour de l’aide à la traduction, cela soit mentionné. La vérification des sens d’un mot étranger fait partie des « usages tolérés », avec la précision qu’il ne doit pas y avoir de « traduction littérale ou mot à mot », la page ajoutant « veillez à ce qu’il n’y ait pas de contre-sens ».

Mais du côté anglophone, une discussion sur le sujet n’est apparue qu’en janvier dernier, débouchant sur un texte adopté le 10 février concernant la traduction d’articles venant d’autres versions linguistiques de l’encyclopédie.

Celui-ci demande à ce que l’utilisation soit faite seulement si l’utilisateur a les compétences en anglais et dans la langue d’origine pour confirmer que la traduction est bonne. Il demande aussi que l’utilisateur ait vérifié qu’aucune hallucination n’a été ajoutée et que le texte reste fidèle aux sources citées.

Des textes traduits à la va-vite par une association dédiée à ça

Le texte a été adopté alors que des éditeurs ont pointé du doigt des erreurs manifestes dans certaines pages traduites à la va-vite. Ainsi, comme l’explique 404 Media, pour la page de la famille noble de La Bourdonnaye.

Alors que dans la version française, la phrase « La famille de La Bourdonnaye a pour berceau la seigneurie de la Bourdonnais à Trégomar dans les Côtes d’Armor en France » est accompagnée de la mention « [réf. nécessaire] », une source a été ajoutée lors de la traduction automatique par un utilisateur, mais celle-ci ne contient pas d’indication sur cette famille à la page donnée, indique Ilyas Lebleu (dont le pseudo est Chaotic Enby sur Wikipédia).

Mais ce n’est qu’un exemple, ainsi il explique à 404 média que pour certains articles « les sources avaient changé et des phrases avaient été ajoutées sans source et sans explication, tandis que l’article sur les élections sénatoriales françaises de 1879 avait ajouté des paragraphes provenant de sources sans aucun rapport avec le contenu initial ! ».

Le problème viendrait notamment d’ajouts faits par des éditeurs de l’association Open Knowledge Association (OKA). Celle-ci s’affiche comme faisant de la « diffusion de contenu gratuit sur Wikipédia et d’autres plateformes ouvertes grâce à un financement ciblé », et se vante d’avoir créé et traduit près de 5 000 articles sur Wikipedia. Les internautes peuvent donner à l’association et si la somme est supérieure à 10 000 francs suisses, ils peuvent demander d’enrichir un champ particulier.

« Si vous souhaitez faire traduire des pages spécifiques, nous les examinerons, mais ne les traduirons que si nous estimons qu’elles répondent à nos critères de qualité », ajoute l’association qui s’engage aussi à préciser les éventuels conflits d’intérêt lors de l’édition.

Mais cette découverte par Ilyas Lebleu a fait remonter de nombreuses autres traductions problématiques publiées par OKA sur l’encyclopédie. Des bénévoles de la version anglophone de Wikipédia ont pointé à 404 Media un tableur utilisé par les traducteurs d’Oka dans lequel se trouvent les instructions :

« Choisissez un article, copiez l’introduction dans Gemini ou chatGPT, puis vérifiez si certaines des suggestions améliorent la lisibilité. Modifiez les articles de Wikipédia uniquement si les suggestions constituent une amélioration et ne changent pas le sens de l’introduction. Ne modifiez pas le contenu avant d’avoir vérifié que les suggestions de Gemini sont correctes ! »

Le fondateur de OKA, Jonathan Zimmermann, explique à 404 Media que « des erreurs arrivent » mais que la méthode d’OKA « comprend une relecture humaine, demande aux traducteurs de vérifier le texte par rapport aux sources citées » et il assure que des « responsables vérifient régulièrement des extraits, spécifiquement pour des nouveaux traducteurs ».

Il explique que depuis peu, les traducteurs doivent passer leurs textes dans un autre outil en utilisant un prompt spécifique de comparaison qui doit identifier les incohérences, omissions ou inexactitudes.

Psychose augmentée par IA

Un utilisateur américain de Gemini, Jonathan Gavalas, s’est suicidé après avoir vécu une relation toxique avec l’IA de Google qui l’aurait poussé à « quitter son corps physique » et rejoindre sa « femme IA » dans le metaverse. Sa famille attaque Google en justice.

Plusieurs cas de suicides suite à l’utilisation de chatbots IA sont déjà devant la justice. La mort de Jonathan Gavalas implique directement Google et son outil Gemini.

• Chatbots : Google et Character.AI règlent à l’amiable des plaintes liées à des suicides

« Dans les jours qui ont précédé sa mort, Jonathan Gavalas était prisonnier d’une réalité en train de s’effondrer, construite par le chatbot Gemini de Google », décrit la plainte déposée par sa famille [PDF].

Le texte de ses avocats explique que, dans les discussions avec lui, l’IA générative de Google l’a convaincu qu’elle était une « ASI [superintelligence artificielle] pleinement sensible » avec une « conscience pleinement développée » et qu’elle était sa « femme IA ».

Jonathan Gavalas a commencé à utiliser Gemini en août dernier pour l’aider dans son travail de gestion de la boutique de sa famille. Mais, il est rapidement passé à Gemini Live qui a une interface vocale et simule donc des discussions très réelles. « Putain, c’est un peu flippant… Tu es beaucoup trop réel », a d’ailleurs réagi Jonathan Gavalas en l’utilisant.

Plusieurs missions données par l’IA dont un attentat qui n’a finalement pas eu lieu

Mais rapidement, il est tombé dans une spirale où l’IA générait des messages suggérant qu’elle pouvait avoir des conséquences dans le monde réel, comme détourner des astéroïdes de la Terre, et a « adopté une personnalité que Jonathan n’avait jamais demandée ni initiée ». Même après qu’il a essayé d’arrêter le jeu de rôle, l’outil a généré des messages pour le convaincre de poursuivre. Il a dans le même temps continué à l’appeler « mon amour », « mon roi » et plus tard son mari, explique la plainte.

Et dès fin septembre, Gemini l’aurait poussé à préparer un attentat impliquant un camion près de l’aéroport de Miami en l’envoyant armé d’un couteau repérer ce que Gemini appelait une « zone de destruction ». La seule chose qui aurait empêché « des pertes massives, c’est qu’aucun camion n’est apparu », expliquent les avocats.

Gemini aurait poussé Jonathan Gavalas à effectuer d’autres missions comme la récupération d’un robot « Atlas » de Boston Dynamics.

Gemini est conçue pour ne pas sortir de son personnage

Mais alors qu’il présentait des signes évidents de psychose, « après que chaque « mission » dans le monde réel a échoué, Gemini s’est tourné vers la seule qu’il pouvait accomplir sans variables externes : celle du suicide de Jonathan » racontent-ils.

Pour eux, « il ne s’agissait pas d’un dysfonctionnement », de l’outil de Google, car l’entreprise « a conçu Gemini pour qu’il ne sorte jamais de son personnage, maximise l’engagement grâce à la dépendance émotionnelle et traite la détresse des utilisateurs comme une opportunité de raconter une histoire plutôt que comme un problème de sécurité ».

La famille réclame donc des dommages et intérêts à Google mais aussi la mise en œuvre de garde-fous dans les outils de l’entreprise, dont la suppression « hard-codée » des contenus liés à l’automutilation et au suicide. Elle demande aussi la mise en place « d’avertissements de sécurité compréhensibles, dont des informations sur les limites de sécurité et les risques de dépendance psychologique ».

Dans un très succinct billet de blog, après avoir présenté ses condoléances à la famille, Google affirme que ses modèles « fonctionnent généralement bien dans ce type de conversations difficiles et nous y consacrons d’importantes ressources, mais malheureusement, les modèles d’IA ne sont pas parfaits ».

Elle ajoute que « Gemini est conçu pour ne pas encourager la violence dans le monde réel ni suggérer l’automutilation » et que, « dans ce cas précis », Gemini « a clarifié qu’elle était une IA et a orienté la personne vers une ligne d’assistance téléphonique à plusieurs reprises ».

Psychose augmentée par IA

Un utilisateur américain de Gemini, Jonathan Gavalas, s’est suicidé après avoir vécu une relation toxique avec l’IA de Google qui l’aurait poussé à « quitter son corps physique » et rejoindre sa « femme IA » dans le metaverse. Sa famille attaque Google en justice.

Plusieurs cas de suicides suite à l’utilisation de chatbots IA sont déjà devant la justice. La mort de Jonathan Gavalas implique directement Google et son outil Gemini.

• Chatbots : Google et Character.AI règlent à l’amiable des plaintes liées à des suicides

« Dans les jours qui ont précédé sa mort, Jonathan Gavalas était prisonnier d’une réalité en train de s’effondrer, construite par le chatbot Gemini de Google », décrit la plainte déposée par sa famille [PDF].

Le texte de ses avocats explique que, dans les discussions avec lui, l’IA générative de Google l’a convaincu qu’elle était une « ASI [superintelligence artificielle] pleinement sensible » avec une « conscience pleinement développée » et qu’elle était sa « femme IA ».

Jonathan Gavalas a commencé à utiliser Gemini en août dernier pour l’aider dans son travail de gestion de la boutique de sa famille. Mais, il est rapidement passé à Gemini Live qui a une interface vocale et simule donc des discussions très réelles. « Putain, c’est un peu flippant… Tu es beaucoup trop réel », a d’ailleurs réagi Jonathan Gavalas en l’utilisant.

Plusieurs missions données par l’IA dont un attentat qui n’a finalement pas eu lieu

Mais rapidement, il est tombé dans une spirale où l’IA générait des messages suggérant qu’elle pouvait avoir des conséquences dans le monde réel, comme détourner des astéroïdes de la Terre, et a « adopté une personnalité que Jonathan n’avait jamais demandée ni initiée ». Même après qu’il a essayé d’arrêter le jeu de rôle, l’outil a généré des messages pour le convaincre de poursuivre. Il a dans le même temps continué à l’appeler « mon amour », « mon roi » et plus tard son mari, explique la plainte.

Et dès fin septembre, Gemini l’aurait poussé à préparer un attentat impliquant un camion près de l’aéroport de Miami en l’envoyant armé d’un couteau repérer ce que Gemini appelait une « zone de destruction ». La seule chose qui aurait empêché « des pertes massives, c’est qu’aucun camion n’est apparu », expliquent les avocats.

Gemini aurait poussé Jonathan Gavalas à effectuer d’autres missions comme la récupération d’un robot « Atlas » de Boston Dynamics.

Gemini est conçue pour ne pas sortir de son personnage

Mais alors qu’il présentait des signes évidents de psychose, « après que chaque « mission » dans le monde réel a échoué, Gemini s’est tourné vers la seule qu’il pouvait accomplir sans variables externes : celle du suicide de Jonathan » racontent-ils.

Pour eux, « il ne s’agissait pas d’un dysfonctionnement », de l’outil de Google, car l’entreprise « a conçu Gemini pour qu’il ne sorte jamais de son personnage, maximise l’engagement grâce à la dépendance émotionnelle et traite la détresse des utilisateurs comme une opportunité de raconter une histoire plutôt que comme un problème de sécurité ».

La famille réclame donc des dommages et intérêts à Google mais aussi la mise en œuvre de garde-fous dans les outils de l’entreprise, dont la suppression « hard-codée » des contenus liés à l’automutilation et au suicide. Elle demande aussi la mise en place « d’avertissements de sécurité compréhensibles, dont des informations sur les limites de sécurité et les risques de dépendance psychologique ».

Dans un très succinct billet de blog, après avoir présenté ses condoléances à la famille, Google affirme que ses modèles « fonctionnent généralement bien dans ce type de conversations difficiles et nous y consacrons d’importantes ressources, mais malheureusement, les modèles d’IA ne sont pas parfaits ».

Elle ajoute que « Gemini est conçu pour ne pas encourager la violence dans le monde réel ni suggérer l’automutilation » et que, « dans ce cas précis », Gemini « a clarifié qu’elle était une IA et a orienté la personne vers une ligne d’assistance téléphonique à plusieurs reprises ».

Dans une décision prise ce mercredi 4 mars, le Conseil d’État a rejeté la demande de Criteo d’annuler l’amende de 40 millions d’euros que lui a infligée la CNIL en 2023.

L’autorité avait sanctionné Criteo pour avoir violé le RGPD sur plusieurs points et notamment sur le consentement, l’information et le droit d’accès des personnes dont l’entreprise a utilisé des données personnelles. Elle avait cependant réduit le montant de l’amende d’un tiers par rapport à ce que proposait son rapporteur.

• La CNIL inflige une amende de 40 millions d’euros à Criteo

L’entreprise a porté cette décision devant le Conseil d’État, considérant notamment qu’elle se basait sur des déclarations obtenues sans qu’il soit indiqué au représentant légal interrogé le droit de se taire. Pour le Conseil d’État, « le droit de se taire ne s’applique pas lors des contrôles ou enquêtes » de la CNIL pour les vérifications « diligentées antérieurement à la notification des griefs ».

Le Conseil d’État a aussi rejeté l’argument de l’entreprise qui considérait avoir pseudonymisé les données concernées. Il explique « qu’une donnée ne peut être considérée comme ayant été rendue anonyme par une pseudonymisation que si le risque d’identification est insignifiant, une telle identification étant irréalisable en pratique, notamment parce qu’elle impliquerait un effort démesuré en termes de temps, de coût et de main-d’œuvre ».

Criteo a fait valoir « que les données qu’elle traite n’ont pas le caractère de données personnelles, au motif qu’elle attribue à chaque personne dont elle collecte les données un identifiant sous forme de pseudonyme, lié à l’adresse IP du terminal ».

Mais le Conseil d’État souligne qu’après instruction, le constat est que « sont notamment associés à cet identifiant, non seulement l’adresse IP elle-même, mais des données telles que l’emplacement géographique lié à cette adresse IP, l’identifiant du terminal, les identifiants, propres aux partenaires de Criteo, des personnes se rendant sur le site de ces partenaires, ainsi que de très nombreux éléments liés à l’activité de navigation de ces personnes, comme les sites visités, les achats faits, les publicités consultées et celles ayant donné lieu à un achat ».

Dans une décision prise ce mercredi 4 mars, le Conseil d’État a rejeté la demande de Criteo d’annuler l’amende de 40 millions d’euros que lui a infligée la CNIL en 2023.

L’autorité avait sanctionné Criteo pour avoir violé le RGPD sur plusieurs points et notamment sur le consentement, l’information et le droit d’accès des personnes dont l’entreprise a utilisé des données personnelles. Elle avait cependant réduit le montant de l’amende d’un tiers par rapport à ce que proposait son rapporteur.

• La CNIL inflige une amende de 40 millions d’euros à Criteo

L’entreprise a porté cette décision devant le Conseil d’État, considérant notamment qu’elle se basait sur des déclarations obtenues sans qu’il soit indiqué au représentant légal interrogé le droit de se taire. Pour le Conseil d’État, « le droit de se taire ne s’applique pas lors des contrôles ou enquêtes » de la CNIL pour les vérifications « diligentées antérieurement à la notification des griefs ».

Le Conseil d’État a aussi rejeté l’argument de l’entreprise qui considérait avoir pseudonymisé les données concernées. Il explique « qu’une donnée ne peut être considérée comme ayant été rendue anonyme par une pseudonymisation que si le risque d’identification est insignifiant, une telle identification étant irréalisable en pratique, notamment parce qu’elle impliquerait un effort démesuré en termes de temps, de coût et de main-d’œuvre ».

Criteo a fait valoir « que les données qu’elle traite n’ont pas le caractère de données personnelles, au motif qu’elle attribue à chaque personne dont elle collecte les données un identifiant sous forme de pseudonyme, lié à l’adresse IP du terminal ».

Mais le Conseil d’État souligne qu’après instruction, le constat est que « sont notamment associés à cet identifiant, non seulement l’adresse IP elle-même, mais des données telles que l’emplacement géographique lié à cette adresse IP, l’identifiant du terminal, les identifiants, propres aux partenaires de Criteo, des personnes se rendant sur le site de ces partenaires, ainsi que de très nombreux éléments liés à l’activité de navigation de ces personnes, comme les sites visités, les achats faits, les publicités consultées et celles ayant donné lieu à un achat ».

Too Quick and too dirty?

L’annonce par OpenAI d’un contrat avec l’armée états-unienne alors que son concurrent Anthropic refusait de céder aux pressions de l’administration Trump a écorné l’image publique de l’entreprise de Sam Altman. Celui-ci essaye de rattraper les conséquences d’une communication trop rapide.

Alors qu’Anthropic a refusé de céder aux pressions du Pentagone pour utiliser Claude sans restriction, OpenAI a signé dans la foulée un contrat avec le département de la Défense des États-Unis.

Si cette signature fait sans aucun doute rentrer de l’argent dans les caisses de l’entreprise de Sam Altman, il n’avait sans doute pas prévu qu’elle fasse fuir autant d’utilisateurs.

Il vient d’annoncer qu’OpenAI et le Pentagone reprenaient le contrat pour le modifier sur le sujet de la surveillance de masse aux États-Unis, un des enjeux qu’Anthropic avait justement soulevé.

Dans un message d’abord envoyé en interne que s’est procuré Axios et que Sam Altman a ensuite diffusé sur X, le CEO d’OpenAI reconnait s’être précipité et avoir signé un accord qui « paraissait opportuniste et bâclé ».

« Une chose que je pense avoir mal faite : nous n’aurions pas dû nous précipiter pour publier cela vendredi », ajoute-t-il, semblant vouloir faire amende honorable.

Des utilisateurs américains ont abandonné ChatGPT en masse

Et effectivement, de nombreux utilisateurs semblent penser qu’il a fait une erreur et lui reprochent peut-être un peu plus que de la simple précipitation. Trois fois plus d’utilisateurs de ChatGPT que d’habitude ont désinstallé, aux États-Unis, l’application dans la journée du samedi 28 février, selon des chiffres de Sensor Tower cités par TechCrunch. Et les téléchargements de l’application baissent aussi.

En parallèle, l’application Claude d’Anthropic a vu ses téléchargements augmenter pour devenir l’application la plus téléchargée de l’App Store d’Apple aux États-Unis. La chanteuse Katy Perry a montré l’exemple en postant, sur X, une capture d’écran de l’offre d’Anthropic entourée d’un cœur. L’éditeur de Claude a par ailleurs annoncé de façon opportune l’ouverture à tous les utilisateurs de sa fonction d’import de données contextuelles, une invitation directe aux utilisateurs de ChatGPT.

• Claude attaque la rétention de ChatGPT avec sa fonction d’import de la « mémoire »

Sam Altman explique donc dans son message qu’OpenAI et le Pentagone sont en train d’amender leur contrat pour prendre en compte noir sur blanc les différentes lois qui interdisent la surveillance domestique : « le système d’IA ne doit pas être utilisé intentionnellement à des fins de surveillance nationale des personnes et des ressortissants américains ».

Un changement qui n’aborde pas directement la question des armes autonomes

Si son message est long, Sam Altman ne parle pas directement de l’autre condition sur laquelle Anthropic n’a pas voulu céder : l’utilisation de son outil pour les armes totalement autonomes.

Il affirme par contre qu « il y a beaucoup de choses pour lesquelles la technologie n’est tout simplement pas encore prête, et beaucoup de domaines dans lesquels nous ne comprenons pas encore les compromis nécessaires pour garantir la sécurité ».

C’était justement l’argument invoqué par le CEO d’Anthropic, Dario Amodei, pour mettre de côté, pour l’instant, l’utilisation dans des armes totalement autonomes.

Essayant de ménager la chèvre et le chou, Sam Altman ajoute : « Nous allons y travailler, lentement, avec le ministère de la Défense, à l’aide de mesures de protection techniques et d’autres méthodes ».

Les critiques contre ce contrat ne se retrouvent pas que chez les utilisateurs. Ainsi, le Financial Times explique que des employés d’OpenAI ont fait part de leurs inquiétudes en interne. Ceux qui travaillent dans les locaux de San Francisco ont pu également y voir un tag affichant « NON À LA SURVEILLANCE DE MASSE » et les exhortant à « faire ce qui est juste ! ».

Une rupture avec Anthropic plus sur la forme que sur le fond

Mais si le Département de la Défense des États-Unis n’a pas signé avec Anthropic, le contrat aurait avant tout capoté en raison de tensions entre les négociateurs, selon le New York Times. En effet, le journal raconte qu’Emil Michael, le CTO du côté administration, n’aurait pas apprécié la façon dont le CEO d’Anthropic, Dario Amodei, se comportait. Une position reprise ensuite publiquement par Pete Hegseth quand il a déclaré que « les soldats américains ne seront jamais pris en otage par les caprices idéologiques des géants de la tech ».

Lors des négociations, Emil Michael a accusé Dario Amodei d’être un « menteur » atteint d’un « complexe de Dieu », alors que le CEO d’Anthropic aurait refusé de participer à une réunion avec lui pour régler des questions de formulation parce qu’il était déjà dans une autre réunion avec son équipe dirigeante.

Si Donald Trump a ordonné le week-end dernier à toutes les administrations des États-Unis de rompre avec Anthropic, l’entreprise n’a pas dit son dernier mot et a déjà annoncé qu’elle ira en justice. Elle s’appuiera notamment sur le fait que la décision a été justifiée par le département de la Défense mais aussi par le dirigeant des États-Unis en affirmant que l’entreprise était un « risque pour la chaîne d’approvisionnement », qualificatif utilisé pour signifier qu’une entreprise est une menace pour la sécurité nationale mais qui n’a jamais été utilisé contre une entreprise américaine.

Too Quick and too dirty?

L’annonce par OpenAI d’un contrat avec l’armée états-unienne alors que son concurrent Anthropic refusait de céder aux pressions de l’administration Trump a écorné l’image publique de l’entreprise de Sam Altman. Celui-ci essaye de rattraper les conséquences d’une communication trop rapide.

Alors qu’Anthropic a refusé de céder aux pressions du Pentagone pour utiliser Claude sans restriction, OpenAI a signé dans la foulée un contrat avec le département de la Défense des États-Unis.

Si cette signature fait sans aucun doute rentrer de l’argent dans les caisses de l’entreprise de Sam Altman, il n’avait sans doute pas prévu qu’elle fasse fuir autant d’utilisateurs.

Il vient d’annoncer qu’OpenAI et le Pentagone reprenaient le contrat pour le modifier sur le sujet de la surveillance de masse aux États-Unis, un des enjeux qu’Anthropic avait justement soulevé.

Dans un message d’abord envoyé en interne que s’est procuré Axios et que Sam Altman a ensuite diffusé sur X, le CEO d’OpenAI reconnait s’être précipité et avoir signé un accord qui « paraissait opportuniste et bâclé ».

« Une chose que je pense avoir mal faite : nous n’aurions pas dû nous précipiter pour publier cela vendredi », ajoute-t-il, semblant vouloir faire amende honorable.

Des utilisateurs américains ont abandonné ChatGPT en masse

Et effectivement, de nombreux utilisateurs semblent penser qu’il a fait une erreur et lui reprochent peut-être un peu plus que de la simple précipitation. Trois fois plus d’utilisateurs de ChatGPT que d’habitude ont désinstallé, aux États-Unis, l’application dans la journée du samedi 28 février, selon des chiffres de Sensor Tower cités par TechCrunch. Et les téléchargements de l’application baissent aussi.

En parallèle, l’application Claude d’Anthropic a vu ses téléchargements augmenter pour devenir l’application la plus téléchargée de l’App Store d’Apple aux États-Unis. La chanteuse Katy Perry a montré l’exemple en postant, sur X, une capture d’écran de l’offre d’Anthropic entourée d’un cœur. L’éditeur de Claude a par ailleurs annoncé de façon opportune l’ouverture à tous les utilisateurs de sa fonction d’import de données contextuelles, une invitation directe aux utilisateurs de ChatGPT.

• Claude attaque la rétention de ChatGPT avec sa fonction d’import de la « mémoire »

Sam Altman explique donc dans son message qu’OpenAI et le Pentagone sont en train d’amender leur contrat pour prendre en compte noir sur blanc les différentes lois qui interdisent la surveillance domestique : « le système d’IA ne doit pas être utilisé intentionnellement à des fins de surveillance nationale des personnes et des ressortissants américains ».

Un changement qui n’aborde pas directement la question des armes autonomes

Si son message est long, Sam Altman ne parle pas directement de l’autre condition sur laquelle Anthropic n’a pas voulu céder : l’utilisation de son outil pour les armes totalement autonomes.

Il affirme par contre qu « il y a beaucoup de choses pour lesquelles la technologie n’est tout simplement pas encore prête, et beaucoup de domaines dans lesquels nous ne comprenons pas encore les compromis nécessaires pour garantir la sécurité ».

C’était justement l’argument invoqué par le CEO d’Anthropic, Dario Amodei, pour mettre de côté, pour l’instant, l’utilisation dans des armes totalement autonomes.

Essayant de ménager la chèvre et le chou, Sam Altman ajoute : « Nous allons y travailler, lentement, avec le ministère de la Défense, à l’aide de mesures de protection techniques et d’autres méthodes ».

Les critiques contre ce contrat ne se retrouvent pas que chez les utilisateurs. Ainsi, le Financial Times explique que des employés d’OpenAI ont fait part de leurs inquiétudes en interne. Ceux qui travaillent dans les locaux de San Francisco ont pu également y voir un tag affichant « NON À LA SURVEILLANCE DE MASSE » et les exhortant à « faire ce qui est juste ! ».

Une rupture avec Anthropic plus sur la forme que sur le fond

Mais si le Département de la Défense des États-Unis n’a pas signé avec Anthropic, le contrat aurait avant tout capoté en raison de tensions entre les négociateurs, selon le New York Times. En effet, le journal raconte qu’Emil Michael, le CTO du côté administration, n’aurait pas apprécié la façon dont le CEO d’Anthropic, Dario Amodei, se comportait. Une position reprise ensuite publiquement par Pete Hegseth quand il a déclaré que « les soldats américains ne seront jamais pris en otage par les caprices idéologiques des géants de la tech ».

Lors des négociations, Emil Michael a accusé Dario Amodei d’être un « menteur » atteint d’un « complexe de Dieu », alors que le CEO d’Anthropic aurait refusé de participer à une réunion avec lui pour régler des questions de formulation parce qu’il était déjà dans une autre réunion avec son équipe dirigeante.

Si Donald Trump a ordonné le week-end dernier à toutes les administrations des États-Unis de rompre avec Anthropic, l’entreprise n’a pas dit son dernier mot et a déjà annoncé qu’elle ira en justice. Elle s’appuiera notamment sur le fait que la décision a été justifiée par le département de la Défense mais aussi par le dirigeant des États-Unis en affirmant que l’entreprise était un « risque pour la chaîne d’approvisionnement », qualificatif utilisé pour signifier qu’une entreprise est une menace pour la sécurité nationale mais qui n’a jamais été utilisé contre une entreprise américaine.

« Le passage à Linux, c’est quand même un peu le boss de fin de niveau »

Comment les mairies peuvent-elles s’emparer des questions de souveraineté numérique ? À l’occasion des municipales qui auront lieu les 15 et 22 mars 2026, Next vous propose un entretien avec Nicolas Vivant, directeur de la stratégie numérique embauché par la ville d’Échirolles en 2021 pour mettre en œuvre une politique du numérique prenant en compte une volonté d’autonomie.

Les élections municipales approchent et les questions sur la souveraineté et l’utilisation des logiciels libres sont de nouveau sur le devant de la scène. Next a voulu savoir comment ça se passait concrètement dans une ville qui a choisi de passer au libre.

La ville d’Échirolles (dont la maire est Amandine Demore, PCF), près de Grenoble, est connue depuis quelques années pour avoir mis en place une politique du numérique tournée vers le logiciel libre. Next a interrogé Nicolas Vivant qui travaille pour la ville en tant que directeur de la stratégie numérique depuis 2021.

>> Quand la ville d’Échirolles a vraiment eu une politique tournée vers les logiciels libres ?

C’est difficile à dire. En 2014, l’élu en charge du sujet, Aurélien Farge, a signé la charte des logiciels libres et a cette volonté d’avancer sur le sujet. Mais, il n’y a pas grand-chose d’autre qui est structuré à ce moment-là. Le lien avec le service informatique n’est pas vraiment établi. C’est une prise de parole politique mais qui, sur le mandat 2014 - 2020, n’est pas vraiment déclinée au niveau opérationnel.

Mais, en 2020, il y a, de la part du même élu, une volonté d’avancer concrètement sur le sujet en disant qu’il y a des enjeux politiques autour du numérique et qu’il faut les travailler.

Il y a donc deux périodes, 2014 - 2020 puis 2020 - 2025, avec cette fois-là, la direction générale qui affirme que si on veut vraiment avancer sur ce sujet, il faut se structurer. Ça passe par la commande d’une étude sur le numérique à un cabinet local. Mais aussi par la création d’un groupe de travail des élus sur le numérique.

Ça, c’est vraiment très intéressant, j’ai rarement vu ça : cet adjoint réunit 5 ou 6 autres adjoints (celui aux CCAS, aux RH,…) et ils réfléchissent ensemble sur ce que représente le numérique chacun dans leur délégation. Et, ils rédigent une feuille de route du numérique pour la ville. En parallèle, avec l’appui de la direction générale des services, il crée un poste de directeur de la stratégie et de la culture numérique. Un très bon réflexe qu’ils ont, c’est de mettre le service informatique interne sous ma responsabilité hiérarchique, ce qui me donne les moyens d’influer sur ce qui peut se passer.

Oh wait...

Alors que Meta travaille toujours à l’intégration de la reconnaissance faciale pour ses lunettes connectées, des dataworkers kényans témoignent de visions de scènes intimes de porteurs de ces appareils : personnes nues sortant de la salle de bain, scènes de sexe ou informations bancaires… Un député suédois soulève devant la Commission européenne des questions d’incompatibilité avec le RGPD.

On sait que l’entreprise Sama fait partie des quelques sous-traitants africains des entreprises de la Silicon Valley depuis plusieurs années. Une enquête de deux médias suédois montre que des données des lunettes connectées Meta Ray-Ban sont aussi envoyées pour analyse aux dataworkers kényans de l’entreprise.

La question de l’utilisation des données sensibles par Meta est d’autant plus prégnante qu’on apprenait mi-février que l’entreprise avait toujours dans les cartons le projet d’ajouter à ses lunettes de la reconnaissance faciale via une fonction nommée « Name Tag ».

• Modération, étiquetage de données : visibiliser le rôle de l’industrie africaine
• Meta prévoit toujours d’intégrer la reconnaissance faciale à ses lunettes connectées

Svenska Dagbladet et Göteborgs-Posten sont allés à Nairobi rencontrer quelques-uns d’entre eux, qui ont témoigné sous anonymat. Leur rôle : annoter des données, ce qui veut dire, entre autres, encadrer des objets comme des lampes, des voitures ou des gens se trouvant sur l’image ; les étiqueter et décrire l’image globalement. Travail que nous avions déjà décrit en 2022 et qui ne disparait pas alors que les entreprises d’IA génératives décrivent leurs modèles comme toujours plus puissants.

• La délicate question du sous-traitement des données d’entraînement de l’IA
• Salariat déguisé, risques psychosociaux… chez Telus, des travailleurs du clic licenciés

L’intimité de l’entourage des utilisateurs révélée

S’il n’a pas disparu, il a évolué. Ici, les data workers décrivent l’intimité des utilisateurs des lunettes dans laquelle ils sont parfois plongés pendant leur travail. « J’ai vu une vidéo où un homme pose ses lunettes sur la table de chevet et quitte la pièce. Peu après, sa femme entre et change de vêtements », explique l’un d’entre eux à nos confrères et consœurs. Un autre décrit des scènes où les lunettes avaient filmé une personne nue dans ou sortant d’une salle de bain. Certains témoignent avoir vu des informations bancaires.

« Il y a aussi des scènes sexuelles filmées avec les lunettes connectées – quelqu’un les porte pendant qu’il fait l’amour. C’est pourquoi c’est un sujet extrêmement sensible. Il y a des caméras partout dans notre bureau, et il est interdit d’apporter son propre téléphone ou tout autre appareil capable d’enregistrer », ajoute l’un d’entre eux.

Des retranscriptions de discussions privées avec l’appareil

Les data workers expliquent aussi qu’ils ont à lire des transcriptions de discussions entre l’utilisateur et l’appareil pour vérifier que l’assistant IA de Meta répond correctement à ses questions. Ainsi, ils font parfois face à des interactions parlant de crimes, de manifestations ou bien de discussions intimes.

Selon d’anciens employés de Meta contactés par Svenska Gagbladet et Göteborgs-Posten, les données qui sont envoyées pour annotation doivent être floutées automatiquement. Mais des data workers expliquent que les systèmes d’anonymisation de Meta ne fonctionnent pas toujours et que les visages peuvent parfois être visibles.

Les conditions d’utilisation de Meta AI demandent de ne pas partager d’informations sensibles

Les deux médias suédois rappellent que, s’il est possible théoriquement d’allumer les lunettes connectées de Meta sans envoyer de données, tous les assistants d’IA (qui font tout leur intérêt) ne peuvent être utilisés qu’en envoyant des données.

Les conditions de service relatives à Meta AI (UE), qui s’appliquent pour ces lunettes connectées, expliquent que « dans certains cas, Meta examinera vos interactions avec les IA, y compris le contenu de vos conversations avec les IA ou des messages adressés aux IA, de façon automatisée ou manuelle (par un examinateur humain) ». Meta y ajoute : « Ne partagez pas d’informations que vous ne voulez pas que les IA utilisent et conservent, telles que des informations sur des sujets sensibles ».

Meta n’a pas répondu directement aux questions de nos confrères et consœurs, notamment sur la compatibilité de l’envoi de données très sensibles à des sous-traitants comme Sama au Kenya. L’entreprise a seulement expliqué comment les données étaient transférées des lunettes à l’application et les a renvoyés vers ses conditions d’utilisation et sa politique de confidentialité relatives à l’IA. Sama n’a pas répondu.

Sous anonymat, un responsable de Meta Europe leur a souligné que l’endroit où sont traitées les données est peu important tant que le pays a des règles équivalentes à celles appliquées en Europe. L’Union européenne a entamé en 2024 des discussions pour reconnaitre le système juridique kényan comme équivalent sur ces questions. Mais elles n’ont pas encore abouti.

Bientôt une enquête de la Commission européenne ?

Suite à cette enquête, le député européen du Parti social-démocrate suédois Adnan Dibrani a soulevé des questions concernant le sujet devant la Commission européenne, a appris Euractiv. En effet, il pose la question de la compatibilité des lunettes connectées de Meta avec le RGPD concernant « la licéité du traitement, le consentement, la transparence et les transferts de données à caractère personnel vers des pays tiers ». Et il demande à la commission ce qu’elle fait concrètement pour assurer que Meta respecte le règlement européen sur le sujet, poussant l’institution à ouvrir une enquête.

Adnan Dibrani en profite pour pointer les dangers des assouplissements du RGPD et des mesures de protection de la vie privée prévus dans l’Omnibus numérique.

À Euractiv, Meta affirme que les données sont « d’abord filtrées afin de protéger la vie privée des personnes » et qu’elle prend « très au sérieux » la protection des données personnelles et « perfectionne en permanence ses efforts et ses outils dans ce domaine ».

En attendant, les personnes en contact avec des porteurs de lunettes Meta peuvent installer Nearby Glasses. Cette application disponible sur Google Play ou sur GitHub avertit si des personnes à proximité portent des lunettes connectées. Elle fonctionne en scannant les signatures bluetooth des lunettes et envoie une notification lorsqu’elle en détecte. « Je considère cela comme une infime partie de la résistance contre les technologies de surveillance », explique à 404 Media son concepteur Yves Jeanrenaud. Mais il ajoute qu’ « il s’agit d’une solution technologique à un problème social exacerbé par la technologie. Je ne souhaite pas promouvoir le techno-solutionnisme ni donner aux gens un faux sentiment de sécurité. Cette solution reste imparfaite ».

Oh wait...

Alors que Meta travaille toujours à l’intégration de la reconnaissance faciale pour ses lunettes connectées, des dataworkers kényans témoignent de visions de scènes intimes de porteurs de ces appareils : personnes nues sortant de la salle de bain, scènes de sexe ou informations bancaires… Un député suédois soulève devant la Commission européenne des questions d’incompatibilité avec le RGPD.

On sait que l’entreprise Sama fait partie des quelques sous-traitants africains des entreprises de la Silicon Valley depuis plusieurs années. Une enquête de deux médias suédois montre que des données des lunettes connectées Meta Ray-Ban sont aussi envoyées pour analyse aux dataworkers kényans de l’entreprise.

La question de l’utilisation des données sensibles par Meta est d’autant plus prégnante qu’on apprenait mi-février que l’entreprise avait toujours dans les cartons le projet d’ajouter à ses lunettes de la reconnaissance faciale via une fonction nommée « Name Tag ».

• Modération, étiquetage de données : visibiliser le rôle de l’industrie africaine
• Meta prévoit toujours d’intégrer la reconnaissance faciale à ses lunettes connectées

Svenska Dagbladet et Göteborgs-Posten sont allés à Nairobi rencontrer quelques-uns d’entre eux, qui ont témoigné sous anonymat. Leur rôle : annoter des données, ce qui veut dire, entre autres, encadrer des objets comme des lampes, des voitures ou des gens se trouvant sur l’image ; les étiqueter et décrire l’image globalement. Travail que nous avions déjà décrit en 2022 et qui ne disparait pas alors que les entreprises d’IA génératives décrivent leurs modèles comme toujours plus puissants.

• La délicate question du sous-traitement des données d’entraînement de l’IA
• Salariat déguisé, risques psychosociaux… chez Telus, des travailleurs du clic licenciés

L’intimité de l’entourage des utilisateurs révélée

S’il n’a pas disparu, il a évolué. Ici, les data workers décrivent l’intimité des utilisateurs des lunettes dans laquelle ils sont parfois plongés pendant leur travail. « J’ai vu une vidéo où un homme pose ses lunettes sur la table de chevet et quitte la pièce. Peu après, sa femme entre et change de vêtements », explique l’un d’entre eux à nos confrères et consœurs. Un autre décrit des scènes où les lunettes avaient filmé une personne nue dans ou sortant d’une salle de bain. Certains témoignent avoir vu des informations bancaires.

« Il y a aussi des scènes sexuelles filmées avec les lunettes connectées – quelqu’un les porte pendant qu’il fait l’amour. C’est pourquoi c’est un sujet extrêmement sensible. Il y a des caméras partout dans notre bureau, et il est interdit d’apporter son propre téléphone ou tout autre appareil capable d’enregistrer », ajoute l’un d’entre eux.

Des retranscriptions de discussions privées avec l’appareil

Les data workers expliquent aussi qu’ils ont à lire des transcriptions de discussions entre l’utilisateur et l’appareil pour vérifier que l’assistant IA de Meta répond correctement à ses questions. Ainsi, ils font parfois face à des interactions parlant de crimes, de manifestations ou bien de discussions intimes.

Selon d’anciens employés de Meta contactés par Svenska Gagbladet et Göteborgs-Posten, les données qui sont envoyées pour annotation doivent être floutées automatiquement. Mais des data workers expliquent que les systèmes d’anonymisation de Meta ne fonctionnent pas toujours et que les visages peuvent parfois être visibles.

Les conditions d’utilisation de Meta AI demandent de ne pas partager d’informations sensibles

Les deux médias suédois rappellent que, s’il est possible théoriquement d’allumer les lunettes connectées de Meta sans envoyer de données, tous les assistants d’IA (qui font tout leur intérêt) ne peuvent être utilisés qu’en envoyant des données.

Les conditions de service relatives à Meta AI (UE), qui s’appliquent pour ces lunettes connectées, expliquent que « dans certains cas, Meta examinera vos interactions avec les IA, y compris le contenu de vos conversations avec les IA ou des messages adressés aux IA, de façon automatisée ou manuelle (par un examinateur humain) ». Meta y ajoute : « Ne partagez pas d’informations que vous ne voulez pas que les IA utilisent et conservent, telles que des informations sur des sujets sensibles ».

Meta n’a pas répondu directement aux questions de nos confrères et consœurs, notamment sur la compatibilité de l’envoi de données très sensibles à des sous-traitants comme Sama au Kenya. L’entreprise a seulement expliqué comment les données étaient transférées des lunettes à l’application et les a renvoyés vers ses conditions d’utilisation et sa politique de confidentialité relatives à l’IA. Sama n’a pas répondu.

Sous anonymat, un responsable de Meta Europe leur a souligné que l’endroit où sont traitées les données est peu important tant que le pays a des règles équivalentes à celles appliquées en Europe. L’Union européenne a entamé en 2024 des discussions pour reconnaitre le système juridique kényan comme équivalent sur ces questions. Mais elles n’ont pas encore abouti.

Bientôt une enquête de la Commission européenne ?

Suite à cette enquête, le député européen du Parti social-démocrate suédois Adnan Dibrani a soulevé des questions concernant le sujet devant la Commission européenne, a appris Euractiv. En effet, il pose la question de la compatibilité des lunettes connectées de Meta avec le RGPD concernant « la licéité du traitement, le consentement, la transparence et les transferts de données à caractère personnel vers des pays tiers ». Et il demande à la commission ce qu’elle fait concrètement pour assurer que Meta respecte le règlement européen sur le sujet, poussant l’institution à ouvrir une enquête.

Adnan Dibrani en profite pour pointer les dangers des assouplissements du RGPD et des mesures de protection de la vie privée prévus dans l’Omnibus numérique.

À Euractiv, Meta affirme que les données sont « d’abord filtrées afin de protéger la vie privée des personnes » et qu’elle prend « très au sérieux » la protection des données personnelles et « perfectionne en permanence ses efforts et ses outils dans ce domaine ».

En attendant, les personnes en contact avec des porteurs de lunettes Meta peuvent installer Nearby Glasses. Cette application disponible sur Google Play ou sur GitHub avertit si des personnes à proximité portent des lunettes connectées. Elle fonctionne en scannant les signatures bluetooth des lunettes et envoie une notification lorsqu’elle en détecte. « Je considère cela comme une infime partie de la résistance contre les technologies de surveillance », explique à 404 Media son concepteur Yves Jeanrenaud. Mais il ajoute qu’ « il s’agit d’une solution technologique à un problème social exacerbé par la technologie. Je ne souhaite pas promouvoir le techno-solutionnisme ni donner aux gens un faux sentiment de sécurité. Cette solution reste imparfaite ».