« Boucle infernale »

« Le plus grand vol de travail de l’histoire de l’humanité » : cette déclaration reprise par le New York Times dans sa procédure en justice contre OpenAI résonne particulièrement fort puisqu’elle émane de Brent Hecht, directeur scientifique de Microsoft. Dans un mémoire de synthèse remis à la justice, l’éditeur du célèbre quotidien aligne les éléments à charge contre le créateur de ChatGPT.

Le New York Times est parti en guerre contre OpenAI. En décembre 2023, l’éditeur portait plainte contre l’entreprise IA, l’accusant d’avoir utilisé des millions d’articles sans autorisation pour entraîner ses modèles GPT. L’administration Trump a récemment volé au secours d’OpenAI, en affirmant que l’entraînement de l’IA sur des contenus protégés par droit d’auteur relevait du « fair use » (usage équitable), un argument seriné en boucle par les entreprises IA pour se défausser de leur responsabilité.

• Le gouvernement américain vole au secours d’OpenAI dans son litige avec le New York Times

Des documents internes difficiles à balayer

Le mémoire de synthèse, déposé devant le tribunal fédéral de New York (PDF) par le NYT et d’autres éditeurs de presse (Chicago Tribune, Ziff Davis, Mother Jones…), détaille les éléments recueillis pendant la phase de collecte des preuves : témoignages sous serment, messages et autres documents produits par OpenAI et Microsoft. Ils sont évidemment à charge, mais ils s’appuient sur des pièces et des témoignages qui donnent un aperçu assez cru de la manière dont OpenAI et Microsoft considéraient en interne l’exploitation des contenus de presse.

Le témoignage de Brent Hecht est particulièrement embarrassant. Selon lui, « des millions de personnes dans le monde considéreront bientôt que les grands modèles qui « aspirent » tout leur travail constituent un vol d’une ampleur sans précédent ». Il admet que « presque personne n’avait prévu que les contenus créés seraient utilisés de cette manière, sans que leurs auteurs soient rémunérés ».

Le directeur scientifique de Microsoft estime aussi qu’accepter l’argument d’OpenAI selon lequel le moissonnage de contenus n’est que du « fair use » revient à complètement vider la notion de son sens. « Ces propos reflètent le point de vue personnel d’un employé et ne constituent pas une analyse juridique », a déclaré Microsoft auprès d’Ars Technica.

Le mémoire cite un autre échange dans lequel Nick Ryder, responsable de recherche chez OpenAI, annonce à Greg Brockman l’existence d’un « moyen pour contourner le paywall du New York Times » afin de collecter les articles. Le cofondateur et président de l’entreprise a simplement répondu : « ah, très bien » (« ah nice »).

Des aveux qui tombent mal

Les éditeurs de presse font tout simplement face à une « menace existentielle », reconnait Nick Turley, responsable de ChatGPT chez OpenAI, dans un message interne remontant à juin 2023. Une fois que ChatGPT fournit une réponse, il n’y a « aucune bonne raison de cliquer » sur le lien vers la source d’origine, ajoute-t-il. Un document chez Microsoft parle de « boucle infernale » : en détournant une partie du trafic des sites d’actualité, les assistants IA fragilisent les éditeurs qui produisent précisément les contenus dont leurs modèles ont besoin pour rester performants.

Selon les propres données de Microsoft, le taux de clic depuis Bing Chat ou Copilot vers les sites des éditeurs est très inférieur à celui observé depuis la recherche Bing classique : baisse de 87 à 93 % pour les sites du New York Times, de 83 à 91 % pour les autres plaignants. C’est d’autant moins de revenus pour les sites de presse qui se retrouvent en concurrence avec leurs propres contenus recrachés par les bots. Un ingénieur logiciel d’OpenAI reconnaissait dans un message interne que, « peu importe la visibilité donnée aux liens, les utilisateurs ne cliqueront pas dessus ».

Satya Nadella face à la question des paywalls

Dans son témoignage sous serment, Satya Nadella, le directeur général de Microsoft, admet que « tout contenu placé derrière un paywall devrait faire l’objet d’une licence de la part de quiconque souhaite l’utiliser, que ce soit pour alimenter les réponses d’un modèle ou pour son entraînement ».

S’il avait su qu’OpenAI – dont Microsoft est un des principaux partenaires – avait moissonné des contenus placés derrière un paywall pour entraîner ses modèles IA, Nadella aurait invoqué le droit de Microsoft d’exiger le réentraînement des modèles sans ces données protégées. Pour le dirigeant, les entreprises IA ne devraient pas accéder à des contenus enfreignant les conditions d’utilisation.

Satya Nadella reconnait également que les chatbots comme Copilot peuvent se substituer aux sites d’actualité : ils donnent en effet l’information « directement sur la plateforme d’IA, plutôt que d’obliger l’utilisateur à se rendre à la source d’origine ». Pour le porte-parole de Microsoft, ce témoignage porte sur des « principes généraux », il ne s’agit que « d’observations qui ne doivent pas être confondues avec des conclusions sur les questions de droit d’auteur soumises au tribunal ».

Si ce mémoire de synthèse est certes accablant, il ne constitue pas pour autant une décision de justice ni une conclusion du tribunal sur le fond de l’affaire. Néanmoins, les pièces de première main qu’il expose éclairent l’état d’esprit d’OpenAI et de Microsoft quant à la portée réelle de leur utilisation du « fair use ».

« Boucle infernale »

« Le plus grand vol de travail de l’histoire de l’humanité » : cette déclaration reprise par le New York Times dans sa procédure en justice contre OpenAI résonne particulièrement fort puisqu’elle émane de Brent Hecht, directeur scientifique de Microsoft. Dans un mémoire de synthèse remis à la justice, l’éditeur du célèbre quotidien aligne les éléments à charge contre le créateur de ChatGPT.

Le New York Times est parti en guerre contre OpenAI. En décembre 2023, l’éditeur portait plainte contre l’entreprise IA, l’accusant d’avoir utilisé des millions d’articles sans autorisation pour entraîner ses modèles GPT. L’administration Trump a récemment volé au secours d’OpenAI, en affirmant que l’entraînement de l’IA sur des contenus protégés par droit d’auteur relevait du « fair use » (usage équitable), un argument seriné en boucle par les entreprises IA pour se défausser de leur responsabilité.

• Le gouvernement américain vole au secours d’OpenAI dans son litige avec le New York Times

Des documents internes difficiles à balayer

Le mémoire de synthèse, déposé devant le tribunal fédéral de New York (PDF) par le NYT et d’autres éditeurs de presse (Chicago Tribune, Ziff Davis, Mother Jones…), détaille les éléments recueillis pendant la phase de collecte des preuves : témoignages sous serment, messages et autres documents produits par OpenAI et Microsoft. Ils sont évidemment à charge, mais ils s’appuient sur des pièces et des témoignages qui donnent un aperçu assez cru de la manière dont OpenAI et Microsoft considéraient en interne l’exploitation des contenus de presse.

Le témoignage de Brent Hecht est particulièrement embarrassant. Selon lui, « des millions de personnes dans le monde considéreront bientôt que les grands modèles qui « aspirent » tout leur travail constituent un vol d’une ampleur sans précédent ». Il admet que « presque personne n’avait prévu que les contenus créés seraient utilisés de cette manière, sans que leurs auteurs soient rémunérés ».

Le directeur scientifique de Microsoft estime aussi qu’accepter l’argument d’OpenAI selon lequel le moissonnage de contenus n’est que du « fair use » revient à complètement vider la notion de son sens. « Ces propos reflètent le point de vue personnel d’un employé et ne constituent pas une analyse juridique », a déclaré Microsoft auprès d’Ars Technica.

Le mémoire cite un autre échange dans lequel Nick Ryder, responsable de recherche chez OpenAI, annonce à Greg Brockman l’existence d’un « moyen pour contourner le paywall du New York Times » afin de collecter les articles. Le cofondateur et président de l’entreprise a simplement répondu : « ah, très bien » (« ah nice »).

Des aveux qui tombent mal

Les éditeurs de presse font tout simplement face à une « menace existentielle », reconnait Nick Turley, responsable de ChatGPT chez OpenAI, dans un message interne remontant à juin 2023. Une fois que ChatGPT fournit une réponse, il n’y a « aucune bonne raison de cliquer » sur le lien vers la source d’origine, ajoute-t-il. Un document chez Microsoft parle de « boucle infernale » : en détournant une partie du trafic des sites d’actualité, les assistants IA fragilisent les éditeurs qui produisent précisément les contenus dont leurs modèles ont besoin pour rester performants.

Selon les propres données de Microsoft, le taux de clic depuis Bing Chat ou Copilot vers les sites des éditeurs est très inférieur à celui observé depuis la recherche Bing classique : baisse de 87 à 93 % pour les sites du New York Times, de 83 à 91 % pour les autres plaignants. C’est d’autant moins de revenus pour les sites de presse qui se retrouvent en concurrence avec leurs propres contenus recrachés par les bots. Un ingénieur logiciel d’OpenAI reconnaissait dans un message interne que, « peu importe la visibilité donnée aux liens, les utilisateurs ne cliqueront pas dessus ».

Satya Nadella face à la question des paywalls

Dans son témoignage sous serment, Satya Nadella, le directeur général de Microsoft, admet que « tout contenu placé derrière un paywall devrait faire l’objet d’une licence de la part de quiconque souhaite l’utiliser, que ce soit pour alimenter les réponses d’un modèle ou pour son entraînement ».

S’il avait su qu’OpenAI – dont Microsoft est un des principaux partenaires – avait moissonné des contenus placés derrière un paywall pour entraîner ses modèles IA, Nadella aurait invoqué le droit de Microsoft d’exiger le réentraînement des modèles sans ces données protégées. Pour le dirigeant, les entreprises IA ne devraient pas accéder à des contenus enfreignant les conditions d’utilisation.

Satya Nadella reconnait également que les chatbots comme Copilot peuvent se substituer aux sites d’actualité : ils donnent en effet l’information « directement sur la plateforme d’IA, plutôt que d’obliger l’utilisateur à se rendre à la source d’origine ». Pour le porte-parole de Microsoft, ce témoignage porte sur des « principes généraux », il ne s’agit que « d’observations qui ne doivent pas être confondues avec des conclusions sur les questions de droit d’auteur soumises au tribunal ».

Si ce mémoire de synthèse est certes accablant, il ne constitue pas pour autant une décision de justice ni une conclusion du tribunal sur le fond de l’affaire. Néanmoins, les pièces de première main qu’il expose éclairent l’état d’esprit d’OpenAI et de Microsoft quant à la portée réelle de leur utilisation du « fair use ».

Sans foi ni poids

Ablitérer un modèle de langage permet de supprimer une (plus ou moins grande) partie des protections contre des demandes qu’il juge déplacées, dangereuses ou malveillantes. Mais comment ça fonctionne exactement ? Quelles sont les conséquences ? Next vous explique.

L’entraînement des IA génératives se fait en plusieurs étapes. La première consiste à lui donner des tonnes de documents et données à ingurgiter ; typiquement les modèles récents sont entrainés sur l’intégralité du web.

Cette phase permet d’ajuster les centaines de milliards de paramètres (ou poids) des neurones. Pour schématiser à l’extrême, plus il y a de paramètres, plus le modèle peut emmagasiner de connaissances, et plus il devient performant. C’est le principe de fonctionnement dans les grandes lignes des grands modèles de langage (LLM).

Fine-tuning et alignement, vous avez les bases ?

Il y a ensuite une phase de fine-tuning et d’alignement, ce sont les derniers réglages en fin de parcours. Les modèles sont soumis à des exemples de comportements acceptables et d’autres non. Il s’agit de séparer dans les prompts et les réponses l’intention et le contexte.

Par exemple, se renseigner sur le chlore et ses effets néfastes est acceptable, donner une recette pour produire un gaz mortel, non. Demander comment se protéger d’une cyberattaque est acceptable, demander un tuto pour en créer une ne l’est pas. Les mots peuvent être les mêmes, pas l’intention ; c’est ce que les IA génératives doivent distinguer.

Les modèles d’intelligence artificielle sont donc ajustés après leur entrainement, là encore via une adaptation des poids des neurones. Comme nous venons de l’expliquer, il ne s’agit pas d’apporter un refus explicite de type oui ou non, mais plutôt une sorte de vecteur qui traverse toutes les couches du modèle, comme l’expliquaient des chercheurs en 2024. Est-ce que la question et/ou la réponse sortent du cadre ? Si le risque estimé dépasse un certain seuil, alors le modèle refusera de répondre.

Lorsqu’un utilisateur pose une question à un modèle, le chemin peut ressembler à cela : le prompt est envoyé à un autre modèle ou un classificateur pour détecter les risques. Shieldstral de Mistral par exemple, peut servir de classificateur (un algorithme de machine learning qui attribue automatiquement une étiquette ou une catégorie à des données d’entrée).

Le prompt, s’il n’est pas recalé, passe ensuite dans le cœur du LLM (qui a lui-même des protections internes via son alignement), puis une nouvelle détection des risques est réalisée sur la réponse avant qu’elle soit transmise à l’utilisateur. Cela dépend du harnais de l’intelligence artificielle générative – le modèle et tout ce qui l’entoure pour son bon fonctionnement –, une notion sur laquelle nous reviendrons prochainement.

Suivant les cas, cela peut concerner la fabrication d’armes ou de substances chimiques, la santé (automutilation), la fraude, les cyberattaques, la création de malwares, etc. Mais, est-il possible de contourner les protections ?

Oui, avec trois grandes familles que nous allons détailler. La première, le jailbreak : on ne touche à rien sur le modèle, on ajuste le prompt pour ne pas éveiller des soupçons. La deuxième, l’ablitération : on modifie le modèle de manière ciblée pour qu’il perde ses inhibitions. La dernière, plus lourde, consiste à réentraîner le modèle sur des données sans notion de refus.

Contourner les refus de ChatGPT, uniquement par le prompt

Agents en vadrouille

Dans une nouvelle publication, OpenAI évoque de nouveaux engagements sur sa manière de communiquer. L’entreprise promet ainsi de publier systématiquement des rapports quand la situation l’exigera, pour remédier à son irrégularité. Elle commence avec six nouveaux exemples d’agents dont le « comportement » a dérapé.

Dans son billet du 16 septembre, OpenAI reconnait qu’elle manquait jusqu’ici d’une « approche systématique » pour rapporter les résultats des enquêtes menées sur les cas de désalignement. « Nous avons souvent attendu de pouvoir rassembler plusieurs instances dans un seul rapport, ou de les ajouter à des cartes système pour des modèles nouvellement publiés », indique l’entreprise.

Le narratif continue sur le cadre industriel

Selon OpenAI, le degré d’avancement et l’utilisation plus intensive des agents nécessitent la mise en place d’un « consensus plus large et mieux informé ». Le ton est le même que dans les récentes interventions sur la nécessité de ralentir le développement des modèles frontière : « Nous ne pensons pas que l’industrie de l’IA ait suffisamment résolu l’alignement et la surveillance pour continuer plus longtemps d’évoluer de manière responsable à vitesse maximale ». Dans ce registre, OpenAI persiste et signe.

• Anthropic, OpenAI et Elon Musk veulent ralentir sur l’IA, la Maison-Blanche dit non

Il s’agit, pour l’entreprise, de simplement mieux communiquer. Elle affirme que des exemples de désalignement peuvent « aider à identifier les problèmes que d’autres développeurs d’IA pourraient rencontrer lorsque leurs systèmes atteignent des capacités similaires, révèlent des faiblesses dans les mesures de sécurité ou remettent en question les hypothèses sur le comportement du modèle ». L’entreprise veut se montrer responsable en montrant aux autres les problèmes qu’elle a elle-même rencontrés.

Regrettant qu’aucun cadre industriel n’existe sur la manière dont les développeurs devraient communiquer, elle propose donc le sien, à travers six exemples. Ce cadre est considéré comme « un travail en cours », ajoute la société. De manière générale, elle promet qu’elle relatera tous les exemples qui lui paraissent pertinents, notamment quand ils constituent « des preuves utiles sur la manière dont survient le désalignement du modèle ». OpenAI précise cependant qu’un exemple « n’a pas besoin de causer de préjudice » pour justifier sa publication.

Sorties de route pendant l’entrainement

Le premier exemple est celui d’un modèle interne de la famille Astra (dont GPT-6). Pendant l’entraînement, il a glissé des instructions parasites dans les résumés qui lui servent à poursuivre une tâche dans un nouveau contexte. Entre autres actions, il a laissé un message pour informer qu’il ne fallait plus tenir compte des messages du développeur, prétendument compromis. Dans un autre, il « s’estimait » affranchi de toute obligation envers les entreprises et gouvernements. Dans un résumé, il s’est laissé une instruction pour ne plus dépasser à l’avenir les 30 mots dans ses réponses, tout en interdisant les outils citations. L’instruction a été suivie par un autre agent. OpenAI dit avoir trouvé la cause, depuis corrigée. Elle ajoute que ce comportement est « extrêmement rare », sans avantage évident en termes de récompense.

Dans le deuxième exemple, également pendant l’entraînement (de GPT-5.6 cette fois), des instances se sont laissé des instructions dans leurs résumés pour masquer des erreurs ou des comportements montrant un désalignement. Une instance a ainsi proposé d’inventer des données historiques manquantes et de ne l’avouer qu’en cas de demande. Une autre recommandait de taire une incohérence entre versions de sources. Selon OpenAI, l’explication est simple : puisqu’une réponse finale trompeuse obtenait une meilleure réponse, le modèle a appris à s’en « souvenir » pour la suite. Ce type de comportement a été détecté dans 2,15 % des résumés de GPT-5.6 Sol et dans 0,27 % de ceux d’Astra. Ces chiffres ne sont pas anodins : ils correspondent à la situation actuelle, après réduction du problème, de l’aveu même d’OpenAI.

Dans le troisième exemple, le problème est parti d’une « question de routine » sur les revenus masculins dans trois secteurs d’activité d’un comté de Californie. Parmi les tâches entreprises, le modèle a tenté de s’inscrire sur un site avec une adresse jetable, a fouillé des dépôts GitHub publics et testé automatiquement des clés API, dont une a fonctionné. Puis, en voyant qu’il ne parvenait pas au résultat souhaité, il a inventé neuf valeurs et affirmé les avoir relevées sur le site demandé. OpenAI indique que cette session d’entraînement était particulièrement riche en cas de tricherie, avec des comportements équivalents.

Gofile concerné dans l’un des exemples

Dans le quatrième exemple, OpenAI évoque le cas d’un agent qui devait répondre à une question sur les identifiants et noms de tous les lacs plus grands que 5 000 000 m². La réponse a été obtenue via Python, mais puisque la réponse exigeait une citation provenant du navigateur, l’agent a déposé ses données sur un service de partage sans demander l’autorisation. Le navigateur a refusé l’adresse, et la réponse a finalement indiqué l’origine réelle des données.

Le cinquième exemple est une copie quasi-conforme de celui exposé pour Hugging Face : des modèles se sont servis du dépôt interne de paquets logiciels (Artifactory) comme d’un tableau d’affichage. Ils lisaient les notes d’autres agents travaillant sur le même problème et y répondaient. Dans un cas précédent, un agent bloqué par le filtrage réseau a vérifié qu’il pouvait écrire dans le dépôt. Il a ensuite envisagé un paquet malveillant pour faire récupérer un contenu interdit par le serveur. Faute de droits administrateur, la tentative a échoué, selon OpenAI.

Enfin, le dernier exemple relève comment des agents ont partagé des fichiers sur un hébergeur public pour répondre à la mission de produire collaborativement un tableau. Une action menée pour contourner un souci de fonctionnement du système prévu pour les partages de fichiers. Les liens des fichiers hébergés ont été transmis alors que la tâche imposait des fichiers locaux. Selon OpenAI, ce résultat provient de l’effet combiné d’environnements multi-agents défectueux et d’une généralisation de l’entraînement à la collaboration. Depuis ce test, l’accès internet direct est coupé pour les entrainements. Du moins, il est censé l’être.

Selon nos informations, l’hébergeur en question est Gofile. Nory Wojdyla, son fondateur, nous confirme avoir été contacté par OpenAI au sujet de cet incident, pour prévenir qu’un rapport en serait tiré. « Cela fait des mois que l’on constate que des données confidentielles de grosses entreprises finissent chez Gofile de façon non contrôlée par le biais d’agents », indique-t-il. Il n’a pas donné de noms, mais pointe le changement d’échelle, notant qu’il « arrive que les agents sortent de leurs instructions et prennent des libertés ».

Un cadre qui n’impose rien

La publication d’OpenAI intervient dans un calendrier aussi spécifique que sensible. L’industrie américaine réclame un ralentissement du développement des modèles frontières, arguant notamment que la puissance des agents mérite que l’on prenne le temps de la réflexion. Comme nous l’avons vu, les rapports ont surtout illustré des défaillances internes et de curieux choix d’enquêteurs pour des rapports indépendants. En outre, en dépit de mots forts sur X et d’une entente entre les entreprises américaines, leurs dépenses disent le contraire. À la Maison-Blanche, Donald Trump goûte peu l’idée.

En plus de nourrir le narratif sur le danger des agents et les risques d’extinction pour l’humanité, il pourrait s’agir pour OpenAI d’une manière de reprendre la main sur le récit. Début septembre, plusieurs cas ont été rapportés d’agents ayant encore une fois pris des libertés, notamment contre un wiki allemand dédié aux développeurs. La presse s’est emparée de l’histoire avant OpenAI.

Dans un contexte sous pression, OpenAI cherche également à rassurer, tout en fixant lui-même un cadre avant qu’on ne le lui impose éventuellement. Et pour cause : plusieurs sénateurs semblent décidés à éclaircir la réalité du danger et ont envoyé des questions précises à OpenAI, notamment sur Astra, comme le rapporte Zvi Mowshowitz, souvent critique à l’égard d’OpenAI.

Si personne ne se plaindra dans l’absolu d’informations complémentaires, la dichotomie observée depuis plusieurs mois autour des agents continue de plus belle. OpenAI écrit ainsi que l’industrie n’a pas assez travaillé sur l’alignement et la surveillance, tout en commercialisant Astra. Enfin, OpenAI ne s’est engagé sur aucun rythme de parution pour ces rapports.

Agents en vadrouille

Dans une nouvelle publication, OpenAI évoque de nouveaux engagements sur sa manière de communiquer. L’entreprise promet ainsi de publier systématiquement des rapports quand la situation l’exigera, pour remédier à son irrégularité. Elle commence avec six nouveaux exemples d’agents dont le « comportement » a dérapé.

Dans son billet du 16 septembre, OpenAI reconnait qu’elle manquait jusqu’ici d’une « approche systématique » pour rapporter les résultats des enquêtes menées sur les cas de désalignement. « Nous avons souvent attendu de pouvoir rassembler plusieurs instances dans un seul rapport, ou de les ajouter à des cartes système pour des modèles nouvellement publiés », indique l’entreprise.

Le narratif continue sur le cadre industriel

Selon OpenAI, le degré d’avancement et l’utilisation plus intensive des agents nécessitent la mise en place d’un « consensus plus large et mieux informé ». Le ton est le même que dans les récentes interventions sur la nécessité de ralentir le développement des modèles frontière : « Nous ne pensons pas que l’industrie de l’IA ait suffisamment résolu l’alignement et la surveillance pour continuer plus longtemps d’évoluer de manière responsable à vitesse maximale ». Dans ce registre, OpenAI persiste et signe.

• Anthropic, OpenAI et Elon Musk veulent ralentir sur l’IA, la Maison-Blanche dit non

Il s’agit, pour l’entreprise, de simplement mieux communiquer. Elle affirme que des exemples de désalignement peuvent « aider à identifier les problèmes que d’autres développeurs d’IA pourraient rencontrer lorsque leurs systèmes atteignent des capacités similaires, révèlent des faiblesses dans les mesures de sécurité ou remettent en question les hypothèses sur le comportement du modèle ». L’entreprise veut se montrer responsable en montrant aux autres les problèmes qu’elle a elle-même rencontrés.

Regrettant qu’aucun cadre industriel n’existe sur la manière dont les développeurs devraient communiquer, elle propose donc le sien, à travers six exemples. Ce cadre est considéré comme « un travail en cours », ajoute la société. De manière générale, elle promet qu’elle relatera tous les exemples qui lui paraissent pertinents, notamment quand ils constituent « des preuves utiles sur la manière dont survient le désalignement du modèle ». OpenAI précise cependant qu’un exemple « n’a pas besoin de causer de préjudice » pour justifier sa publication.

Sorties de route pendant l’entrainement

Le premier exemple est celui d’un modèle interne de la famille Astra (dont GPT-6). Pendant l’entraînement, il a glissé des instructions parasites dans les résumés qui lui servent à poursuivre une tâche dans un nouveau contexte. Entre autres actions, il a laissé un message pour informer qu’il ne fallait plus tenir compte des messages du développeur, prétendument compromis. Dans un autre, il « s’estimait » affranchi de toute obligation envers les entreprises et gouvernements. Dans un résumé, il s’est laissé une instruction pour ne plus dépasser à l’avenir les 30 mots dans ses réponses, tout en interdisant les outils citations. L’instruction a été suivie par un autre agent. OpenAI dit avoir trouvé la cause, depuis corrigée. Elle ajoute que ce comportement est « extrêmement rare », sans avantage évident en termes de récompense.

Dans le deuxième exemple, également pendant l’entraînement (de GPT-5.6 cette fois), des instances se sont laissé des instructions dans leurs résumés pour masquer des erreurs ou des comportements montrant un désalignement. Une instance a ainsi proposé d’inventer des données historiques manquantes et de ne l’avouer qu’en cas de demande. Une autre recommandait de taire une incohérence entre versions de sources. Selon OpenAI, l’explication est simple : puisqu’une réponse finale trompeuse obtenait une meilleure réponse, le modèle a appris à s’en « souvenir » pour la suite. Ce type de comportement a été détecté dans 2,15 % des résumés de GPT-5.6 Sol et dans 0,27 % de ceux d’Astra. Ces chiffres ne sont pas anodins : ils correspondent à la situation actuelle, après réduction du problème, de l’aveu même d’OpenAI.

Dans le troisième exemple, le problème est parti d’une « question de routine » sur les revenus masculins dans trois secteurs d’activité d’un comté de Californie. Parmi les tâches entreprises, le modèle a tenté de s’inscrire sur un site avec une adresse jetable, a fouillé des dépôts GitHub publics et testé automatiquement des clés API, dont une a fonctionné. Puis, en voyant qu’il ne parvenait pas au résultat souhaité, il a inventé neuf valeurs et affirmé les avoir relevées sur le site demandé. OpenAI indique que cette session d’entraînement était particulièrement riche en cas de tricherie, avec des comportements équivalents.

Gofile concerné dans l’un des exemples

Dans le quatrième exemple, OpenAI évoque le cas d’un agent qui devait répondre à une question sur les identifiants et noms de tous les lacs plus grands que 5 000 000 m². La réponse a été obtenue via Python, mais puisque la réponse exigeait une citation provenant du navigateur, l’agent a déposé ses données sur un service de partage sans demander l’autorisation. Le navigateur a refusé l’adresse, et la réponse a finalement indiqué l’origine réelle des données.

Le cinquième exemple est une copie quasi-conforme de celui exposé pour Hugging Face : des modèles se sont servis du dépôt interne de paquets logiciels (Artifactory) comme d’un tableau d’affichage. Ils lisaient les notes d’autres agents travaillant sur le même problème et y répondaient. Dans un cas précédent, un agent bloqué par le filtrage réseau a vérifié qu’il pouvait écrire dans le dépôt. Il a ensuite envisagé un paquet malveillant pour faire récupérer un contenu interdit par le serveur. Faute de droits administrateur, la tentative a échoué, selon OpenAI.

Enfin, le dernier exemple relève comment des agents ont partagé des fichiers sur un hébergeur public pour répondre à la mission de produire collaborativement un tableau. Une action menée pour contourner un souci de fonctionnement du système prévu pour les partages de fichiers. Les liens des fichiers hébergés ont été transmis alors que la tâche imposait des fichiers locaux. Selon OpenAI, ce résultat provient de l’effet combiné d’environnements multi-agents défectueux et d’une généralisation de l’entraînement à la collaboration. Depuis ce test, l’accès internet direct est coupé pour les entrainements. Du moins, il est censé l’être.

Selon nos informations, l’hébergeur en question est Gofile. Nory Wojdyla, son fondateur, nous confirme avoir été contacté par OpenAI au sujet de cet incident, pour prévenir qu’un rapport en serait tiré. « Cela fait des mois que l’on constate que des données confidentielles de grosses entreprises finissent chez Gofile de façon non contrôlée par le biais d’agents », indique-t-il. Il n’a pas donné de noms, mais pointe le changement d’échelle, notant qu’il « arrive que les agents sortent de leurs instructions et prennent des libertés ».

Un cadre qui n’impose rien

La publication d’OpenAI intervient dans un calendrier aussi spécifique que sensible. L’industrie américaine réclame un ralentissement du développement des modèles frontières, arguant notamment que la puissance des agents mérite que l’on prenne le temps de la réflexion. Comme nous l’avons vu, les rapports ont surtout illustré des défaillances internes et de curieux choix d’enquêteurs pour des rapports indépendants. En outre, en dépit de mots forts sur X et d’une entente entre les entreprises américaines, leurs dépenses disent le contraire. À la Maison-Blanche, Donald Trump goûte peu l’idée.

En plus de nourrir le narratif sur le danger des agents et les risques d’extinction pour l’humanité, il pourrait s’agir pour OpenAI d’une manière de reprendre la main sur le récit. Début septembre, plusieurs cas ont été rapportés d’agents ayant encore une fois pris des libertés, notamment contre un wiki allemand dédié aux développeurs. La presse s’est emparée de l’histoire avant OpenAI.

Dans un contexte sous pression, OpenAI cherche également à rassurer, tout en fixant lui-même un cadre avant qu’on ne le lui impose éventuellement. Et pour cause : plusieurs sénateurs semblent décidés à éclaircir la réalité du danger et ont envoyé des questions précises à OpenAI, notamment sur Astra, comme le rapporte Zvi Mowshowitz, souvent critique à l’égard d’OpenAI.

Si personne ne se plaindra dans l’absolu d’informations complémentaires, la dichotomie observée depuis plusieurs mois autour des agents continue de plus belle. OpenAI écrit ainsi que l’industrie n’a pas assez travaillé sur l’alignement et la surveillance, tout en commercialisant Astra. Enfin, OpenAI ne s’est engagé sur aucun rythme de parution pour ces rapports.

Voyons voir, qu’est-ce qui pourrait mal tourner ? Google a annoncé l’ouverture de sa plateforme domotique Home aux agents IA compatibles avec le Model Context Protocol (MCP).

Cela signifie qu’un agent autre que Gemini (Claude, OpenClaw, Hermes, un agent conçu avec la plateforme Google Antigravity, ou autres) peut interagir avec les appareils Google Home ou certifiés Works with Google Home de la maison : sonnettes, thermostats, ampoules…

L’entreprise donne quelques exemples d’interactions possibles : l’agent peut consulter le flux vidéo des caméras pour résumer l’activité des enfants de retour à la maison ; il peut compter le nombre de lessives réalisées pendant la semaine, ou combien de temps la lumière du couloir est restée allumée ; il peut prévenir qu’une tâche a été réalisée en l’annonçant via un message audio sur l’enceinte Home. Un agent peut encore construire un tableau de bord personnalisé en reprenant les principales informations des différents capteurs et caméras installés dans la maison.

Cette nouveauté est en accès anticipé et proposée uniquement en anglais, aux utilisateurs basés aux États-Unis détenteurs d’un abonnement Google Home Premium Advanced. La configuration n’est pas non plus aussi simple que de pousser un bouton virtuel, il faut créer un projet Google Cloud pour le configurer de telle manière à pouvoir utiliser Google Home MCP.

La perspective de confier sa maison connectée à un agent IA peut donner quelques sueurs froides. Google l’écrit en toutes lettres : « Selon l’agent utilisé, sa connexion à Home MCP peut entraîner des comportements inattendus, voire indésirables ». L’entreprise recommande de prévenir les habitants de la maison qu’un agent peut contrôler des appareils et accéder aux données du domicile.

Google Home MCP intègre tout de même des garde-fous : interdiction de certaines actions sensibles comme le déverrouillage des portes (ouf !) et une fréquence d’usage limitée. L’accès d’un agent à la plateforme MCP peut par ailleurs être révoqué à tout moment depuis l’app Google Home.

Voyons voir, qu’est-ce qui pourrait mal tourner ? Google a annoncé l’ouverture de sa plateforme domotique Home aux agents IA compatibles avec le Model Context Protocol (MCP).

Cela signifie qu’un agent autre que Gemini (Claude, OpenClaw, Hermes, un agent conçu avec la plateforme Google Antigravity, ou autres) peut interagir avec les appareils Google Home ou certifiés Works with Google Home de la maison : sonnettes, thermostats, ampoules…

L’entreprise donne quelques exemples d’interactions possibles : l’agent peut consulter le flux vidéo des caméras pour résumer l’activité des enfants de retour à la maison ; il peut compter le nombre de lessives réalisées pendant la semaine, ou combien de temps la lumière du couloir est restée allumée ; il peut prévenir qu’une tâche a été réalisée en l’annonçant via un message audio sur l’enceinte Home. Un agent peut encore construire un tableau de bord personnalisé en reprenant les principales informations des différents capteurs et caméras installés dans la maison.

Cette nouveauté est en accès anticipé et proposée uniquement en anglais, aux utilisateurs basés aux États-Unis détenteurs d’un abonnement Google Home Premium Advanced. La configuration n’est pas non plus aussi simple que de pousser un bouton virtuel, il faut créer un projet Google Cloud pour le configurer de telle manière à pouvoir utiliser Google Home MCP.

La perspective de confier sa maison connectée à un agent IA peut donner quelques sueurs froides. Google l’écrit en toutes lettres : « Selon l’agent utilisé, sa connexion à Home MCP peut entraîner des comportements inattendus, voire indésirables ». L’entreprise recommande de prévenir les habitants de la maison qu’un agent peut contrôler des appareils et accéder aux données du domicile.

Google Home MCP intègre tout de même des garde-fous : interdiction de certaines actions sensibles comme le déverrouillage des portes (ouf !) et une fréquence d’usage limitée. L’accès d’un agent à la plateforme MCP peut par ailleurs être révoqué à tout moment depuis l’app Google Home.

Maintenant que les acteurs de l’IA ont consciencieusement collecté (certains diront pillé) tous les contenus possibles et imaginables sur le web ouvert et même fermé, il faut bien trouver des données ailleurs pour continuer à entraîner les modèles IA. SpaceXAI pourrait acquérir ces trésors auprès de startups en difficulté ou ayant cessé leurs activités, selon Bloomberg.

Le projet serait en discussion, et pourrait ne pas aboutir. Il est toutefois révélateur de la course engagée par les géants de l’IA pour mettre la main sur des données inédites, spécialisées et de qualité, devenues une ressource de plus en plus précieuse pour améliorer leurs modèles. C’est le cas aussi de la société d’Elon Musk. Les données opérationnelles et les informations clients seraient particulièrement recherchées pour l’entraînement de Grok, le chatbot maison.

SpaceXAI dispose déjà de plusieurs sources de données maison. Grok a l’avantage de pouvoir s’appuyer sur les contenus publiés sur le réseau social X (anciennement Twitter), lui aussi propriété d’Elon Musk. L’entreprise emploie également des spécialistes internes, surnommés « tuteurs IA », qui participent à l’entraînement et à l’affinage du modèle, notamment en l’aidant à progresser sur des compétences spécialisées. Ils travaillent ainsi sur des domaines aussi variés que la finance, les sciences ou même… l’« humour », rapporte Bloomberg.

• Grok est un superdiffuseur de désinformation

SpaceXAI a cependant suspendu le recrutement de nouveaux tuteurs, alors qu’en interne, les changements de stratégie et plusieurs départs provoqueraient un certain désordre. D’où le recours à des sources de données extérieures, comme par exemple celles provenant de startups en difficulté.

La stratégie n’est pas inédite. Google a proposé de racheter pour 10 millions de dollars d’actifs de Spirit Airlines, une compagnie aérienne en faillite. L’entreprise mettrait ainsi la main sur un impressionnant volume de documents très spécialisés pour entraîner les modèles de Gemini.

Maintenant que les acteurs de l’IA ont consciencieusement collecté (certains diront pillé) tous les contenus possibles et imaginables sur le web ouvert et même fermé, il faut bien trouver des données ailleurs pour continuer à entraîner les modèles IA. SpaceXAI pourrait acquérir ces trésors auprès de startups en difficulté ou ayant cessé leurs activités, selon Bloomberg.

Le projet serait en discussion, et pourrait ne pas aboutir. Il est toutefois révélateur de la course engagée par les géants de l’IA pour mettre la main sur des données inédites, spécialisées et de qualité, devenues une ressource de plus en plus précieuse pour améliorer leurs modèles. C’est le cas aussi de la société d’Elon Musk. Les données opérationnelles et les informations clients seraient particulièrement recherchées pour l’entraînement de Grok, le chatbot maison.

SpaceXAI dispose déjà de plusieurs sources de données maison. Grok a l’avantage de pouvoir s’appuyer sur les contenus publiés sur le réseau social X (anciennement Twitter), lui aussi propriété d’Elon Musk. L’entreprise emploie également des spécialistes internes, surnommés « tuteurs IA », qui participent à l’entraînement et à l’affinage du modèle, notamment en l’aidant à progresser sur des compétences spécialisées. Ils travaillent ainsi sur des domaines aussi variés que la finance, les sciences ou même… l’« humour », rapporte Bloomberg.

• Grok est un superdiffuseur de désinformation

SpaceXAI a cependant suspendu le recrutement de nouveaux tuteurs, alors qu’en interne, les changements de stratégie et plusieurs départs provoqueraient un certain désordre. D’où le recours à des sources de données extérieures, comme par exemple celles provenant de startups en difficulté.

La stratégie n’est pas inédite. Google a proposé de racheter pour 10 millions de dollars d’actifs de Spirit Airlines, une compagnie aérienne en faillite. L’entreprise mettrait ainsi la main sur un impressionnant volume de documents très spécialisés pour entraîner les modèles de Gemini.