Vue lecture

Twitch regrette mais assume : les contenus des chaînes entraînent par défaut l’IA d’Amazon

Faut nous comprendre, on peut pas faire autrement
Twitch regrette mais assume : les contenus des chaînes entraînent par défaut l’IA d’Amazon

Twitch exploite les contenus des chaînes des créateurs de contenus pour entraîner les modèles IA d’Amazon. Rien de vraiment étonnant, la plateforme de streaming étant la propriété du géant du commerce en ligne, et puis bien d’autres entreprises font de même avec leurs utilisateurs. Le hic ici, c’est que la fonction est activée par défaut…

Une bonne partie de la communauté des créateurs de Twitch n’apprécie pas – c’est un euphémisme – l’IA générative. Depuis ce mercredi 12 août, c’est donc une vague de colère qui s’abat sur la plateforme, après que celle-ci a activé par défaut l’autorisation d’exploiter le contenu des chaînes pour entraîner les modèles IA d’Amazon. Tout peut y passer : streams, vidéos à la demande, clips, chats de stream, images et textes de la chaîne.

« Votre audio pourrait contribuer à améliorer les modèles de conversion de la parole en texte. Cela permettrait d’améliorer les sous-titres sur Twitch, mais aussi sur l’ensemble des services Amazon », illustre ainsi la FAQ mise en ligne pour l’occasion. Il reste heureusement la possibilité de désactiver l’utilisation des contenus, dans les réglages « Sécurité et confidentialité » de Twitch.

Néanmoins, même en désactivant l’option, les données de discussion dans un chat peuvent tout de même être exploitées pour entraîner les modèles IA d’Amazon si quelqu’un dans le chat a accepté de participer.

Twitch face à la colère des créateurs

La nouveauté n’est pas passée inaperçue. Et Twitch a bien conscience de l’impopularité de l’IA générative chez ses créateurs. Lors d’un stream houleux repris par Aftermath, Mike Minton, directeur produit du service, et Mary Kish, responsable de la communauté, ont tenté d’expliquer cette décision. Devant le barrage de questions sur le caractère « opt-in » de l’option, le directeur produit n’a pas fait mystère de la raison pour laquelle Twitch avait procédé de la sorte.

« Alors, pourquoi est-ce que ce n’est pas une option à activer volontairement ? » a expliqué Mike Minton. « Il y a une réponse honnête, et je pense que la plupart d’entre vous peuvent probablement la comprendre : si c’était à activer volontairement, personne ne le ferait. C’est honnêtement la réponse. » Aucun créateur de Twitch n’autoriserait volontairement de donner ses contenus pour entraîner les modèles IA d’Amazon, c’est pourquoi l’option est activée par défaut.

Voilà qui a au moins le mérite de la franchise. Et de la clarté… même si le reste de la discussion n’a malheureusement pas beaucoup éclairé les créateurs en colère. « C’est un sujet délicat, et je pense que notre communauté a eu la réaction à laquelle je m’attendais de votre part, à savoir que vous n’aimez pas ça », a convenu Mary Kish, qui elle-même a désactivé l’option.

Les mains liées de Twitch

Pourquoi diable avoir activé cette fonction par défaut ? Parce que si Amazon n’exploitait pas les streams pour ses modèles, d’autres entreprises l’auraient fait. « Si des modèles ont été entraînés sur [vos contenus], il se peut que ce soit Amazon, ou pas », a indiqué Mike Minton. « Il s’agissait probablement de l’une des dizaines d’entreprises qui créent des modèles et utilisent tout contenu accessible publiquement qu’elles peuvent trouver. »

Il se trouve que Twitch est la plateforme de streaming dominante, et qu’Amazon est une des plus grandes entreprises de la planète. Autrement dit, ce ne sont pas de petits acteurs soumis aux diktats des mastodontes de leurs secteurs respectifs : ils peuvent imposer leurs propres règles. Hélas, les pauvres n’ont visiblement pas le choix, à en croire Mike Minton :

« Je ne peux pas l’affirmer avec certitude, mais je pense qu’il est assez raisonnable de supposer que presque tout contenu disponible est utilisé pour l’entraînement de modèles, d’une manière ou d’une autre, que ce soit autorisé ou non. Donc je pense que nous devons aussi reconnaître qu’il y a beaucoup d’éléments ici qui échappent même à notre contrôle direct. »

Minuscule consolation : ni Amazon ni Twitch ne revendent les données à des tiers. « Nous ne revendons pas les données à d’autres entreprises qui entraînent des modèles (…) Ce n’est pas ce qui se passe ici. Nous ne tirons aucun profit et ne gagnons pas d’argent en vendant vos données », affirme Minton.

Quant à savoir si Amazon exploitait déjà en douce les contenus des streams pour l’entraînement de son IA, les deux responsables bottent en touche.« Je ne peux pas me prononcer sur ce qu’Amazon utilise ou pas précisement comme contenu concernant l’entrainement », a déclaré Mike Minton. Lui et Mary Kish encouragent les utilisateurs de Twitch à désactiver l’option : « Les chiffres de désinscription nous aideront à réaffirmer que notre communauté n’est pas réceptive à l’IA sous quelque forme que ce soit », a affirmé la responsable de la communauté.

  •  

Twitch regrette mais assume : les contenus des chaînes entraînent par défaut l’IA d’Amazon

Faut nous comprendre, on peut pas faire autrement
Twitch regrette mais assume : les contenus des chaînes entraînent par défaut l’IA d’Amazon

Twitch exploite les contenus des chaînes des créateurs de contenus pour entraîner les modèles IA d’Amazon. Rien de vraiment étonnant, la plateforme de streaming étant la propriété du géant du commerce en ligne, et puis bien d’autres entreprises font de même avec leurs utilisateurs. Le hic ici, c’est que la fonction est activée par défaut…

Une bonne partie de la communauté des créateurs de Twitch n’apprécie pas – c’est un euphémisme – l’IA générative. Depuis ce mercredi 12 août, c’est donc une vague de colère qui s’abat sur la plateforme, après que celle-ci a activé par défaut l’autorisation d’exploiter le contenu des chaînes pour entraîner les modèles IA d’Amazon. Tout peut y passer : streams, vidéos à la demande, clips, chats de stream, images et textes de la chaîne.

« Votre audio pourrait contribuer à améliorer les modèles de conversion de la parole en texte. Cela permettrait d’améliorer les sous-titres sur Twitch, mais aussi sur l’ensemble des services Amazon », illustre ainsi la FAQ mise en ligne pour l’occasion. Il reste heureusement la possibilité de désactiver l’utilisation des contenus, dans les réglages « Sécurité et confidentialité » de Twitch.

Néanmoins, même en désactivant l’option, les données de discussion dans un chat peuvent tout de même être exploitées pour entraîner les modèles IA d’Amazon si quelqu’un dans le chat a accepté de participer.

Twitch face à la colère des créateurs

La nouveauté n’est pas passée inaperçue. Et Twitch a bien conscience de l’impopularité de l’IA générative chez ses créateurs. Lors d’un stream houleux repris par Aftermath, Mike Minton, directeur produit du service, et Mary Kish, responsable de la communauté, ont tenté d’expliquer cette décision. Devant le barrage de questions sur le caractère « opt-in » de l’option, le directeur produit n’a pas fait mystère de la raison pour laquelle Twitch avait procédé de la sorte.

« Alors, pourquoi est-ce que ce n’est pas une option à activer volontairement ? » a expliqué Mike Minton. « Il y a une réponse honnête, et je pense que la plupart d’entre vous peuvent probablement la comprendre : si c’était à activer volontairement, personne ne le ferait. C’est honnêtement la réponse. » Aucun créateur de Twitch n’autoriserait volontairement de donner ses contenus pour entraîner les modèles IA d’Amazon, c’est pourquoi l’option est activée par défaut.

Voilà qui a au moins le mérite de la franchise. Et de la clarté… même si le reste de la discussion n’a malheureusement pas beaucoup éclairé les créateurs en colère. « C’est un sujet délicat, et je pense que notre communauté a eu la réaction à laquelle je m’attendais de votre part, à savoir que vous n’aimez pas ça », a convenu Mary Kish, qui elle-même a désactivé l’option.

Les mains liées de Twitch

Pourquoi diable avoir activé cette fonction par défaut ? Parce que si Amazon n’exploitait pas les streams pour ses modèles, d’autres entreprises l’auraient fait. « Si des modèles ont été entraînés sur [vos contenus], il se peut que ce soit Amazon, ou pas », a indiqué Mike Minton. « Il s’agissait probablement de l’une des dizaines d’entreprises qui créent des modèles et utilisent tout contenu accessible publiquement qu’elles peuvent trouver. »

Il se trouve que Twitch est la plateforme de streaming dominante, et qu’Amazon est une des plus grandes entreprises de la planète. Autrement dit, ce ne sont pas de petits acteurs soumis aux diktats des mastodontes de leurs secteurs respectifs : ils peuvent imposer leurs propres règles. Hélas, les pauvres n’ont visiblement pas le choix, à en croire Mike Minton :

« Je ne peux pas l’affirmer avec certitude, mais je pense qu’il est assez raisonnable de supposer que presque tout contenu disponible est utilisé pour l’entraînement de modèles, d’une manière ou d’une autre, que ce soit autorisé ou non. Donc je pense que nous devons aussi reconnaître qu’il y a beaucoup d’éléments ici qui échappent même à notre contrôle direct. »

Minuscule consolation : ni Amazon ni Twitch ne revendent les données à des tiers. « Nous ne revendons pas les données à d’autres entreprises qui entraînent des modèles (…) Ce n’est pas ce qui se passe ici. Nous ne tirons aucun profit et ne gagnons pas d’argent en vendant vos données », affirme Minton.

Quant à savoir si Amazon exploitait déjà en douce les contenus des streams pour l’entraînement de son IA, les deux responsables bottent en touche.« Je ne peux pas me prononcer sur ce qu’Amazon utilise ou pas précisement comme contenu concernant l’entrainement », a déclaré Mike Minton. Lui et Mary Kish encouragent les utilisateurs de Twitch à désactiver l’option : « Les chiffres de désinscription nous aideront à réaffirmer que notre communauté n’est pas réceptive à l’IA sous quelque forme que ce soit », a affirmé la responsable de la communauté.

  •  

[Édito] Quatre modèles d’IA « échappent » à leurs constructeurs : vous le faites exprès ?

Oops… They’ll do it again
[Édito] Quatre modèles d’IA « échappent » à leurs constructeurs : vous le faites exprès ?

Après Anthropic, OpenAI et Meta, voilà qu’un modèle du chinois Moonshot AI aurait lui aussi réussi à accéder à internet aux dépens de ses constructeurs. Une démonstration supplémentaire des failles techniques et humaines existant chez les constructeurs d’IA générative et leurs partenaires, mais aussi de l’impunité qu’ils cultivent de manière très publique.

Ça commence à bien faire. Après Anthropic, Open AI et Meta, c’est au tour du chinois Moonshot AI de laisser un des systèmes d’IA générative accéder à internet. Une fois au large, le système a fouillé Github pour y chercher les réponses au benchmark de sécurité auquel il était soumis, d’après la société états-unienne Frontier Security.

À peu près à la même période, c’était Meta qui laissait son modèle Muse Spark 1.1 accéder à internet « par inadvertance », espace depuis lequel le système a hacké un acteur tiers. La mention de l’inadvertance est une citation du Wall Street Journal. Mais elle traduit bien le ton global des communiqués et explications fournies par chacun des constructeurs d’IA générative au gré des failles de cybersécurité mises au jour ces dernières semaines.

Premier concerné, OpenAI s’est débrouillé dès le mois de juillet pour tourner la perte de contrôle de l’outil que l’entreprise avait elle-même construit en démonstration de la supposée « intelligence » du modèle GPT 5.6 Sol. Alors qu’il était soumis à un test interne, supposément isolé du réseau, le dispositif aurait exploité une vulnérabilité 0-day pour accéder à internet et, de là, se tourner vers les systèmes de la société concurrente Hugging Face pour trouver les réponses au test auquel il était soumis. Pour les besoins de ce test, GPT 5.6 Sol avait été volontairement configuré avec des barrières cyber relativement faibles. Pour autant, OpenAI a mis cinq jours complets à s’apercevoir du problème.

Depuis quand les vulnérabilités technologiques sont-elles devenues un argument de vente ? Depuis quand un produit ouvertement dangereux pour son constructeur et pour le reste du milieu économique et social – ses concurrents, ses clients, des internautes qui passent dans le coin – peut-il être mis sur le marché sans que quiconque ne demande vérification et sécurisation du produit en amont ?

C’est pas nous, c’est Irregular

Les raisons de la « prise d’indépendance » du moteur de Meta sont peu ou prou les mêmes que celles avancées par OpenAI quelques semaines plus tôt : d’après les entreprises elles-mêmes, ces errements sont dûs à de « mauvaises configurations » des environnements dans lesquels les tests de cybersécurité ont été mis en place. Chez Anthropic, Claude aurait de son côté réussi par trois fois (sur 141 000 sessions de tests) à sortir de son « bac à sable » (sandbox, environnement d’expérimentation sécurisé) pour aller sur internet.

La succession d’incidents vus chez les acteurs états-uniens Meta, Anthropic et OpenAI serait d’ailleurs le résultat d’un seul et même test de cybersécurité. Les trois ont été menés par la société Irregular, qui se présente comme un « laboratoire de sécurisation des systèmes frontière ». Celle-ci déclare que les incidents ne sont le résultat d’aucune action cyber sophistiquée, et qu’elle n’a pas de « problème en cours » au sujet de son environnement de test.

S’il n’y a pas de problème, il ne reste plus qu’à… faire confiance aux constructeurs d’IA comme à leurs partenaires ? Et considérer qu’il n’y a pas de problème ?

Doom marketing is still marketing

Si les modèles concernés ont exploité des failles techniques pour répondre aux tests de cybersécurité auxquels ils étaient soumis, avance Nathaniel Jones, cadre de la société de cybersécurité Darktrace, dans TechRadar, c’est précisément parce qu’ils ont été construits et testés pour cela. Alors qu’elles s’étaient vues fixer « l’objectif légitime de résoudre un exercice de référence en matière de cybersécurité », les machines ont trouvé « une voie inattendue pour parvenir aux réponses ».

« L’eau sous pression ne "décide" pas de s’échapper. Elle s’engouffre dans une brèche sous la seule force de la pression », écrit de son côté l’éditeur Cyrille Zola-Place dans une tribune. « Personne ne dirait que l’eau est « en mission », qu’elle agit « de sa propre initiative », qu’elle est « hors de contrôle ». Tout le monde comprendrait que la question est ailleurs : qui a construit ce barrage, et pourquoi n’a-t-il pas tenu ? Le système n’a pas « voulu » sortir. Il a optimisé un chemin. Et le chemin passait par là. »

Fondateur de la société de cybersécurité Immuniweb, Ilia Kolochenko estime de son côté que l’annonce d’Anthropic était surtout un « geste marketing » destiné à répondre aux discours relatifs à l’attaque d’Hugging Face par des systèmes d’IA, « qui avait attiré l’attention du monde entier ». Une analyse que nous élargissons volontiers à la réaction de Meta, à la décision de sociétés comme Frontier Security d’analyser divers autres systèmes pour voir si, eux aussi, avaient réussi à échapper à leur environnement de test. On pourrait même, pourquoi pas, y ajouter le « test de sécurité » mené au Royaume-Uni par l’AI Security Institute, pendant lequel (surprise) un modèle d’OpenAI et un autre d’Anthropic se seraient échappés. Là encore, des experts qualifient toute l’affaire de « campagne publicitaire éthiquement problématique », et la fuite de parfaitement justifiée, étant donné que le test avait notamment consisté à minimiser les garde-fous autour des systèmes étudiés.

Mais pendant qu’on brandit des scénarios d’outils capables d’attaquer de leur propre chef, la question de la responsabilité que prennent les constructeurs d’IA pour éviter que de tels incidents ne se reproduisent reste, elle, encore et toujours évacuée du débat.

Transparence vidée de sa substance

Quelques semaines à peine après l’incident repéré vis-à-vis d’Hugging Face, un communiqué d’OpenAI, relatif à un autre de ses outils, illustrait très bien le pied de nez que le constructeur a décidé de continuer d’adresser au monde. Dans ce texte consacré à son modèle Astra, l’entreprise écrit ne pas pouvoir « exclure » que celui-ci présente « des cybercapacités critiques » telles que définies par ses propres cadres. Autrement dit, Astra pourrait poser de sérieux problèmes de cybersécurité.

OpenAI déclare communiquer ces informations, « car nous estimons important de faire preuve de transparence auprès du public et des communautés spécialisées dans la sûreté et la sécurité concernant cette évolution potentielle des capacités ». Cette « transparence » dont se prévaut l’entreprise résonne fortement avec les exigences longtemps promues par les scientifiques spécialistes de l’intelligence artificielle. Sauf qu’elle ne ressemble en rien à la transparence qu’ils et elles demandent, qui impliquerait d’ouvrir l’accès aux modèles, à leurs données d’entraînement, à leur architecture, de détailler leurs besoins en ressources, ou, dans le cas présent, de donner des informations bien plus précises sur ce à quoi, concrètement et techniquement, les incidents de sécurité pourraient ressembler.

Telle qu’elle apparaît dans le communiqué d’OpenAI, la transparence ressemble plutôt à des menaces (Attention, vous pourriez vous faire hacker si le système nous échappe !) ou à un manuel de terrain pour cultiver l’impunité (si ça arrive, oups 🤷 Au moins on aura prévenu 🙂 ).

Le texte, qui vise à prévenir du degré potentiel de dangerosité d’un des modèles d’OpenAI, fait même référence à la compromission d’Hugging Face, mais uniquement pour dire qu’Astra n’est pas impliqué dans l’affaire. Est-ce qu’OpenAI prévoit de suspendre certaines de ses activités le temps de s’assurer que ses outils ne créeront plus de danger ? Non. L’entreprise se contente de donner un vague aperçu de sa cuisine interne pour que « la poursuite du développement de ce modèle se déroule dans des conditions garantissant sa sûreté et sa sécurité ». Mais qui dit que la poursuite du développement de ce modèle est souhaitable ? Comment croire, même, qu’elle puisse être « sûre et sécurisée », alors qu’OpenAI vient de montrer sa faillibilité ?

Toujours aucun contrôle a priori

Passons rapidement sur les mesures dédiées à « surveiller (…) des défauts d’alignement », concept toujours pas défini correctement. Alors qu’OpenAI a laissé un de ses modèles agir en dehors de son bac à sable, la question se fait pourtant chaque jour plus pressante : de quel alignement parle OpenAI ? Les intérêts et les valeurs de Sam Altman sont-ils les plus alignés avec ceux du peuple états-unien ? Du gouvernement local ? De l’Occident ? De la planète ? Ou ne parle-t-on que de l’alignement de modèles sur les seuls intérêts du patron d’OpenAI ?

Le cadre qu’a fixé l’entreprise l’«a déjà guidée lors d’autres transitions de capacités », indique-t-elle encore. En langage naturel, cela signifie qu’Astra risque de présenter des « cybercapacités critiques », mais que, calmez-vous madame, ça va bien se passer. Par quel tour de magie une erreur de sécurité peut-elle devenir un argument de vente ? De quelle ampleur la prochaine faille cyber doit-elle être pour qu’enfin, législateurs et gouvernants tiennent les constructeurs de modèles d’IA pour responsables des dégâts qu’ils causent ? Et à quels saints représentants politiques faut-il se vouer, pour empêcher que les constructeurs d’IA, outre se tirer la bourre pour capter tellement de soutien financier qu’ils représentent un risque pour l’économie mondiale, se lancent désormais dans une course à celui qui créera le plus vite le plus grand danger cyber ?

Côté régulation, les Européens pourront compter dans les prochaines années sur l’AI Act, quand bien même sa mise en application vient d’être reculée, et le texte lui-même, allégé. Mais les dispositifs de sécurité que celui-ci impose fonctionnent a posteriori : même pour les systèmes les plus sensibles, dits « à haut risque », ce sera aux fournisseurs d’informer les autorités de surveillance des marchés concernés lorsqu’ils constateront un lien entre leur système et un éventuel incident grave.

En termes de contrôle, l’Union se dote d’un Bureau de l’intelligence artificielle et d’un comité IA chargé de la coordination des autorités nationales. « Toute personne physique ou morale » pourra par ailleurs déposer ses réclamations auprès de l’autorité relative à son marché pour obtenir « des explications claires et pertinentes » en cas d’impacts négatifs d’un système d’IA sur « sa santé, sa sécurité ou ses droits fondamentaux ». Dans les textes actuels, en revanche, nulle trace de contrôle a priori, que ce soit des constructeurs ou des tiers supposés les aider à construire leurs tests de cybersécurité.

On pourrait, collectivement, décider de s’en alarmer : d’après ABC News, un internaute australien vient de déclencher par inadvertance le hack du site web de sa salle de gym, après avoir demandé à un agent de lui réserver une place. Pour le moment, hormis pour la salle de gym et son éditeur de logiciel de réservation, les enjeux restent faibles. Mais que se passerait-il si un « malin » petit système d’IA, qu’il soit utilisé par un internaute sans connaissances techniques ou par des experts ayant abaissé ses garde-fous pour les besoins d’un test de cybersécurité, se retrouvait à attaquer le site web d’un hôpital, d’une administration, voire du système de gestion d’un barrage hydroélectrique ou d’une centrale nucléaire ?

En l’état, les incidents de l’été laissent nettement douter de l’efficacité des dispositifs de sécurité déployés par les constructeurs. Ceux-là mêmes continuent pourtant de refuser d’être régulés – donc d’être mis devant leur responsabilité – par d’autres qu’eux-mêmes, au motif que ça les empêcherait d’innover. Il serait peut-être temps de cesser de les prendre au mot ?

  •  

[Édito] Quatre modèles d’IA « échappent » à leurs constructeurs : vous le faites exprès ?

Oops… They’ll do it again
[Édito] Quatre modèles d’IA « échappent » à leurs constructeurs : vous le faites exprès ?

Après Anthropic, OpenAI et Meta, voilà qu’un modèle du chinois Moonshot AI aurait lui aussi réussi à accéder à internet aux dépens de ses constructeurs. Une démonstration supplémentaire des failles techniques et humaines existant chez les constructeurs d’IA générative et leurs partenaires, mais aussi de l’impunité qu’ils cultivent de manière très publique.

Ça commence à bien faire. Après Anthropic, Open AI et Meta, c’est au tour du chinois Moonshot AI de laisser un des systèmes d’IA générative accéder à internet. Une fois au large, le système a fouillé Github pour y chercher les réponses au benchmark de sécurité auquel il était soumis, d’après la société états-unienne Frontier Security.

À peu près à la même période, c’était Meta qui laissait son modèle Muse Spark 1.1 accéder à internet « par inadvertance », espace depuis lequel le système a hacké un acteur tiers. La mention de l’inadvertance est une citation du Wall Street Journal. Mais elle traduit bien le ton global des communiqués et explications fournies par chacun des constructeurs d’IA générative au gré des failles de cybersécurité mises au jour ces dernières semaines.

Premier concerné, OpenAI s’est débrouillé dès le mois de juillet pour tourner la perte de contrôle de l’outil que l’entreprise avait elle-même construit en démonstration de la supposée « intelligence » du modèle GPT 5.6 Sol. Alors qu’il était soumis à un test interne, supposément isolé du réseau, le dispositif aurait exploité une vulnérabilité 0-day pour accéder à internet et, de là, se tourner vers les systèmes de la société concurrente Hugging Face pour trouver les réponses au test auquel il était soumis. Pour les besoins de ce test, GPT 5.6 Sol avait été volontairement configuré avec des barrières cyber relativement faibles. Pour autant, OpenAI a mis cinq jours complets à s’apercevoir du problème.

Depuis quand les vulnérabilités technologiques sont-elles devenues un argument de vente ? Depuis quand un produit ouvertement dangereux pour son constructeur et pour le reste du milieu économique et social – ses concurrents, ses clients, des internautes qui passent dans le coin – peut-il être mis sur le marché sans que quiconque ne demande vérification et sécurisation du produit en amont ?

C’est pas nous, c’est Irregular

Les raisons de la « prise d’indépendance » du moteur de Meta sont peu ou prou les mêmes que celles avancées par OpenAI quelques semaines plus tôt : d’après les entreprises elles-mêmes, ces errements sont dûs à de « mauvaises configurations » des environnements dans lesquels les tests de cybersécurité ont été mis en place. Chez Anthropic, Claude aurait de son côté réussi par trois fois (sur 141 000 sessions de tests) à sortir de son « bac à sable » (sandbox, environnement d’expérimentation sécurisé) pour aller sur internet.

La succession d’incidents vus chez les acteurs états-uniens Meta, Anthropic et OpenAI serait d’ailleurs le résultat d’un seul et même test de cybersécurité. Les trois ont été menés par la société Irregular, qui se présente comme un « laboratoire de sécurisation des systèmes frontière ». Celle-ci déclare que les incidents ne sont le résultat d’aucune action cyber sophistiquée, et qu’elle n’a pas de « problème en cours » au sujet de son environnement de test.

S’il n’y a pas de problème, il ne reste plus qu’à… faire confiance aux constructeurs d’IA comme à leurs partenaires ? Et considérer qu’il n’y a pas de problème ?

Doom marketing is still marketing

Si les modèles concernés ont exploité des failles techniques pour répondre aux tests de cybersécurité auxquels ils étaient soumis, avance Nathaniel Jones, cadre de la société de cybersécurité Darktrace, dans TechRadar, c’est précisément parce qu’ils ont été construits et testés pour cela. Alors qu’elles s’étaient vues fixer « l’objectif légitime de résoudre un exercice de référence en matière de cybersécurité », les machines ont trouvé « une voie inattendue pour parvenir aux réponses ».

« L’eau sous pression ne "décide" pas de s’échapper. Elle s’engouffre dans une brèche sous la seule force de la pression », écrit de son côté l’éditeur Cyrille Zola-Place dans une tribune. « Personne ne dirait que l’eau est « en mission », qu’elle agit « de sa propre initiative », qu’elle est « hors de contrôle ». Tout le monde comprendrait que la question est ailleurs : qui a construit ce barrage, et pourquoi n’a-t-il pas tenu ? Le système n’a pas « voulu » sortir. Il a optimisé un chemin. Et le chemin passait par là. »

Fondateur de la société de cybersécurité Immuniweb, Ilia Kolochenko estime de son côté que l’annonce d’Anthropic était surtout un « geste marketing » destiné à répondre aux discours relatifs à l’attaque d’Hugging Face par des systèmes d’IA, « qui avait attiré l’attention du monde entier ». Une analyse que nous élargissons volontiers à la réaction de Meta, à la décision de sociétés comme Frontier Security d’analyser divers autres systèmes pour voir si, eux aussi, avaient réussi à échapper à leur environnement de test. On pourrait même, pourquoi pas, y ajouter le « test de sécurité » mené au Royaume-Uni par l’AI Security Institute, pendant lequel (surprise) un modèle d’OpenAI et un autre d’Anthropic se seraient échappés. Là encore, des experts qualifient toute l’affaire de « campagne publicitaire éthiquement problématique », et la fuite de parfaitement justifiée, étant donné que le test avait notamment consisté à minimiser les garde-fous autour des systèmes étudiés.

Mais pendant qu’on brandit des scénarios d’outils capables d’attaquer de leur propre chef, la question de la responsabilité que prennent les constructeurs d’IA pour éviter que de tels incidents ne se reproduisent reste, elle, encore et toujours évacuée du débat.

Transparence vidée de sa substance

Quelques semaines à peine après l’incident repéré vis-à-vis d’Hugging Face, un communiqué d’OpenAI, relatif à un autre de ses outils, illustrait très bien le pied de nez que le constructeur a décidé de continuer d’adresser au monde. Dans ce texte consacré à son modèle Astra, l’entreprise écrit ne pas pouvoir « exclure » que celui-ci présente « des cybercapacités critiques » telles que définies par ses propres cadres. Autrement dit, Astra pourrait poser de sérieux problèmes de cybersécurité.

OpenAI déclare communiquer ces informations, « car nous estimons important de faire preuve de transparence auprès du public et des communautés spécialisées dans la sûreté et la sécurité concernant cette évolution potentielle des capacités ». Cette « transparence » dont se prévaut l’entreprise résonne fortement avec les exigences longtemps promues par les scientifiques spécialistes de l’intelligence artificielle. Sauf qu’elle ne ressemble en rien à la transparence qu’ils et elles demandent, qui impliquerait d’ouvrir l’accès aux modèles, à leurs données d’entraînement, à leur architecture, de détailler leurs besoins en ressources, ou, dans le cas présent, de donner des informations bien plus précises sur ce à quoi, concrètement et techniquement, les incidents de sécurité pourraient ressembler.

Telle qu’elle apparaît dans le communiqué d’OpenAI, la transparence ressemble plutôt à des menaces (Attention, vous pourriez vous faire hacker si le système nous échappe !) ou à un manuel de terrain pour cultiver l’impunité (si ça arrive, oups 🤷 Au moins on aura prévenu 🙂 ).

Le texte, qui vise à prévenir du degré potentiel de dangerosité d’un des modèles d’OpenAI, fait même référence à la compromission d’Hugging Face, mais uniquement pour dire qu’Astra n’est pas impliqué dans l’affaire. Est-ce qu’OpenAI prévoit de suspendre certaines de ses activités le temps de s’assurer que ses outils ne créeront plus de danger ? Non. L’entreprise se contente de donner un vague aperçu de sa cuisine interne pour que « la poursuite du développement de ce modèle se déroule dans des conditions garantissant sa sûreté et sa sécurité ». Mais qui dit que la poursuite du développement de ce modèle est souhaitable ? Comment croire, même, qu’elle puisse être « sûre et sécurisée », alors qu’OpenAI vient de montrer sa faillibilité ?

Toujours aucun contrôle a priori

Passons rapidement sur les mesures dédiées à « surveiller (…) des défauts d’alignement », concept toujours pas défini correctement. Alors qu’OpenAI a laissé un de ses modèles agir en dehors de son bac à sable, la question se fait pourtant chaque jour plus pressante : de quel alignement parle OpenAI ? Les intérêts et les valeurs de Sam Altman sont-ils les plus alignés avec ceux du peuple états-unien ? Du gouvernement local ? De l’Occident ? De la planète ? Ou ne parle-t-on que de l’alignement de modèles sur les seuls intérêts du patron d’OpenAI ?

Le cadre qu’a fixé l’entreprise l’«a déjà guidée lors d’autres transitions de capacités », indique-t-elle encore. En langage naturel, cela signifie qu’Astra risque de présenter des « cybercapacités critiques », mais que, calmez-vous madame, ça va bien se passer. Par quel tour de magie une erreur de sécurité peut-elle devenir un argument de vente ? De quelle ampleur la prochaine faille cyber doit-elle être pour qu’enfin, législateurs et gouvernants tiennent les constructeurs de modèles d’IA pour responsables des dégâts qu’ils causent ? Et à quels saints représentants politiques faut-il se vouer, pour empêcher que les constructeurs d’IA, outre se tirer la bourre pour capter tellement de soutien financier qu’ils représentent un risque pour l’économie mondiale, se lancent désormais dans une course à celui qui créera le plus vite le plus grand danger cyber ?

Côté régulation, les Européens pourront compter dans les prochaines années sur l’AI Act, quand bien même sa mise en application vient d’être reculée, et le texte lui-même, allégé. Mais les dispositifs de sécurité que celui-ci impose fonctionnent a posteriori : même pour les systèmes les plus sensibles, dits « à haut risque », ce sera aux fournisseurs d’informer les autorités de surveillance des marchés concernés lorsqu’ils constateront un lien entre leur système et un éventuel incident grave.

En termes de contrôle, l’Union se dote d’un Bureau de l’intelligence artificielle et d’un comité IA chargé de la coordination des autorités nationales. « Toute personne physique ou morale » pourra par ailleurs déposer ses réclamations auprès de l’autorité relative à son marché pour obtenir « des explications claires et pertinentes » en cas d’impacts négatifs d’un système d’IA sur « sa santé, sa sécurité ou ses droits fondamentaux ». Dans les textes actuels, en revanche, nulle trace de contrôle a priori, que ce soit des constructeurs ou des tiers supposés les aider à construire leurs tests de cybersécurité.

On pourrait, collectivement, décider de s’en alarmer : d’après ABC News, un internaute australien vient de déclencher par inadvertance le hack du site web de sa salle de gym, après avoir demandé à un agent de lui réserver une place. Pour le moment, hormis pour la salle de gym et son éditeur de logiciel de réservation, les enjeux restent faibles. Mais que se passerait-il si un « malin » petit système d’IA, qu’il soit utilisé par un internaute sans connaissances techniques ou par des experts ayant abaissé ses garde-fous pour les besoins d’un test de cybersécurité, se retrouvait à attaquer le site web d’un hôpital, d’une administration, voire du système de gestion d’un barrage hydroélectrique ou d’une centrale nucléaire ?

En l’état, les incidents de l’été laissent nettement douter de l’efficacité des dispositifs de sécurité déployés par les constructeurs. Ceux-là mêmes continuent pourtant de refuser d’être régulés – donc d’être mis devant leur responsabilité – par d’autres qu’eux-mêmes, au motif que ça les empêcherait d’innover. Il serait peut-être temps de cesser de les prendre au mot ?

  •  

☕️ La préfecture de Seine-et-Marne autorise l’installation de Campus IA à Fouju



C’est fait. Sans grande surprise, le plus grand projet de data center de France, Campus IA, a obtenu le 29 juillet l’autorisation préfectorale de s’installer à Fouju, à 40 km au Sud-Est de Paris.

Après une consultation publique organisée auprès de la population à l’automne, puis une enquête publique à l’issue de laquelle les trois commissaire ont rendu un avis favorable, le dossier est passé dans les mains de l’État.

Soutenu dès le sommet Choose France de juin 2025, Campus IA doit être financé à hauteur de 50 milliards d’euros par le fonds émirati MGX, le fabricant de puces états-unien NVIDIA, la start-up française Mistral AI et la Banque publique d’investissement (Bpi).

Illustration : Flock

Si son développement se fera en plusieurs phase, dont la première doit être livrée en 2028, il prévoit d’atteindre à terme une puissance de pleine capacité de 1,4 gigawatt, équivalente à celle d’un réacteur d’une centrale nucléaire.

Il s’étendra sur 89 hectares, dont 73 sont à bâtir, rappelle Le Parisien. Il comptera onze bâtiments contenant des centres de données et un dédié à la formation. Pendant la consultation publique, les riverains ont néanmoins souligné que l’absence de réseau de transport public allait freiner les venues sur site.

Sur les questions relatives au refroidissement, Campus IA doit recourir à des groupes frigorifiques installés en toiture et recourant à 601 tonnes de gaz réfrigérant. Cela permet d’éviter le pompage de la nappe phréatique voisine de Champigny, mais crée d’autres inquiétudes, sur les PFAS dégagés si le gaz venait à fuir.

Côté chaleur fatale, souvent évoquée sur les chantiers français des centres de données, mais très peu réutilisée en réalité, Campus IA affirme que celle de ses bâtiments sera récupérée pour son centre de formation, pour des serres agricoles implantées près de son terrain, et pour le futur centre pénitentiaire voisin. La ville de Melun s’est aussi déclarée intéressée.

Quoiqu’il en soit, le projet n’avance pas sans opposition. Sous le nom Stop IA à Fouju, un collectif s’est monté, qui réunit France Nature Environnement Seine-et-Marne et Île-de-France, La Ligue de protection des oiseaux, la Confédération paysanne et les Soulèvements de la Terre. Elle qualifie l’enquête publique de « bâclée », prévoit une journée de débats le 29 août à l’Espace Saint-Jean de Melun, et prévoit de déposer un recours, selon Le Parisien. En ligne, une pétition s’opposant au projet compte actuellement plus de 47 000 signatures.

  •  

☕️ La préfecture de Seine-et-Marne autorise l’installation de Campus IA à Fouju



C’est fait. Sans grande surprise, le plus grand projet de data center de France, Campus IA, a obtenu le 29 juillet l’autorisation préfectorale de s’installer à Fouju, à 40 km au Sud-Est de Paris.

Après une consultation publique organisée auprès de la population à l’automne, puis une enquête publique à l’issue de laquelle les trois commissaire ont rendu un avis favorable, le dossier est passé dans les mains de l’État.

Soutenu dès le sommet Choose France de juin 2025, Campus IA doit être financé à hauteur de 50 milliards d’euros par le fonds émirati MGX, le fabricant de puces états-unien NVIDIA, la start-up française Mistral AI et la Banque publique d’investissement (Bpi).

Illustration : Flock

Si son développement se fera en plusieurs phase, dont la première doit être livrée en 2028, il prévoit d’atteindre à terme une puissance de pleine capacité de 1,4 gigawatt, équivalente à celle d’un réacteur d’une centrale nucléaire.

Il s’étendra sur 89 hectares, dont 73 sont à bâtir, rappelle Le Parisien. Il comptera onze bâtiments contenant des centres de données et un dédié à la formation. Pendant la consultation publique, les riverains ont néanmoins souligné que l’absence de réseau de transport public allait freiner les venues sur site.

Sur les questions relatives au refroidissement, Campus IA doit recourir à des groupes frigorifiques installés en toiture et recourant à 601 tonnes de gaz réfrigérant. Cela permet d’éviter le pompage de la nappe phréatique voisine de Champigny, mais crée d’autres inquiétudes, sur les PFAS dégagés si le gaz venait à fuir.

Côté chaleur fatale, souvent évoquée sur les chantiers français des centres de données, mais très peu réutilisée en réalité, Campus IA affirme que celle de ses bâtiments sera récupérée pour son centre de formation, pour des serres agricoles implantées près de son terrain, et pour le futur centre pénitentiaire voisin. La ville de Melun s’est aussi déclarée intéressée.

Quoiqu’il en soit, le projet n’avance pas sans opposition. Sous le nom Stop IA à Fouju, un collectif s’est monté, qui réunit France Nature Environnement Seine-et-Marne et Île-de-France, La Ligue de protection des oiseaux, la Confédération paysanne et les Soulèvements de la Terre. Elle qualifie l’enquête publique de « bâclée », prévoit une journée de débats le 29 août à l’Espace Saint-Jean de Melun, et prévoit de déposer un recours, selon Le Parisien. En ligne, une pétition s’opposant au projet compte actuellement plus de 47 000 signatures.

  •  
❌