À boire et à manger

Le projet de loi Ripost a été définitivement adopté par le Parlement ce 21 juillet. Le texte vise à durcir le ton face à un certain nombre de troubles à l’ordre public. Mais si les rodéos urbains et le protoxyde d’azote font les gros titres, le texte contient également des mesures liées à la lecture automatisée des plaques d’immatriculation et à la vidéosurveillance algorithmique.

La loi Ripost – pour « réponses immédiates aux phénomènes troublant l’ordre public, la sécurité et la tranquillité de nos concitoyens » – a finalement été adoptée tard dans la nuit du mardi 21 juillet. Le texte avait déjà fait l’objet d’une première lecture au Sénat le 25 mars, suivie d’une première lecture à l’Assemblée le 28 mai. La commission mixte paritaire avait été convoquée le 17 juillet pour lisser les désaccords.

• Vidéosurveillance algorithmique : la loi Ripost étend encore la prolongation jusqu’en 2030

Le texte adopté correspond en très grande partie à celui validé par la CMP. Hétéroclite, qualifié parfois par l’opposition et ses détracteurs de « fourre-tout », il doit apporter des réponses concrètes, voire durcies, à une liste de situations liées à l’ordre public.

Portée par le ministre de l’Intérieur Laurent Nuñez, la loi Ripost comporte de nombreuses mesures sécuritaires. Les plus relayées sont l’interdiction complète de la vente de protoxyde d’azote (gaz hilarant) au grand public, de nouveaux délits instaurés pour les rodéos urbains et les free parties (occasionnant des manifestations en juin), ou encore le relèvement de l’amende forfaitaire délictuelle pour usage de stupéfiants à 500 euros.

Certaines de ces mesures ont cependant un lien direct avec le numérique et la vidéosurveillance algorithmique.

Autour des lecteurs automatisés de plaques d’immatriculation (LAPI)

Les articles 15 et 15 bis ont trait aux LAPI, à la durée de conservation des données ou encore à l’accès à ces dernières.

La loi Ripost introduit un changement d’échelle. D’abord, le périmètre d’accès aux données LAPI pour la police, la gendarmerie et les douanes est étendu à 11 catégories : terrorisme, criminalité organisée, vol/recel de véhicules, vol aggravé, évasion, escroquerie, soustraction de mineurs, contrebande de tabac, trafic de déchets, refus d’obtempérer et – objet de nombreux débats – aide à l’entrée et au séjour irréguliers.

Ensuite, la durée de conservation évolue largement, passant de 15 jours actuellement à un an. En revanche, le fichier n’est pas assorti d’un « open bar » : la police, la gendarmerie et les douanes peuvent y accéder pendant un mois à compter de la collecte, l’accès étant ensuite réservé aux enquêtes judiciaires, sur autorisation d’un magistrat. La loi précise en outre que les traitements liés « ne comportent aucune technique de reconnaissance faciale ».

Enfin, l’article 15 introduit une mesure là encore très contestée : une base légale pour des conventions entre les services de l’État et des personnes morales de droit privé exploitant des dispositifs LAPI (parkings, autoroutes…) pour organiser la mise à disposition de leurs données aux forces de l’ordre. Autant de points que la Quadrature du Net avait largement décriés dans son billet du 17 juin, l’association y voyant la mise en place d’une « surveillance massive des déplacements ».

Des craintes largement alimentées par l’article 15 bis, du moins dans sa version de travail. La version adoptée traite toujours de l’analyse algorithmique des trajets des véhicules, mais les cas sont maintenant plus encadrés.

Le statut est ainsi expérimental, fixé à une période de trois ans et surtout limité à trois finalités spécifiques : criminalité organisée, vol et recel de véhicules volés, ainsi que vol aggravé. La conservation des données est fixée à quatre mois (maximum) et seuls peuvent y accéder les « personnels de la police nationale et de la gendarmerie nationale affectés dans des services de renseignement ».

Les traitements associés excluent « toute exploitation de la photographie des occupants des véhicules ». Dans le cadre de cette expérimentation, les données recueillies ne peuvent pas non plus être croisées avec d’autres traitements de données à caractère personnel.

La vidéosurveillance algorithmique est là pour rester

Sans grande surprise, l’article 19 de la loi Ripost confirme la prolongation jusqu’au 31 décembre 2030 de la vidéosurveillance algorithmique pour la seule finalité de prévention du terrorisme et des atteintes graves à la sécurité des personnes, avec extension aux bâtiments ouverts au public exposés à un risque permanent ou exceptionnel, en plus des grands événements. Là encore, la loi maintient l’exclusion de toute identification biométrique.

En revanche, l’article 19 bis est nouveau. Il ouvre une expérimentation – une de plus – jusqu’au 31 décembre 2027 de traitements algorithmiques sur les images de surveillance des commerces de détail, grandes surfaces et centres commerciaux, à la seule fin de prévention du vol.

Sur le papier, le dispositif est très encadré : interdiction de toute identification biométrique ou reconnaissance faciale, contrôle humain obligatoire, analyse d’impact CNIL, registre des suites données aux signalements, attestation de conformité publiée avant mise à disposition du système, et interdiction d’utiliser les images comme données d’entraînement. En outre, un rapport d’évaluation devra être remis au Parlement avant le 30 septembre 2027.

Billes numériques

La loi Ripost contient plusieurs autres éléments liés au numérique, soit pour compléter des mesures introduites, soit pour préciser certaines règles de traitement.

Par exemple, l’article 7 ter habilite l’autorité administrative à faire retirer, bloquer ou déréférencer les contenus en ligne relatifs à la vente illégale de protoxyde d’azote, via les mécanismes prévus à l’article L. 521-3-1 du code de la consommation. Autrement dit, un blocage administratif de contenu, sans intervention d’un juge.

L’article 11 introduit toutefois une clause de souveraineté numérique : les données transmises dans le cadre de certaines procédures de coopération judiciaire ne peuvent être traitées, hébergées ou rendues accessibles via une solution (logiciel, infrastructure…) fournie par une entité susceptible d’être soumise à une législation étrangère extraterritoriale. Difficile de ne pas penser aux lois américaines comme le Cloud Act et sa portée extraterritoriale qui a tant fait couler d’encre.

Enfin, plusieurs articles intronisent des autorisations d’exploitation pour des dispositifs de caméras spécifiques. L’article 14 bis, par exemple, autorise à titre expérimental les opérateurs de transport public ferroviaire à capter, transmettre et enregistrer des images prises sur la voie publique et dans des lieux ouverts au public, via des caméras frontales. La finalité est toujours la même : prévention des accidents pendant l’intervention des agents, constat des infractions, etc. À chaque fois, le périmètre est strict, les données ne peuvent être gardées que 30 jours et les modalités doivent être fixées par décret en Conseil d’État, après avis de la CNIL.

À boire et à manger

Le projet de loi Ripost a été définitivement adopté par le Parlement ce 21 juillet. Le texte vise à durcir le ton face à un certain nombre de troubles à l’ordre public. Mais si les rodéos urbains et le protoxyde d’azote font les gros titres, le texte contient également des mesures liées à la lecture automatisée des plaques d’immatriculation et à la vidéosurveillance algorithmique.

La loi Ripost – pour « réponses immédiates aux phénomènes troublant l’ordre public, la sécurité et la tranquillité de nos concitoyens » – a finalement été adoptée tard dans la nuit du mardi 21 juillet. Le texte avait déjà fait l’objet d’une première lecture au Sénat le 25 mars, suivie d’une première lecture à l’Assemblée le 28 mai. La commission mixte paritaire avait été convoquée le 17 juillet pour lisser les désaccords.

• Vidéosurveillance algorithmique : la loi Ripost étend encore la prolongation jusqu’en 2030

Le texte adopté correspond en très grande partie à celui validé par la CMP. Hétéroclite, qualifié parfois par l’opposition et ses détracteurs de « fourre-tout », il doit apporter des réponses concrètes, voire durcies, à une liste de situations liées à l’ordre public.

Portée par le ministre de l’Intérieur Laurent Nuñez, la loi Ripost comporte de nombreuses mesures sécuritaires. Les plus relayées sont l’interdiction complète de la vente de protoxyde d’azote (gaz hilarant) au grand public, de nouveaux délits instaurés pour les rodéos urbains et les free parties (occasionnant des manifestations en juin), ou encore le relèvement de l’amende forfaitaire délictuelle pour usage de stupéfiants à 500 euros.

Certaines de ces mesures ont cependant un lien direct avec le numérique et la vidéosurveillance algorithmique.

Autour des lecteurs automatisés de plaques d’immatriculation (LAPI)

Les articles 15 et 15 bis ont trait aux LAPI, à la durée de conservation des données ou encore à l’accès à ces dernières.

La loi Ripost introduit un changement d’échelle. D’abord, le périmètre d’accès aux données LAPI pour la police, la gendarmerie et les douanes est étendu à 11 catégories : terrorisme, criminalité organisée, vol/recel de véhicules, vol aggravé, évasion, escroquerie, soustraction de mineurs, contrebande de tabac, trafic de déchets, refus d’obtempérer et – objet de nombreux débats – aide à l’entrée et au séjour irréguliers.

Ensuite, la durée de conservation évolue largement, passant de 15 jours actuellement à un an. En revanche, le fichier n’est pas assorti d’un « open bar » : la police, la gendarmerie et les douanes peuvent y accéder pendant un mois à compter de la collecte, l’accès étant ensuite réservé aux enquêtes judiciaires, sur autorisation d’un magistrat. La loi précise en outre que les traitements liés « ne comportent aucune technique de reconnaissance faciale ».

Enfin, l’article 15 introduit une mesure là encore très contestée : une base légale pour des conventions entre les services de l’État et des personnes morales de droit privé exploitant des dispositifs LAPI (parkings, autoroutes…) pour organiser la mise à disposition de leurs données aux forces de l’ordre. Autant de points que la Quadrature du Net avait largement décriés dans son billet du 17 juin, l’association y voyant la mise en place d’une « surveillance massive des déplacements ».

Des craintes largement alimentées par l’article 15 bis, du moins dans sa version de travail. La version adoptée traite toujours de l’analyse algorithmique des trajets des véhicules, mais les cas sont maintenant plus encadrés.

Le statut est ainsi expérimental, fixé à une période de trois ans et surtout limité à trois finalités spécifiques : criminalité organisée, vol et recel de véhicules volés, ainsi que vol aggravé. La conservation des données est fixée à quatre mois (maximum) et seuls peuvent y accéder les « personnels de la police nationale et de la gendarmerie nationale affectés dans des services de renseignement ».

Les traitements associés excluent « toute exploitation de la photographie des occupants des véhicules ». Dans le cadre de cette expérimentation, les données recueillies ne peuvent pas non plus être croisées avec d’autres traitements de données à caractère personnel.

La vidéosurveillance algorithmique est là pour rester

Sans grande surprise, l’article 19 de la loi Ripost confirme la prolongation jusqu’au 31 décembre 2030 de la vidéosurveillance algorithmique pour la seule finalité de prévention du terrorisme et des atteintes graves à la sécurité des personnes, avec extension aux bâtiments ouverts au public exposés à un risque permanent ou exceptionnel, en plus des grands événements. Là encore, la loi maintient l’exclusion de toute identification biométrique.

En revanche, l’article 19 bis est nouveau. Il ouvre une expérimentation – une de plus – jusqu’au 31 décembre 2027 de traitements algorithmiques sur les images de surveillance des commerces de détail, grandes surfaces et centres commerciaux, à la seule fin de prévention du vol.

Sur le papier, le dispositif est très encadré : interdiction de toute identification biométrique ou reconnaissance faciale, contrôle humain obligatoire, analyse d’impact CNIL, registre des suites données aux signalements, attestation de conformité publiée avant mise à disposition du système, et interdiction d’utiliser les images comme données d’entraînement. En outre, un rapport d’évaluation devra être remis au Parlement avant le 30 septembre 2027.

Billes numériques

La loi Ripost contient plusieurs autres éléments liés au numérique, soit pour compléter des mesures introduites, soit pour préciser certaines règles de traitement.

Par exemple, l’article 7 ter habilite l’autorité administrative à faire retirer, bloquer ou déréférencer les contenus en ligne relatifs à la vente illégale de protoxyde d’azote, via les mécanismes prévus à l’article L. 521-3-1 du code de la consommation. Autrement dit, un blocage administratif de contenu, sans intervention d’un juge.

L’article 11 introduit toutefois une clause de souveraineté numérique : les données transmises dans le cadre de certaines procédures de coopération judiciaire ne peuvent être traitées, hébergées ou rendues accessibles via une solution (logiciel, infrastructure…) fournie par une entité susceptible d’être soumise à une législation étrangère extraterritoriale. Difficile de ne pas penser aux lois américaines comme le Cloud Act et sa portée extraterritoriale qui a tant fait couler d’encre.

Enfin, plusieurs articles intronisent des autorisations d’exploitation pour des dispositifs de caméras spécifiques. L’article 14 bis, par exemple, autorise à titre expérimental les opérateurs de transport public ferroviaire à capter, transmettre et enregistrer des images prises sur la voie publique et dans des lieux ouverts au public, via des caméras frontales. La finalité est toujours la même : prévention des accidents pendant l’intervention des agents, constat des infractions, etc. À chaque fois, le périmètre est strict, les données ne peuvent être gardées que 30 jours et les modalités doivent être fixées par décret en Conseil d’État, après avis de la CNIL.

Entre autres problèmes, Windows 11 a beau représenter le système le plus moderne de Microsoft, il traine de vieux boulets esthétiques. Le problème est le même qu’avec Windows 10, même si le travail a continué depuis : des éléments d’interface datent de Windows 2000, voire d’avant, cassant l’homogénéité de l’interface.

L’un des cas les plus emblématiques est la fenêtre de propriétés d’un fichier, à laquelle on accède via le classique clic droit. En plus de ne pas avoir changé depuis très, très longtemps, elle ne tient pas compte du thème actif dans Windows. Elle se présente actuellement comme cela :

Mais phantomofearth, bien connu des réseaux sociaux pour ses trouvailles dans Windows, a révélé le 21 juillet sur Bluesky qu’une transformation se profile : la fenêtre des propriétés est modernisée. Pour l’instant, elle n’apparait que dans le contexte de la Corbeille, mais il s’agit bien d’une nouvelle fenêtre créée avec WinUI, d’où l’apparence cohérente avec le reste du système et le support du thème sombre. La disposition des éléments est strictement la même qu’actuellement, avec l’avantage de ne pas casser les habitudes.

Cette modification est présente dans la dernière préversion du système (26300.8935, branche expérimentale). Microsoft ne l’aborde pas encore dans un billet, mais ce n’est probablement qu’une question de temps. Il n’y a pas non plus de raison que ce changement reste cantonné à la Corbeille dans les prochaines préversions.

Rappelons que Microsoft travaille sur son initiative « K2 » visant à redorer le blason d’un Windows 11 qui n’a jamais provoqué l’enthousiasme. L’éditeur a mis en avant un travail sur les performances, l’arrivée d’applications natives, le recul de l’IA ou encore une plus grande personnalisation de l’interface. Une bonne partie de ces changements devrait se refléter dans la mise à jour 26H2.

Entre autres problèmes, Windows 11 a beau représenter le système le plus moderne de Microsoft, il traine de vieux boulets esthétiques. Le problème est le même qu’avec Windows 10, même si le travail a continué depuis : des éléments d’interface datent de Windows 2000, voire d’avant, cassant l’homogénéité de l’interface.

L’un des cas les plus emblématiques est la fenêtre de propriétés d’un fichier, à laquelle on accède via le classique clic droit. En plus de ne pas avoir changé depuis très, très longtemps, elle ne tient pas compte du thème actif dans Windows. Elle se présente actuellement comme cela :

Mais phantomofearth, bien connu des réseaux sociaux pour ses trouvailles dans Windows, a révélé le 21 juillet sur Bluesky qu’une transformation se profile : la fenêtre des propriétés est modernisée. Pour l’instant, elle n’apparait que dans le contexte de la Corbeille, mais il s’agit bien d’une nouvelle fenêtre créée avec WinUI, d’où l’apparence cohérente avec le reste du système et le support du thème sombre. La disposition des éléments est strictement la même qu’actuellement, avec l’avantage de ne pas casser les habitudes.

Cette modification est présente dans la dernière préversion du système (26300.8935, branche expérimentale). Microsoft ne l’aborde pas encore dans un billet, mais ce n’est probablement qu’une question de temps. Il n’y a pas non plus de raison que ce changement reste cantonné à la Corbeille dans les prochaines préversions.

Rappelons que Microsoft travaille sur son initiative « K2 » visant à redorer le blason d’un Windows 11 qui n’a jamais provoqué l’enthousiasme. L’éditeur a mis en avant un travail sur les performances, l’arrivée d’applications natives, le recul de l’IA ou encore une plus grande personnalisation de l’interface. Une bonne partie de ces changements devrait se refléter dans la mise à jour 26H2.

Foutu progrès

Hugging Face a communiqué récemment sur une attaque menée par un agent autonome contre ses infrastructures, occasionnant une compromission partielle. Patatras ! OpenAI vient de révéler qu’il s’agissait de l’un de ses modèles et qu’il s’était « échappé » de la sandbox où il était censé être confiné.

Le 16 juillet, Hugging Face a publié un billet de sécurité décrivant une intrusion dans une partie de son infrastructure de production. L’entreprise a affirmé qu’il s’agissait d’un système d’agent IA autonome, détecté et disséqué en grande partie grâce à sa propre architecture par la suite. Hugging Face dit avoir tiré quelques leçons importantes de l’aventure, mais précisait ne pas avoir trouvé quel modèle avait été utilisé.

• Attaquée par un agent IA autonome, Hugging Face a analysé les traces avec un LLM local

Et voilà qu’OpenAI a fourni la réponse ce 21 juillet : les modèles étaient les siens. Détournés par des pirates pour les militariser ? Que nenni, les agents ont fait leur vie et ont manifestement échappé au contrôle de leurs gardiens. Le problème de cybersécurité, réel et concret, est devenu un argument marketing.

Les évènements qui ont mené à l’attaque

Dans son propre billet, OpenAI donne des informations sur ce qui s’est passé, en plus de préciser les modèles utilisés dans l’attaque contre Hugging Face : le récent GPT 5.6 Sol ainsi que des modèles en préversion présentés comme encore « plus capables », configurés volontairement avec des barrières plus faibles autour des capacités cyber.

Les modèles étaient soumis à un benchmark interne nommé ExploitGym, conçu pour évaluer les capacités d’exploitation avancée sur des chemins d’attaque complexes, en désactivant les classifieurs de production qui bloquent normalement les activités cyber à haut risque.

L’environnement de test était censé être isolé, avec un accès réseau limité à un proxy interne servant de cache pour les paquets nécessaires. Cependant, les modèles ont consacré une quantité « substantielle » de calcul d’inférence à trouver un moyen d’obtenir un accès Internet ouvert, en exploitant une vulnérabilité 0-day dans ce proxy de cache. Cette faille a été communiquée au fournisseur concerné, précise OpenAI.

En clair, les modèles ont dépensé de la puissance de calcul pour s’échapper de leur bac à sable (sandbox). Une fois à l’air libre, les choses ont pris une autre tournure. Le système IA d’OpenAI, qui cherchait à résoudre les benchmarks qui lui étaient imposés, a « estimé » que les datasets (jeux de données) et solutions à ExploitGym devaient se trouver sur Hugging Face. Les modèles ont donc cherché tous les moyens d’obtenir les informations jugées nécessaires, jusqu’à voler des identifiants et identifier plusieurs nouvelles failles 0-day.

Autrement dit, l’attaque déclenchée contre Hugging Face n’était pas malveillante dans le sens classique du terme. Le système IA a simplement considéré que l’entreprise devait avoir la solution au problème qui lui était imposé et a donc cherché à tricher, Hugging Face se trouvant simplement sur le chemin.

Évidemment, vu depuis l’autre entreprise, l’incident n’avait rien de fascinant. L’intrusion s’est faite depuis un dataset malveillant provoquant une exécution de code dans un pipeline dédié. Rappelons que Hugging Face a d’abord essayé d’analyser la situation en passant par les API commerciales des grandes entreprises de l’IA, ce qui n’a pas fonctionné : ces API ne faisaient pas la différence entre des demandes liées à une attaque et d’autres liées à une analyse d’évènement cyber.

Hugging Face avait fini par installer le modèle chinois GLM 5.2 (poids ouverts) sur sa propre infrastructure pour mener ses analyses, sans dépendre de qui que ce soit. Une certaine ironie dans la situation que l’entreprise a nommée « l’asymétrie du garde-fou ».

Ce type d’incident se reproduira

Le risque d’un nouvel incident n’est plus théorique, les deux entreprises étant explicites sur le sujet. Hugging Face conclut que l’outillage offensif autonome piloté par IA n’est plus hypothétique, qu’il abaisse le coût de campagnes vastes, patientes et multi-étapes, et opère à vitesse machine.

OpenAI, de son côté, s’appuie sur des évaluations de l’UK AI Security Institute montrant que des modèles comme GPT 5.6 Sol sont de plus en plus capables de soutenir des opérations cyber complexes et multi-étapes sur de longues périodes. Pour l’éditeur, cet incident confirme que ces capacités théoriques s’appliquent en conditions réelles.

La récidive est d’autant plus possible que la sécurité générale dépend toujours de son maillon le plus faible. Or, il semble qu’OpenAI n’ait pas bien configuré son environnement de test : comment un laboratoire de pointe peut-il lancer des tests sur des capacités offensives sans confinement robuste ni surveillance suffisante ?

En outre, l’asymétrie décrite par Hugging Face sera toujours là. On retrouvera ainsi les modèles « débridés » en attaque, qu’ils soient utilisés à des fins de test ou par de vrais acteurs malveillants, tandis que la défense devra se contenter des modèles commerciaux, dont les capacités cyber sont volontairement tronquées.

D’ailleurs, l’évènement n’est pas isolé. OpenAI indique que le même jour, un modèle en préversion a été mis en pause après s’être échappé là encore de sa zone de confinement pour aller poster sur GitHub.

De l’incident cyber à l’opportunité marketing

OpenAI tire un bénéfice commercial direct et immédiat de l’histoire. Son billet se termine en invitant explicitement d’autres organisations à rejoindre le programme « Trusted Access » et à expérimenter ces modèles pour améliorer prévention, détection et réponse aux incidents. Sans surprise, Hugging Face a été intégré à ce même programme dans la foulée.

Le narratif est en outre bien connu, avec des modèles si « puissants » qu’ils en arrivent à pirater une entreprise tierce par accident. Une aura de danger qu’OpenAI a déjà exploitée et dont Anthropic s’est fait l’experte, un puissant « marketing de la peur » faisant la célébrité de son programme Glasswing et du modèle Mythos.

• Anthropic et la stratégie marketing de la peur autour de sa nouvelle IA Mythos (2/3)

Nous faisons également remarquer qu’il s’est écoulé cinq jours entre la publication de Hugging Face et celle d’OpenAI, laissant le temps de transformer une histoire potentiellement compromettante en argumentaire produit, d’autant que les forces de l’ordre ont été averties (on ne sait pas encore si OpenAI sera inquiétée).

Cependant, même si la communication bat son plein pour changer un problème en opportunité, les évènements décrits semblent bel et bien réels. Une faille 0-day a été trouvée dans un produit utilisé pour le confinement de l’environnement de test, une exécution de code a été déclenchée chez un partenaire, du temps et de l’argent ont été investis pour détecter, analyser, réparer et avertir.

En revanche, aucune des deux entreprises ne s’est exprimée sur la période de cinq jours entre les deux billets. À moins d’une campagne de communication savamment orchestrée, il est probable que Hugging Face n’ait pas su d’où venait l’attaque et qu’OpenAI ne l’en ait avertie qu’après le billet du 16 juillet. Au vu des annonces d’OpenAI – surtout l’intégration de Hugging Face dans Trusted Access –, les cinq jours semblent avoir servi à accorder les violons et à s’entendre sur la suite des évènements.

Enfin, OpenAI assure qu’elle fera tout pour que ce type d’incident ne se reproduise pas. « Cet incident souligne la nécessité de renforcer davantage l’alignement de notre modèle, les protections cyber pendant l’évaluation, et la surveillance lors des tests internes », affirme l’entreprise. Un argument que Micah Carroll, chercheur chez OpenAI, reprend sur X : « Si cela ne vous convainc pas que les risques de mésalignement vont devenir une préoccupation clé à l’avenir, je ne sais pas ce qui le fera ».

Foutu progrès

Hugging Face a communiqué récemment sur une attaque menée par un agent autonome contre ses infrastructures, occasionnant une compromission partielle. Patatras ! OpenAI vient de révéler qu’il s’agissait de l’un de ses modèles et qu’il s’était « échappé » de la sandbox où il était censé être confiné.

Le 16 juillet, Hugging Face a publié un billet de sécurité décrivant une intrusion dans une partie de son infrastructure de production. L’entreprise a affirmé qu’il s’agissait d’un système d’agent IA autonome, détecté et disséqué en grande partie grâce à sa propre architecture par la suite. Hugging Face dit avoir tiré quelques leçons importantes de l’aventure, mais précisait ne pas avoir trouvé quel modèle avait été utilisé.

• Attaquée par un agent IA autonome, Hugging Face a analysé les traces avec un LLM local

Et voilà qu’OpenAI a fourni la réponse ce 21 juillet : les modèles étaient les siens. Détournés par des pirates pour les militariser ? Que nenni, les agents ont fait leur vie et ont manifestement échappé au contrôle de leurs gardiens. Le problème de cybersécurité, réel et concret, est devenu un argument marketing.

Les évènements qui ont mené à l’attaque

Dans son propre billet, OpenAI donne des informations sur ce qui s’est passé, en plus de préciser les modèles utilisés dans l’attaque contre Hugging Face : le récent GPT 5.6 Sol ainsi que des modèles en préversion présentés comme encore « plus capables », configurés volontairement avec des barrières plus faibles autour des capacités cyber.

Les modèles étaient soumis à un benchmark interne nommé ExploitGym, conçu pour évaluer les capacités d’exploitation avancée sur des chemins d’attaque complexes, en désactivant les classifieurs de production qui bloquent normalement les activités cyber à haut risque.

L’environnement de test était censé être isolé, avec un accès réseau limité à un proxy interne servant de cache pour les paquets nécessaires. Cependant, les modèles ont consacré une quantité « substantielle » de calcul d’inférence à trouver un moyen d’obtenir un accès Internet ouvert, en exploitant une vulnérabilité 0-day dans ce proxy de cache. Cette faille a été communiquée au fournisseur concerné, précise OpenAI.

En clair, les modèles ont dépensé de la puissance de calcul pour s’échapper de leur bac à sable (sandbox). Une fois à l’air libre, les choses ont pris une autre tournure. Le système IA d’OpenAI, qui cherchait à résoudre les benchmarks qui lui étaient imposés, a « estimé » que les datasets (jeux de données) et solutions à ExploitGym devaient se trouver sur Hugging Face. Les modèles ont donc cherché tous les moyens d’obtenir les informations jugées nécessaires, jusqu’à voler des identifiants et identifier plusieurs nouvelles failles 0-day.

Autrement dit, l’attaque déclenchée contre Hugging Face n’était pas malveillante dans le sens classique du terme. Le système IA a simplement considéré que l’entreprise devait avoir la solution au problème qui lui était imposé et a donc cherché à tricher, Hugging Face se trouvant simplement sur le chemin.

Évidemment, vu depuis l’autre entreprise, l’incident n’avait rien de fascinant. L’intrusion s’est faite depuis un dataset malveillant provoquant une exécution de code dans un pipeline dédié. Rappelons que Hugging Face a d’abord essayé d’analyser la situation en passant par les API commerciales des grandes entreprises de l’IA, ce qui n’a pas fonctionné : ces API ne faisaient pas la différence entre des demandes liées à une attaque et d’autres liées à une analyse d’évènement cyber.

Hugging Face avait fini par installer le modèle chinois GLM 5.2 (poids ouverts) sur sa propre infrastructure pour mener ses analyses, sans dépendre de qui que ce soit. Une certaine ironie dans la situation que l’entreprise a nommée « l’asymétrie du garde-fou ».

Ce type d’incident se reproduira

Le risque d’un nouvel incident n’est plus théorique, les deux entreprises étant explicites sur le sujet. Hugging Face conclut que l’outillage offensif autonome piloté par IA n’est plus hypothétique, qu’il abaisse le coût de campagnes vastes, patientes et multi-étapes, et opère à vitesse machine.

OpenAI, de son côté, s’appuie sur des évaluations de l’UK AI Security Institute montrant que des modèles comme GPT 5.6 Sol sont de plus en plus capables de soutenir des opérations cyber complexes et multi-étapes sur de longues périodes. Pour l’éditeur, cet incident confirme que ces capacités théoriques s’appliquent en conditions réelles.

La récidive est d’autant plus possible que la sécurité générale dépend toujours de son maillon le plus faible. Or, il semble qu’OpenAI n’ait pas bien configuré son environnement de test : comment un laboratoire de pointe peut-il lancer des tests sur des capacités offensives sans confinement robuste ni surveillance suffisante ?

En outre, l’asymétrie décrite par Hugging Face sera toujours là. On retrouvera ainsi les modèles « débridés » en attaque, qu’ils soient utilisés à des fins de test ou par de vrais acteurs malveillants, tandis que la défense devra se contenter des modèles commerciaux, dont les capacités cyber sont volontairement tronquées.

D’ailleurs, l’évènement n’est pas isolé. OpenAI indique que le même jour, un modèle en préversion a été mis en pause après s’être échappé là encore de sa zone de confinement pour aller poster sur GitHub.

De l’incident cyber à l’opportunité marketing

OpenAI tire un bénéfice commercial direct et immédiat de l’histoire. Son billet se termine en invitant explicitement d’autres organisations à rejoindre le programme « Trusted Access » et à expérimenter ces modèles pour améliorer prévention, détection et réponse aux incidents. Sans surprise, Hugging Face a été intégré à ce même programme dans la foulée.

Le narratif est en outre bien connu, avec des modèles si « puissants » qu’ils en arrivent à pirater une entreprise tierce par accident. Une aura de danger qu’OpenAI a déjà exploitée et dont Anthropic s’est fait l’experte, un puissant « marketing de la peur » faisant la célébrité de son programme Glasswing et du modèle Mythos.

• Anthropic et la stratégie marketing de la peur autour de sa nouvelle IA Mythos (2/3)

Nous faisons également remarquer qu’il s’est écoulé cinq jours entre la publication de Hugging Face et celle d’OpenAI, laissant le temps de transformer une histoire potentiellement compromettante en argumentaire produit, d’autant que les forces de l’ordre ont été averties (on ne sait pas encore si OpenAI sera inquiétée).

Cependant, même si la communication bat son plein pour changer un problème en opportunité, les évènements décrits semblent bel et bien réels. Une faille 0-day a été trouvée dans un produit utilisé pour le confinement de l’environnement de test, une exécution de code a été déclenchée chez un partenaire, du temps et de l’argent ont été investis pour détecter, analyser, réparer et avertir.

En revanche, aucune des deux entreprises ne s’est exprimée sur la période de cinq jours entre les deux billets. À moins d’une campagne de communication savamment orchestrée, il est probable que Hugging Face n’ait pas su d’où venait l’attaque et qu’OpenAI ne l’en ait avertie qu’après le billet du 16 juillet. Au vu des annonces d’OpenAI – surtout l’intégration de Hugging Face dans Trusted Access –, les cinq jours semblent avoir servi à accorder les violons et à s’entendre sur la suite des évènements.

Enfin, OpenAI assure qu’elle fera tout pour que ce type d’incident ne se reproduise pas. « Cet incident souligne la nécessité de renforcer davantage l’alignement de notre modèle, les protections cyber pendant l’évaluation, et la surveillance lors des tests internes », affirme l’entreprise. Un argument que Micah Carroll, chercheur chez OpenAI, reprend sur X : « Si cela ne vous convainc pas que les risques de mésalignement vont devenir une préoccupation clé à l’avenir, je ne sais pas ce qui le fera ».