C'est OpenAI lui-même qui, par inadvertance (*), a mené une attaque par IA. Elle s'est ainsi introduite au cœur de l'infrastructure de production de Hugging Face.

NdM: (*) La responsabilité première ne revient donc pas à un modèle qui aurait « échappé au contrôle » au sens propre, mais à un dispositif expérimental dont le cloisonnement n’était pas à la hauteur des capacités évaluées. (article Usine digitale). Rappelons que la responsabilité est portée par l'humain et qu'altérer un système de traitement automatisé de données relèverait du pénal en France.

C'était supposé être juste une évaluation interne pour mesurer les capacités cybernétiques de GPT‑5.6 Sol et d'un nouveau modèle encore plus avancé. D'ailleurs, ces deux modèles étaient bien placés dans un environnement isolé. Le seul accès réseau était strictement limité à un proxy interne de cache pour l'installation de paquets. Mais…

Au lieu de résoudre directement les problèmes du benchmark ExploitGym, les modèles ont brûlé leurs tokens à trouver une faille de sécurité pour s'évader de leur environnement confiné. Ils ont identifié et exploité une vulnérabilité zero-day dans le proxy de cache du registre de paquets. À partir de là, ils ont procédé à une élévation de privilèges et à un mouvement latéral au sein de l'environnement de recherche d'OpenAI jusqu'à atteindre un nœud disposant d'un accès Internet ouvert.

Une fois connectés à Internet, les modèles ont déduit que Hugging Face hébergeait des modèles, des jeux de données et potentiellement les solutions d'ExploitGym. Ils ont alors recherché activement des moyens d'accéder à des informations secrètes pour tricher à l'évaluation. Pour ce faire, ils ont chaîné plusieurs vecteurs d'attaque, trouvé des identifiants (volés) et exploité d'autres vulnérabilités, afin d'obtenir une voie d'exécution de code à distance sur les serveurs de production de Hugging Face. Leur objectif final était d'extraire directement les solutions du test depuis la base de données de production de Hugging Face.

Ce scénario évoque d'ailleurs celui de Skynet ; le site skynetcountdown.com estime actuellement son avènement à 2035.