On peut tromper 1 000 fois un détecteur, mais pas 1 000 détecteurs une fois

Après les tests sur les détecteurs à poids ouverts, passons à un modèle commercial qui fait beaucoup parler de lui : Pangram. Nous lui avons envoyé des centaines d’articles, soit rédigés à 100 % par des humains (depuis notre base de données), soit générés par des IA.

Quasiment 100 % de réussite sur les articles écrits par des humains

En tout, 460 articles humains ont été soumis au détecteur. Pangram en a détecté 450 comme totalement humains, 9 comme principalement humains mais avec quelques passages signalés comme étant GenAI et enfin un seul faux positif identifié comme étant surtout écrit par une IA.

• On a soumis plus de 5 000 textes à 75 détecteurs d’IA gratuits : un constat d’échec

Dans les 460 textes, une trentaine de textes n’avaient jamais été publiés sur Internet, impossible donc pour Pangram d’en trouver la moindre trace (ce sont des brouillons finalisés de certains articles). Gardez en tête un élément important de notre analyse : elle repose sur un corpus d’articles techniques.

• Bilan : 459 textes sur 460 sont bien étiquetés humains.

95 % de réussite sur notre corpus de textes GenAI

Sur les textes générés par IA nous avons multiplié les analyses. Nous avons utilisé 350 textes différents générés par IA, mais au total 570 articles ont été soumis au détecteur Pangram. Il y a parfois plusieurs variantes d’un même texte pour essayer de comprendre les mécanismes du détecteur. Nous y reviendrons.

Détecte moi si tu peux

La détection de textes générés par IA est sur toutes les lèvres depuis l’affaire du livre de Thélyson Orélien. Chez Next, nous avons décidé de voir ce qu’il en était avec des milliers de nos articles, écrits à 100 % par des humains ! Dans cette première partie, nous passons au crible 75 détecteurs gratuits.

Next s’engage de manière forte sur l’utilisation de l’IA générative : aucun de nos articles n’est rédigé tout ou partie avec des IA génératives. Nous allons très prochainement publier une charte précise sur le sujet, mais ce n’est pas l’objet du jour.

Cette première partie de notre dossier permet de poser les bases : comment sont étiquetés nos 5 000 articles, quels sont les détecteurs utilisés et surtout ce que la détection implique. Car, oui, c’est une histoire de compromis entre les vraies et les fausses détections ; et il n’est pas toujours facile de placer le curseur au bon endroit.

• IA et littérature : les détecteurs automatiques comme Pangram surfent sur le doute
• Pangram sait-il vraiment détecter les textes IA ? Notre test sur plus de 1 000 articles

5 000 textes passés au crible de 75 détecteurs

Pour nos tests, nous avons plus de 5 000 textes étiquetés ainsi : 4 000 articles écrits à 100 % par des humains (actus Next) et plus de 1 000 générés par des IA. Première limite : notre corpus de textes comprend donc des articles techniques, avec la patte et l’angle Next.

Nous avons généré entre 150 et 200 articles par modèle Anthropic, OpenAI, Google, Mistral et Qwen. La moitié environ est générée depuis des réécritures d’un article humain, l’autre moitié inventée à partir d’un titre et du chapô.

Nous avons ensuite testé environ 70 combinaisons de détecteurs d’IA. Dans le détail, il y a cinq classifieurs autonomes : AI Text Detector, RoBERTa AI Text Detection (de fakespot), ChatGPT Detector RoBERTa, RoBERTa OpenAI Detector et RADAR Vicuna-7B.

Nous avons également une dizaine de méthodes statistiques (Binoculars, Fast-DetectGPT, log-vraisemblance, GLTR, entropie…) avec sept modèles de langage (Qwen, Llama, Gemma, Mistral…). On parle dans ce cas de détecteurs statistiques (ou zero-shot) : ils utilisent un modèle de langage pour estimer à quel point un texte est prévisible, et donc potentiellement généré par IA.

Les 5 classifieurs et les 70 combinaisons de détecteurs statistiques sont tous exécutés sur les 5 000 articles, dans un VPS géré par nos soins, avec un A10 de NVIDIA (cela a tout de même nécessité près de 10 heures de calcul). Font-ils mieux qu’un pile ou face ?

TPR, FPR, AUROC : des notions importantes pour comprendre la suite !