Au hasard des mots

Anthropic a annoncé mercredi dernier comment il allait répondre à l’exigence de l’AI Act européen de « tatouer » les contenus générés par Claude, images comme texte. L’entreprise en était restée aux grandes lignes sans entrer dans les détails techniques pour ce qui concerne les textes. C’est désormais chose faite.

Comment Anthropic va-t-elle se débrouiller pour intégrer un filigrane dans les textes générés par Claude ? C’est une des obligations de l’AI Act mises en œuvre le 2 août, et la page d’assistance publiée le 11 août était chiche en détails. On en sait un peu plus après la publication, en fin de semaine dernière, d’un billet de blog. Et comme on le pressentait, le modèle va insérer dans le texte généré une sorte de signature statistique, sans ajouter le moindre caractère caché.

• Anthropic va tatouer les textes et les images générés par Claude

Quand Claude est confronté à plusieurs mots pour dire la même chose, il ne choisit plus complètement au hasard : le choix sera influencé par une clé secrète et par les mots qui précèdent. Cette mécanique, basée sur SynthID-Text de Google DeepMind, crée un motif invisible pour le lecteur, mais détectable par Anthropic avec la bonne clé.

Pas de caractères cachés

L’entreprise donne cet exemple : « Aujourd’hui, il faisait froid et… ». Il est très peu probable que le mot suivant soit « sucré », en revanche, il pourrait être « gris » ou « couvert ». Dans la plupart des cas, le lecteur ne verra guère de différence entre les deux mots, le sens de la phrase restant globalement le même. Pour Anthropic, ce choix « sans grande conséquence » peut laisser un « motif » qui, répété de nombreuses fois dans les réponses de Claude, reste indétectable pour le lecteur. Par contre, « il peut être repéré par quiconque possède la clé qui permet de l’identifier ».

Dans ce cas de figure, jusque-là, Claude utilisait un générateur de nombres aléatoires pour choisir le prochain mot, ça n’est plus le cas : il se sert maintenant de cette clé et des mots précédents. Le modèle ne privilégiera pas systématiquement le mot « couvert » ou « gris » pour autant : l’un ou l’autre pourra être choisi dans une phrase en fonction des mots qui précèdent.

En examinant la succession de ces mots, il devient possible de vérifier si cela correspond aux choix que Claude aurait effectués en se servant de cette clé. Résultat : « on peut alors estimer la probabilité que le texte ait été généré par Claude ».

Anthropic l’affirme : cette technique n’affectera pas la qualité du texte généré par Claude. Un lecteur ne devrait voir aucune différence entre un texte « normal » de Claude et un autre qui contient le tatouage numérique. Lors de tests internes, aucun effet « sur le contenu, le niveau de créativité ou la lisibilité des textes » n’aurait été constaté.

Les limites de la méthode

Ce système a ses limites, reconnues par Anthropic dans son billet. D’une, ce tatouage ne permet pas de prouver à 100 % qu’un texte a été écrit par Claude : il ne sert qu’à estimer la probabilité que le modèle a rédigé le texte, ou l’a modifié. Dans le sens inverse, il n’est pas non plus possible de conclure que le texte a été entièrement rédigé par un humain, ni identifier si le texte a été généré par une autre IA (chaque entreprise utilisant ses propres clés, ou une autre méthode).

Autre faiblesse : la détection d’IA dans les textes courts est plus difficile, voire impossible. Le système repose sur une accumulation de nombreux choix de vocabulaire ; plus le texte est long, plus le signal statistique se renforce. En quelques phrases, il est difficile de parvenir à une conclusion fiable. Dans le même ordre d’idée, les passages très factuels, ou encore des calculs, du code ou une simple correction ne renverront pas de réponse certaine.

Une réécriture peut également dégrader, voire supprimer, un tatouage. Quelques modifications ne devraient pas changer fondamentalement les choses, mais une réécriture complète peut l’effacer. La popularité d’outils « gags » comme Declaude, qui réécrit un texte IA pour en générer une version en « prose naturelle » (en le moulinant dans plusieurs modèles IA), pourrait se renforcer…

L’application du filigrane ne ralentit pas la génération de texte, promet Anthropic qui parle d’« impact négligeable » ; le système ne produit pas de tokens supplémentaires. La société assure aussi qu’il est impossible de tracer l’utilisateur ni de remonter à son organisation. Une API de détection sera bientôt disponible.

Quant aux images, on sait déjà qu’elles intègrent un filigrane « content credential », un standard C2PA. De fait, tout outil compatible peut détecter une image générée par Claude (comme celui-ci), mais Anthropic proposera également une version maison.

Au hasard des mots

Anthropic a annoncé mercredi dernier comment il allait répondre à l’exigence de l’AI Act européen de « tatouer » les contenus générés par Claude, images comme texte. L’entreprise en était restée aux grandes lignes sans entrer dans les détails techniques pour ce qui concerne les textes. C’est désormais chose faite.

Comment Anthropic va-t-elle se débrouiller pour intégrer un filigrane dans les textes générés par Claude ? C’est une des obligations de l’AI Act mises en œuvre le 2 août, et la page d’assistance publiée le 11 août était chiche en détails. On en sait un peu plus après la publication, en fin de semaine dernière, d’un billet de blog. Et comme on le pressentait, le modèle va insérer dans le texte généré une sorte de signature statistique, sans ajouter le moindre caractère caché.

• Anthropic va tatouer les textes et les images générés par Claude

Quand Claude est confronté à plusieurs mots pour dire la même chose, il ne choisit plus complètement au hasard : le choix sera influencé par une clé secrète et par les mots qui précèdent. Cette mécanique, basée sur SynthID-Text de Google DeepMind, crée un motif invisible pour le lecteur, mais détectable par Anthropic avec la bonne clé.

Pas de caractères cachés

L’entreprise donne cet exemple : « Aujourd’hui, il faisait froid et… ». Il est très peu probable que le mot suivant soit « sucré », en revanche, il pourrait être « gris » ou « couvert ». Dans la plupart des cas, le lecteur ne verra guère de différence entre les deux mots, le sens de la phrase restant globalement le même. Pour Anthropic, ce choix « sans grande conséquence » peut laisser un « motif » qui, répété de nombreuses fois dans les réponses de Claude, reste indétectable pour le lecteur. Par contre, « il peut être repéré par quiconque possède la clé qui permet de l’identifier ».

Dans ce cas de figure, jusque-là, Claude utilisait un générateur de nombres aléatoires pour choisir le prochain mot, ça n’est plus le cas : il se sert maintenant de cette clé et des mots précédents. Le modèle ne privilégiera pas systématiquement le mot « couvert » ou « gris » pour autant : l’un ou l’autre pourra être choisi dans une phrase en fonction des mots qui précèdent.

En examinant la succession de ces mots, il devient possible de vérifier si cela correspond aux choix que Claude aurait effectués en se servant de cette clé. Résultat : « on peut alors estimer la probabilité que le texte ait été généré par Claude ».

Anthropic l’affirme : cette technique n’affectera pas la qualité du texte généré par Claude. Un lecteur ne devrait voir aucune différence entre un texte « normal » de Claude et un autre qui contient le tatouage numérique. Lors de tests internes, aucun effet « sur le contenu, le niveau de créativité ou la lisibilité des textes » n’aurait été constaté.

Les limites de la méthode

Ce système a ses limites, reconnues par Anthropic dans son billet. D’une, ce tatouage ne permet pas de prouver à 100 % qu’un texte a été écrit par Claude : il ne sert qu’à estimer la probabilité que le modèle a rédigé le texte, ou l’a modifié. Dans le sens inverse, il n’est pas non plus possible de conclure que le texte a été entièrement rédigé par un humain, ni identifier si le texte a été généré par une autre IA (chaque entreprise utilisant ses propres clés, ou une autre méthode).

Autre faiblesse : la détection d’IA dans les textes courts est plus difficile, voire impossible. Le système repose sur une accumulation de nombreux choix de vocabulaire ; plus le texte est long, plus le signal statistique se renforce. En quelques phrases, il est difficile de parvenir à une conclusion fiable. Dans le même ordre d’idée, les passages très factuels, ou encore des calculs, du code ou une simple correction ne renverront pas de réponse certaine.

Une réécriture peut également dégrader, voire supprimer, un tatouage. Quelques modifications ne devraient pas changer fondamentalement les choses, mais une réécriture complète peut l’effacer. La popularité d’outils « gags » comme Declaude, qui réécrit un texte IA pour en générer une version en « prose naturelle » (en le moulinant dans plusieurs modèles IA), pourrait se renforcer…

L’application du filigrane ne ralentit pas la génération de texte, promet Anthropic qui parle d’« impact négligeable » ; le système ne produit pas de tokens supplémentaires. La société assure aussi qu’il est impossible de tracer l’utilisateur ni de remonter à son organisation. Une API de détection sera bientôt disponible.

Quant aux images, on sait déjà qu’elles intègrent un filigrane « content credential », un standard C2PA. De fait, tout outil compatible peut détecter une image générée par Claude (comme celui-ci), mais Anthropic proposera également une version maison.

Fahrenheit 451

Alors que les suspicions sur les méthodes d’entraînement des systèmes d’IA se multiplient, des libraires d’occasion du Royaume-Uni et d’Irlande signalent des séries d’achats de lots de livres sans cohérence éditoriale.

Mise à jour 17.08 à 16:35 : ajout de la mention des opérations d’Amazon.

---

Au Royaume-Uni et en Irlande, des librairies de seconde main ont reçu des commandes étonnantes d’acheteurs installés aux États-Unis, au Canada, en Europe continentale et au Royaume-Uni, alors que les spéculations sur les achats de livres pour entraîner des systèmes d’IA vont bon train.

Copropriétaire de Barker Books, dans la ville anglaise d’Alnwick, Stuart Manley indique au Guardian avoir vu ces commandes débuter il y a trois mois. Celles-ci détonnent notamment par leur sélection de livres : alors qu’habituellement, les commandes par lot répondent à une logique thématique, celles-ci intègrent des livres de tous les types.

Des achats sans logique pour le marché du livre d’occasion

Une commande demandait par exemple une traduction estonienne du Chant de la mission de John Le Carré, ou une édition de 1983 d’Agnes Grey, d’Anne Brontë, telle que parue dans le magazine Warship.

À Clargalway, en Irlande, Jim Shaughnessy indique avoir reçu des demandes de nombreux livres aux thématiques variées à partir de mai. Celles-ci peuvent mêler des « livres sur les outils agricoles en Afrique au XVIII^e siècle » à des « biographies de pilotes de course des années 1950 ».

Auprès du Guardian, un libraire explique que la pratique chamboule le secteur, car elle ne correspond pas aux pratiques habituelles : «  On dirait qu’un être humain ou une machine fouille au hasard dans le bac des livres d’occasion. Ce qu’ils achètent n’a aucun sens au regard des tendances générales du marché. »

Certaines des demandes relevées par les libraires émanent de la société canadienne Zoom Books. Cette dernière passe depuis plusieurs mois d’étonnantes commandes en Allemagne, en Espagne, aux États-Unis, en Australie ou ailleurs. La société se spécialise dans le scan de livres, détruisant l’objet au passage. Elle nie toute implication dans l’entraînement de systèmes d’IA, mais ne fournit pas d’information supplémentaire sur les sociétés auxquelles elle fournit ses services.

Chez Anthropic, l’opération « Panama » de la destruction de livres

Début janvier, le Washington Post révélait que l’éditrice de Claude, Anthropic, avait investi des millions de dollars dans l’acquisition et la destruction de livres pour scanner leur contenu et entraîner ainsi ses modèles.

Aux prises avec la justice, Anthropic a dû fournir des éléments supplémentaires sur cette activité. Le « projet Panama », tel qu’il a été nommé en interne, a débuté en 2024, alors que les dirigeants de l’entreprise cherchaient à entraîner Claude à « bien écrire », plutôt qu’à recracher du « langage internet de mauvaise qualité ».

Pour ce faire, elle s’est d’abord tournée vers de grands groupes de revente de livres, dont le britannique World of Books et l’états-unien Better World Books, puis vers des prestataires à même de réaliser la numérisation. Concrètement, il s’agit de découper le dos et de trancher les pages pour les numériser une à une, de manière industrielle, détaille Euronews.

Attaquée par un groupe d’auteurs réunis en action collective, Anthropic a accepté le versement d’environ 1,3 milliard d’euros pour éviter le procès. Les autres constructeurs de grands modèles de langage font tous face à des accusations similaires d’irrespect du droit d’auteur – sachant que malgré le paiement accepté par Anthropic, le juge William Aslup a considéré que le recours à des livres pour entraîner un système d’IA relevait du « fair use », une exception aux droits d’auteurs tels que définis par le droit local.

Alors qu’elle prévoit une entrée en bourse à l’automne, certains investisseurs envisageraient que la société de Dario et Daniela Amodei atteigne une valorisation record de 2 000 milliards de dollars.

• La justice accepte qu’Anthropic paie 1,5 milliard pour solder l’affaire des livres piratés

Dans d’autres occurrences, selon une récente enquête de 404 media, c’est Amazon qui achète des livres de seconde-main aux États-Unis. Dans ces cas-là, l’entreprise semble se charger elle-même de la destruction et du scan des ouvrages.

Fahrenheit 451

Alors que les suspicions sur les méthodes d’entraînement des systèmes d’IA se multiplient, des libraires d’occasion du Royaume-Uni et d’Irlande signalent des séries d’achats de lots de livres sans cohérence éditoriale.

Mise à jour 17.08 à 16:35 : ajout de la mention des opérations d’Amazon.

---

Au Royaume-Uni et en Irlande, des librairies de seconde main ont reçu des commandes étonnantes d’acheteurs installés aux États-Unis, au Canada, en Europe continentale et au Royaume-Uni, alors que les spéculations sur les achats de livres pour entraîner des systèmes d’IA vont bon train.

Copropriétaire de Barker Books, dans la ville anglaise d’Alnwick, Stuart Manley indique au Guardian avoir vu ces commandes débuter il y a trois mois. Celles-ci détonnent notamment par leur sélection de livres : alors qu’habituellement, les commandes par lot répondent à une logique thématique, celles-ci intègrent des livres de tous les types.

Des achats sans logique pour le marché du livre d’occasion

Une commande demandait par exemple une traduction estonienne du Chant de la mission de John Le Carré, ou une édition de 1983 d’Agnes Grey, d’Anne Brontë, telle que parue dans le magazine Warship.

À Clargalway, en Irlande, Jim Shaughnessy indique avoir reçu des demandes de nombreux livres aux thématiques variées à partir de mai. Celles-ci peuvent mêler des « livres sur les outils agricoles en Afrique au XVIII^e siècle » à des « biographies de pilotes de course des années 1950 ».

Auprès du Guardian, un libraire explique que la pratique chamboule le secteur, car elle ne correspond pas aux pratiques habituelles : «  On dirait qu’un être humain ou une machine fouille au hasard dans le bac des livres d’occasion. Ce qu’ils achètent n’a aucun sens au regard des tendances générales du marché. »

Certaines des demandes relevées par les libraires émanent de la société canadienne Zoom Books. Cette dernière passe depuis plusieurs mois d’étonnantes commandes en Allemagne, en Espagne, aux États-Unis, en Australie ou ailleurs. La société se spécialise dans le scan de livres, détruisant l’objet au passage. Elle nie toute implication dans l’entraînement de systèmes d’IA, mais ne fournit pas d’information supplémentaire sur les sociétés auxquelles elle fournit ses services.

Chez Anthropic, l’opération « Panama » de la destruction de livres

Début janvier, le Washington Post révélait que l’éditrice de Claude, Anthropic, avait investi des millions de dollars dans l’acquisition et la destruction de livres pour scanner leur contenu et entraîner ainsi ses modèles.

Aux prises avec la justice, Anthropic a dû fournir des éléments supplémentaires sur cette activité. Le « projet Panama », tel qu’il a été nommé en interne, a débuté en 2024, alors que les dirigeants de l’entreprise cherchaient à entraîner Claude à « bien écrire », plutôt qu’à recracher du « langage internet de mauvaise qualité ».

Pour ce faire, elle s’est d’abord tournée vers de grands groupes de revente de livres, dont le britannique World of Books et l’états-unien Better World Books, puis vers des prestataires à même de réaliser la numérisation. Concrètement, il s’agit de découper le dos et de trancher les pages pour les numériser une à une, de manière industrielle, détaille Euronews.

Attaquée par un groupe d’auteurs réunis en action collective, Anthropic a accepté le versement d’environ 1,3 milliard d’euros pour éviter le procès. Les autres constructeurs de grands modèles de langage font tous face à des accusations similaires d’irrespect du droit d’auteur – sachant que malgré le paiement accepté par Anthropic, le juge William Aslup a considéré que le recours à des livres pour entraîner un système d’IA relevait du « fair use », une exception aux droits d’auteurs tels que définis par le droit local.

Alors qu’elle prévoit une entrée en bourse à l’automne, certains investisseurs envisageraient que la société de Dario et Daniela Amodei atteigne une valorisation record de 2 000 milliards de dollars.

• La justice accepte qu’Anthropic paie 1,5 milliard pour solder l’affaire des livres piratés

Dans d’autres occurrences, selon une récente enquête de 404 media, c’est Amazon qui achète des livres de seconde-main aux États-Unis. Dans ces cas-là, l’entreprise semble se charger elle-même de la destruction et du scan des ouvrages.