Ce lundi 17 novembre, l’Urssaf indique que son service Pajemploi « a été victime d’un vol de données à caractère personnel de salariés des particuliers employeurs utilisant le service Pajemploi ».
Celui-ci a été mis en place pour permettre aux parents employeurs de déclarer et rémunérer les assistants maternels et gardes d’enfants à domicile.
L’Urssaf affirme avoir constaté l’ « acte de cybermalveillance » ce vendredi 14 novembre qui « a pu concerner jusqu’à 1,2 million de salariés de particuliers employeurs ».
Selon l’organisme, les données potentiellement concernées sont « les nom, prénom, date et lieu de naissance, adresse postale, numéro de Sécurité sociale, nom de l’établissement bancaire, numéro Pajemploi et numéro d’agrément ».
Il souligne qu’ « aucun numéro de compte bancaire (IBAN), aucune adresse mail, aucun numéro de téléphone ou mot de passe de connexion ne sont concernés ».
L’Urssaf assure avoir « immédiatement pris les mesures nécessaires et mobilisé toutes les équipes pour en identifier les causes, y mettre fin et renforcer la protection de nos systèmes d’information », avoir notifié la CNIL et l’ANSSI et qu’elle portera plainte auprès du procureur de la République.
L’organisme « présente toutes ses excuses pour cette atteinte à la confidentialité des données et assure ses usagers de son engagement et de sa vigilance permanente en matière de sécurité et de protection des données personnelles ».
Il « s’engage à envoyer une information individuelle à tous les usagers potentiellement concernés » et recommande à tous de faire preuve de vigilance renforcée face au potentiel phishing.
Ce lundi 17 novembre, l’Urssaf indique que son service Pajemploi « a été victime d’un vol de données à caractère personnel de salariés des particuliers employeurs utilisant le service Pajemploi ».
Celui-ci a été mis en place pour permettre aux parents employeurs de déclarer et rémunérer les assistants maternels et gardes d’enfants à domicile.
L’Urssaf affirme avoir constaté l’ « acte de cybermalveillance » ce vendredi 14 novembre qui « a pu concerner jusqu’à 1,2 million de salariés de particuliers employeurs ».
Selon l’organisme, les données potentiellement concernées sont « les nom, prénom, date et lieu de naissance, adresse postale, numéro de Sécurité sociale, nom de l’établissement bancaire, numéro Pajemploi et numéro d’agrément ».
Il souligne qu’ « aucun numéro de compte bancaire (IBAN), aucune adresse mail, aucun numéro de téléphone ou mot de passe de connexion ne sont concernés ».
L’Urssaf assure avoir « immédiatement pris les mesures nécessaires et mobilisé toutes les équipes pour en identifier les causes, y mettre fin et renforcer la protection de nos systèmes d’information », avoir notifié la CNIL et l’ANSSI et qu’elle portera plainte auprès du procureur de la République.
L’organisme « présente toutes ses excuses pour cette atteinte à la confidentialité des données et assure ses usagers de son engagement et de sa vigilance permanente en matière de sécurité et de protection des données personnelles ».
Il « s’engage à envoyer une information individuelle à tous les usagers potentiellement concernés » et recommande à tous de faire preuve de vigilance renforcée face au potentiel phishing.
L’éditeur du logiciel médical Weda et filiale du groupe de santé Vidal a subi une cyberattaque la semaine dernière. Les 23 000 médecins et structures médicales clients n’ont pas pu accéder aux données de leurs patients pendant plusieurs jours. De nombreuses questions restent en suspens, relatives à la responsabilité d’informer les patients ou à la nature des informations potentiellement dérobées.
Depuis lundi 10 novembre, des milliers de praticiens de santé ont été touchés par les conséquences d’une cyberattaque contre l’éditeur du logiciel médical Weda, une filiale du groupe de santé Vidal depuis 2019.
Weda affiche plus de 23 000 utilisateurs, professionnels de santé sur son site internet. Mais l’accès au service a été coupé par l’entreprise le lundi 10 novembre à 23 h avant l’envoi mercredi 12 novembre d’un message à ses clients indiquant que ses « équipes ont détecté une activité inhabituelle sur certains comptes utilisateurs, laissant penser à des tentatives d’accès non autorisés », a appris le Mag IT.
Weda expliquait dans ce message que « depuis cette décision, [ses] équipes techniques et de cybersécurité travaillent sans relâche, en collaboration avec des experts externes, pour renforcer les mesures de protection ».
Toujours dans ce message daté de lundi dernier, elle annonçait à ses clients que « les premières analyses indiquent que les accès malveillants auraient pu permettre une extraction partielle de données, mais ni l’ampleur ni la confirmation formelle d’une fuite de données ne sont encore établies ». Elle ajoutait que « la faille d’accès est fermée et aucune nouvelle activité suspecte n’a été détectée ».
Plusieurs jours sans accès aux dossiers patients
Si Weda leur a envoyé plusieurs emails pour les tenir au courant de la situation, ses clients ont quand même dû attendre plusieurs jours pour avoir de nouveau accès au service. Jusqu’à vendredi 14 novembre, les médecins qui utilisent quotidiennement le service de l’entreprise pour gérer notamment les dossiers de leurs patients ne pouvaient plus s’y connecter.
Mercredi, l’entreprise a communiqué sur l’éventualité du retour de la plateforme sous un mode dégradé avec un accès à certaines fonctionnalités comme la consultation des dossiers de patients ou la gestion de leur agenda mais sans la création d’un nouveau dossier patient, ni la télétransmission des feuilles de soin à la sécurité sociale, ni le service d’ordonnance numérique ou encore la gestion des connectiques (ex: scanner, matériel ECG, etc.).
Finalement, cet accès en mode dégradé a été mis en place vendredi matin, selon Le Figaro, mais de nombreux témoignages sur les réseaux sociaux montraient que les médecins avaient toujours des difficultés à se connecter à Weda ce week-end.
Ainsi, le médecin Jean-Jacques Fraslin jugeait que « le logiciel WEDA reste convalescent » en joignant samedi une capture d’écran d’un message de Weda informant ses utilisateurs d’une fermeture nocturne de la plateforme « chaque nuit de 22 h à 7 h, du vendredi soir au lundi matin ».
Concrètement, la semaine dernière a été compliquée pour certains médecins, comme l’explique la Fédération des médecins de France : « les médecins utilisateurs de WEDA sont revenus au crayon et au papier, sans possibilité de consulter le moindre dossier médical partagé, ni le moindre dossier individuel ».
« On ne peut plus rien faire en ligne, on doit tout faire par papier. Nous n’avons plus accès aux antécédents des patients ni à leur dossier médical », confiait un médecin eurois à Paris-Normandie, ajoutant : « C’est plus qu’un handicap, ça fout en l’air nos journées ». Son confrère Philippe Boutin détaille au Figaro : « Ce n’est pas confortable de soigner les patients à l’aveugle, sans visibilité sur les prises de sang, les antécédents médicaux, les examens complémentaires » et explique avoir utilisé des « moyens un peu détournés, comme aller sur le site d’Ameli [le site de l’Assurance maladie en ligne, NDLR] pour consulter l’historique des remboursements et avoir une idée des dosages et traitements particuliers ».
Alors que le Sénat se prépare à examiner le projet de loi de financement de la Sécurité sociale (PLFSS 2026), dont l’article 31 prévoit de rendre obligatoire la consultation et l’alimentation du dossier médical partagé (DMP), le syndicat des médecins généralistes veut quant à lui tirer la sonnette d’alarme. « Au-delà du désagrément majeur impactant la pratique, cet incident illustre la dépendance et la fragilité de systèmes d’information en santé « tout en ligne ». Pendant que les médecins sont empêchés de travailler, les parlementaires choisissent ce moment pour rendre obligatoire l’usage du DMP et prévoir des sanctions pour ceux qui ne l’utiliseraient pas ! », s’insurge ce dernier.
Une information aux patients à faire par les médecins ?
Mais un nouveau message de Weda envoyé vendredi 14 novembre vers 11 h a fait bondir plusieurs médecins. En effet, en cette fin de semaine mouvementée, l’entreprise a expliqué à ses clients qu’ils devraient eux-mêmes compléter une « déclaration de violation de données auprès de la CNIL ».
L’entreprise ajoutait que « la première communication faisant état d’une violation de données est datée du mercredi 12 novembre à 01h00. En conséquence, le délai réglementaire de notification de 72 heures court jusqu’au samedi 15 novembre à 01h00. WEDA est déjà en contact avec les autorités, qui sont bien conscientes de la difficulté de recueillir toutes les informations dans ce délai ».
Le message envoyé par Weda le 14 novembre invite les professionnels de santé à compléter une déclaration de violation de données auprès de la CNIL – capture d’écran Next
Weda semble considérer que ce sont ses clients, les médecins utilisateurs de son service, qui sont responsables du traitement des données des patients et que c’est donc à eux de notifier aux personnes concernées. Comme le rappelle la CNIL, cette notification doit « a minima contenir » les éléments suivants :
« la nature de la violation ;
les conséquences probables de la violation ;
les coordonnées de la personne à contacter (DPO ou autre) ;
les mesures prises pour remédier à la violation et, le cas échéant, pour limiter les conséquences négatives de la violation. »
« Mais on ne sait même pas quelles données ont été violées ! » explique Pierre Bidaut, médecin généraliste en maison de santé à Gien au Figaro.
Se pose aussi la question de l’outil par lequel informer les patients, comme le notait vendredi soir Jean-Jacques Fraslin sur X : « À supposer que l’adresse mail soit renseignée dans la partie administrative du dossier médical, il faudrait que WEDA fournisse une routine permettant de les compiler afin de permettre à ses utilisateurs d’envoyer un mail groupé à tous ». L’entreprise aurait suggéré à une secrétaire médicale, dans un premier temps, un affichage en salle d’attente.
Contactée par Next, Weda n’a pas encore répondu à notre sollicitation. Nous ne manquerons pas de mettre à jour cet article si l’entreprise nous fournit plus d’explications.
L’éditeur du logiciel médical Weda et filiale du groupe de santé Vidal a subi une cyberattaque la semaine dernière. Les 23 000 médecins et structures médicales clients n’ont pas pu accéder aux données de leurs patients pendant plusieurs jours. De nombreuses questions restent en suspens, relatives à la responsabilité d’informer les patients ou à la nature des informations potentiellement dérobées.
Depuis lundi 10 novembre, des milliers de praticiens de santé ont été touchés par les conséquences d’une cyberattaque contre l’éditeur du logiciel médical Weda, une filiale du groupe de santé Vidal depuis 2019.
Weda affiche plus de 23 000 utilisateurs, professionnels de santé sur son site internet. Mais l’accès au service a été coupé par l’entreprise le lundi 10 novembre à 23 h avant l’envoi mercredi 12 novembre d’un message à ses clients indiquant que ses « équipes ont détecté une activité inhabituelle sur certains comptes utilisateurs, laissant penser à des tentatives d’accès non autorisés », a appris le Mag IT.
Weda expliquait dans ce message que « depuis cette décision, [ses] équipes techniques et de cybersécurité travaillent sans relâche, en collaboration avec des experts externes, pour renforcer les mesures de protection ».
Toujours dans ce message daté de lundi dernier, elle annonçait à ses clients que « les premières analyses indiquent que les accès malveillants auraient pu permettre une extraction partielle de données, mais ni l’ampleur ni la confirmation formelle d’une fuite de données ne sont encore établies ». Elle ajoutait que « la faille d’accès est fermée et aucune nouvelle activité suspecte n’a été détectée ».
Plusieurs jours sans accès aux dossiers patients
Si Weda leur a envoyé plusieurs emails pour les tenir au courant de la situation, ses clients ont quand même dû attendre plusieurs jours pour avoir de nouveau accès au service. Jusqu’à vendredi 14 novembre, les médecins qui utilisent quotidiennement le service de l’entreprise pour gérer notamment les dossiers de leurs patients ne pouvaient plus s’y connecter.
Mercredi, l’entreprise a communiqué sur l’éventualité du retour de la plateforme sous un mode dégradé avec un accès à certaines fonctionnalités comme la consultation des dossiers de patients ou la gestion de leur agenda mais sans la création d’un nouveau dossier patient, ni la télétransmission des feuilles de soin à la sécurité sociale, ni le service d’ordonnance numérique ou encore la gestion des connectiques (ex: scanner, matériel ECG, etc.).
Finalement, cet accès en mode dégradé a été mis en place vendredi matin, selon Le Figaro, mais de nombreux témoignages sur les réseaux sociaux montraient que les médecins avaient toujours des difficultés à se connecter à Weda ce week-end.
Ainsi, le médecin Jean-Jacques Fraslin jugeait que « le logiciel WEDA reste convalescent » en joignant samedi une capture d’écran d’un message de Weda informant ses utilisateurs d’une fermeture nocturne de la plateforme « chaque nuit de 22 h à 7 h, du vendredi soir au lundi matin ».
Concrètement, la semaine dernière a été compliquée pour certains médecins, comme l’explique la Fédération des médecins de France : « les médecins utilisateurs de WEDA sont revenus au crayon et au papier, sans possibilité de consulter le moindre dossier médical partagé, ni le moindre dossier individuel ».
« On ne peut plus rien faire en ligne, on doit tout faire par papier. Nous n’avons plus accès aux antécédents des patients ni à leur dossier médical », confiait un médecin eurois à Paris-Normandie, ajoutant : « C’est plus qu’un handicap, ça fout en l’air nos journées ». Son confrère Philippe Boutin détaille au Figaro : « Ce n’est pas confortable de soigner les patients à l’aveugle, sans visibilité sur les prises de sang, les antécédents médicaux, les examens complémentaires » et explique avoir utilisé des « moyens un peu détournés, comme aller sur le site d’Ameli [le site de l’Assurance maladie en ligne, NDLR] pour consulter l’historique des remboursements et avoir une idée des dosages et traitements particuliers ».
Alors que le Sénat se prépare à examiner le projet de loi de financement de la Sécurité sociale (PLFSS 2026), dont l’article 31 prévoit de rendre obligatoire la consultation et l’alimentation du dossier médical partagé (DMP), le syndicat des médecins généralistes veut quant à lui tirer la sonnette d’alarme. « Au-delà du désagrément majeur impactant la pratique, cet incident illustre la dépendance et la fragilité de systèmes d’information en santé « tout en ligne ». Pendant que les médecins sont empêchés de travailler, les parlementaires choisissent ce moment pour rendre obligatoire l’usage du DMP et prévoir des sanctions pour ceux qui ne l’utiliseraient pas ! », s’insurge ce dernier.
Une information aux patients à faire par les médecins ?
Mais un nouveau message de Weda envoyé vendredi 14 novembre vers 11 h a fait bondir plusieurs médecins. En effet, en cette fin de semaine mouvementée, l’entreprise a expliqué à ses clients qu’ils devraient eux-mêmes compléter une « déclaration de violation de données auprès de la CNIL ».
L’entreprise ajoutait que « la première communication faisant état d’une violation de données est datée du mercredi 12 novembre à 01h00. En conséquence, le délai réglementaire de notification de 72 heures court jusqu’au samedi 15 novembre à 01h00. WEDA est déjà en contact avec les autorités, qui sont bien conscientes de la difficulté de recueillir toutes les informations dans ce délai ».
Le message envoyé par Weda le 14 novembre invite les professionnels de santé à compléter une déclaration de violation de données auprès de la CNIL – capture d’écran Next
Weda semble considérer que ce sont ses clients, les médecins utilisateurs de son service, qui sont responsables du traitement des données des patients et que c’est donc à eux de notifier aux personnes concernées. Comme le rappelle la CNIL, cette notification doit « a minima contenir » les éléments suivants :
« la nature de la violation ;
les conséquences probables de la violation ;
les coordonnées de la personne à contacter (DPO ou autre) ;
les mesures prises pour remédier à la violation et, le cas échéant, pour limiter les conséquences négatives de la violation. »
« Mais on ne sait même pas quelles données ont été violées ! » explique Pierre Bidaut, médecin généraliste en maison de santé à Gien au Figaro.
Se pose aussi la question de l’outil par lequel informer les patients, comme le notait vendredi soir Jean-Jacques Fraslin sur X : « À supposer que l’adresse mail soit renseignée dans la partie administrative du dossier médical, il faudrait que WEDA fournisse une routine permettant de les compiler afin de permettre à ses utilisateurs d’envoyer un mail groupé à tous ». L’entreprise aurait suggéré à une secrétaire médicale, dans un premier temps, un affichage en salle d’attente.
Contactée par Next, Weda n’a pas encore répondu à notre sollicitation. Nous ne manquerons pas de mettre à jour cet article si l’entreprise nous fournit plus d’explications.
Anthropic explique avoir détecté l’utilisation de son service de vibe coding Claude Code pour mettre au point des cyberattaques en passant outre les garde-fous mis en place. La startup d’IA a analysé l’attaque, banni les comptes utilisés pour la mettre en place, prévenu les entreprises ciblées et travaillé avec les autorités concernées.
Certains clients des entreprises d’IA générative veulent profiter de leurs outils pour monter plus facilement des cyberattaques. Il y a un mois, OpenAI expliquait avoir banni des comptes chinois cherchant à surveiller les réseaux sociaux.
C’est maintenant au tour d’Anthropic de publier un rapport sur le sujet. Ici, l’entreprise explique avoir détecté à la mi-septembre ce qu’elle qualifie d’ « opération de cyberespionnage sophistiquée » conduite par un groupe de hackers (qu’elle nomme GTG-1002) soutenu par l’État chinois.
Claude utilisé comme Agent pour concevoir une grande partie des attaques
« Les pirates ont utilisé les capacités « agentiques » de l’IA à un degré sans précédent, utilisant l’IA non seulement comme conseiller, mais aussi pour exécuter eux-mêmes les cyberattaques », affirme Anthropic.
Sans indiquer si c’est une mesure au doigt mouillé ou un calcul plus précis, Anthropic affirme qu’ils ont « pu utiliser l’IA pour mener à bien 80 à 90 % de la campagne, l’intervention humaine n’étant nécessaire que de manière sporadique (peut-être 4 à 6 points de décision critiques par campagne de piratage) ». Elle indique quand même que « la quantité de travail effectuée par l’IA aurait pris énormément de temps à une équipe humaine. Au plus fort de son attaque, l’IA a effectué des milliers de requêtes, souvent plusieurs par seconde, une vitesse d’attaque qui aurait été tout simplement impossible à égaler pour des pirates informatiques humains ». Si Anthropic « vend » les capacités de son IA à faire des milliers de requêtes, rappelons que l’automatisation des cyberattaques ne date pas d’aujourd’hui : on connait déjà depuis des années des attaques DdoS submergeant des systèmes informatiques de requêtes ou de données.
L’entreprise explique avoir lancé une enquête dès qu’elle a détecté l’activité suspicieuse. Anthropic indique que cette enquête a duré 10 jours pendant lesquels elle a petit à petit banni les comptes utilisés, informé les cibles concernées et travaillé avec les autorités.
Selon Anthropic, Claude Code a été utilisé pendant les cinq phases de l’attaque, de la mise en place et la sélection des cibles à l’extraction des données intéressantes, en passant par les phases de recherche de vulnérabilités des infrastructures ciblées et celle de collecte d’identifiants utiles pour s’infiltrer.
Dans son rapport, l’entreprise fournit des exemples de séquences de mise en place du système avec les tâches effectuées par Claude et celles de l’utilisateur humain :
Un découpage des tâches pour passer les sécurités de Claude
Pour mettre en place leur projet, les pirates ont dû passer les sécurités mises en place dans Claude par Anthropic pour bloquer les attaques. L’entreprise avoue qu’ils ont pu cacher leur projet simplement en découpant les attaques en petites tâches paraissant anodines, ce qui coupait Claude du contexte complet des attaques. « Ils ont également dit à Claude qu’il s’agissait d’un employé d’une entreprise de cybersécurité légitime et qu’il était utilisé dans le cadre de tests défensifs », affirme l’entreprise.
Dans son billet, Anthropic constate qu’avec des outils comme Claude, « les barrières pour réaliser des cyberattaques sophistiquées se sont abaissées énormément » et elle prévoit que cette baisse va continuer. « Des groupes moins expérimentés et disposant de moins de ressources peuvent désormais potentiellement mener des attaques à grande échelle de cette nature », assure-t-elle.
De quoi abandonner le développement de Claude ? L’entreprise se pose elle-même la question : « si les modèles d’IA peuvent être détournés à des fins de cyberattaques à cette échelle, pourquoi continuer à les développer et à les commercialiser ? ». Mais elle se reprend très vite : « La réponse est que les capacités mêmes qui permettent à Claude d’être utilisé dans ces attaques le rendent également indispensable pour la cyberdéfense ». Claude aurait alors une place de choix dans la course aux armements.
Anthropic explique avoir détecté l’utilisation de son service de vibe coding Claude Code pour mettre au point des cyberattaques en passant outre les garde-fous mis en place. La startup d’IA a analysé l’attaque, banni les comptes utilisés pour la mettre en place, prévenu les entreprises ciblées et travaillé avec les autorités concernées.
Certains clients des entreprises d’IA générative veulent profiter de leurs outils pour monter plus facilement des cyberattaques. Il y a un mois, OpenAI expliquait avoir banni des comptes chinois cherchant à surveiller les réseaux sociaux.
C’est maintenant au tour d’Anthropic de publier un rapport sur le sujet. Ici, l’entreprise explique avoir détecté à la mi-septembre ce qu’elle qualifie d’ « opération de cyberespionnage sophistiquée » conduite par un groupe de hackers (qu’elle nomme GTG-1002) soutenu par l’État chinois.
Claude utilisé comme Agent pour concevoir une grande partie des attaques
« Les pirates ont utilisé les capacités « agentiques » de l’IA à un degré sans précédent, utilisant l’IA non seulement comme conseiller, mais aussi pour exécuter eux-mêmes les cyberattaques », affirme Anthropic.
Sans indiquer si c’est une mesure au doigt mouillé ou un calcul plus précis, Anthropic affirme qu’ils ont « pu utiliser l’IA pour mener à bien 80 à 90 % de la campagne, l’intervention humaine n’étant nécessaire que de manière sporadique (peut-être 4 à 6 points de décision critiques par campagne de piratage) ». Elle indique quand même que « la quantité de travail effectuée par l’IA aurait pris énormément de temps à une équipe humaine. Au plus fort de son attaque, l’IA a effectué des milliers de requêtes, souvent plusieurs par seconde, une vitesse d’attaque qui aurait été tout simplement impossible à égaler pour des pirates informatiques humains ». Si Anthropic « vend » les capacités de son IA à faire des milliers de requêtes, rappelons que l’automatisation des cyberattaques ne date pas d’aujourd’hui : on connait déjà depuis des années des attaques DdoS submergeant des systèmes informatiques de requêtes ou de données.
L’entreprise explique avoir lancé une enquête dès qu’elle a détecté l’activité suspicieuse. Anthropic indique que cette enquête a duré 10 jours pendant lesquels elle a petit à petit banni les comptes utilisés, informé les cibles concernées et travaillé avec les autorités.
Selon Anthropic, Claude Code a été utilisé pendant les cinq phases de l’attaque, de la mise en place et la sélection des cibles à l’extraction des données intéressantes, en passant par les phases de recherche de vulnérabilités des infrastructures ciblées et celle de collecte d’identifiants utiles pour s’infiltrer.
Dans son rapport, l’entreprise fournit des exemples de séquences de mise en place du système avec les tâches effectuées par Claude et celles de l’utilisateur humain :
Un découpage des tâches pour passer les sécurités de Claude
Pour mettre en place leur projet, les pirates ont dû passer les sécurités mises en place dans Claude par Anthropic pour bloquer les attaques. L’entreprise avoue qu’ils ont pu cacher leur projet simplement en découpant les attaques en petites tâches paraissant anodines, ce qui coupait Claude du contexte complet des attaques. « Ils ont également dit à Claude qu’il s’agissait d’un employé d’une entreprise de cybersécurité légitime et qu’il était utilisé dans le cadre de tests défensifs », affirme l’entreprise.
Dans son billet, Anthropic constate qu’avec des outils comme Claude, « les barrières pour réaliser des cyberattaques sophistiquées se sont abaissées énormément » et elle prévoit que cette baisse va continuer. « Des groupes moins expérimentés et disposant de moins de ressources peuvent désormais potentiellement mener des attaques à grande échelle de cette nature », assure-t-elle.
De quoi abandonner le développement de Claude ? L’entreprise se pose elle-même la question : « si les modèles d’IA peuvent être détournés à des fins de cyberattaques à cette échelle, pourquoi continuer à les développer et à les commercialiser ? ». Mais elle se reprend très vite : « La réponse est que les capacités mêmes qui permettent à Claude d’être utilisé dans ces attaques le rendent également indispensable pour la cyberdéfense ». Claude aurait alors une place de choix dans la course aux armements.
Publireportages, publicités natives ou spam, c'est pas la même chose ?
Dans son moteur de recherche, Google a décidé de rétrograder des publications sponsorisées publiées sur les sites de certains médias, les considérant comme du spam. La Commission européenne vient d’ouvrir une enquête sur le sujet pour vérifier que cette démarche respecte le DMA et que Google n’utilise pas ce filtre pour protéger ses parts de marché dans la publicité en ligne.
La Commission européenne ouvre une nouvelle enquête sur les pratiques de Google. Alors qu’elle a récemment infligé une amende de 3 milliards d’euros à l’entreprise pour avoir enfreint les règles de la concurrence dans le domaine de la publicité, l’organe exécutif de l’Union européenne s’intéresse à la rétrogradation de contenus de certains médias dans le moteur de recherche.
Elle cherche à vérifier que Google applique bien « des conditions d’accès équitables, raisonnables et non discriminatoires aux sites web des éditeurs sur Google Search », explique-t-elle dans un communiqué, en précisant que c’est une obligation imposée par la législation sur les marchés numériques (le DMA).
Google considère depuis un an et demi certains publireportages ou publicités natives comme du spam
Tout part d’une mise à jour par Google, en mars 2024, de ses règles concernant le spam pour son moteur de recherche.
On peut y lire notamment que, depuis, l’entreprise considère comme des « liens toxiques » les « publireportages ou publicités natives pour lesquels une rémunération est perçue contre des articles contenant des liens qui améliorent le classement, ou des liens avec du texte d’ancrage optimisé dans des articles, des articles d’invités, ou des communiqués de presse diffusés sur d’autres sites ».
Dans son argumentaire pour justifier cette mise à jour, Google explique sa position : « Nos Règles concernant le spam visent à contrarier les pratiques pouvant avoir un impact négatif sur la qualité des résultats de recherche Google ».
Un changement qui n’a pas plu aux lobbys de la presse européenne
Mais, comme l’expliquaient en avril dernier nos confrères de Contexte, plusieurs lobbys de la presse européenne pointaient les « pratiques de Google relatives à sa politique dite « Site Reputation Abuse » (SRA) – une mesure qui pénalise les sites web dans le classement de Google Search pour avoir coopéré avec des fournisseurs de contenu tiers, indépendamment du contrôle éditorial exercé par le site web sur ce contenu ou de sa qualité respective ».
Le même jour, l’entreprise allemande ActMeraki portait plainte auprès de la Commission sur le même sujet. « Google continue de fixer unilatéralement les règles du commerce en ligne à son avantage, en privilégiant ses propres offres commerciales et en privant les prestataires de services concurrents de toute visibilité. Il est temps d’y mettre un terme définitif », affirmait à Reuters l’avocat de l’entreprise.
Et tout le problème est là. Si les arguments de Google contre l’utilisation des publireportages ou publicités natives pour promouvoir du spam sont légitimes, l’entreprise met en place des règles concernant le marché de la publicité alors qu’elle est elle-même en position dominante sur celui-ci.
La Commission explique examiner « si les rétrogradations par Alphabet de sites web et de contenus d’éditeurs dans Google Search peuvent avoir une incidence sur la liberté des éditeurs d’exercer des activités commerciales légitimes, d’innover et de coopérer avec des fournisseurs de contenus tiers ». Elle précise que l’ouverture de son enquête « ne préjuge pas d’une constatation de non-conformité ». Elle ajoute que si elle trouve des preuves d’infractions au DMA, elle expliquera à Alphabet les mesures adéquates à prendre et qu’elle peut lui infliger une amende allant jusqu’à 10 % de son chiffre d’affaires mondial.
Dans sa déclaration sur le sujet, la vice-présidente exécutive de la Commission européenne pour une transition propre, juste et compétitive, Teresa Ribera, est plus vindicative : « Nous sommes préoccupés par le fait que les politiques de Google ne permettent pas aux éditeurs de presse d’être traités de manière équitable, raisonnable et non discriminatoire dans ses résultats de recherche. Nous mènerons une enquête afin de nous assurer que les éditeurs de presse ne perdent pas d’importantes sources de revenus dans une période difficile pour le secteur, et que Google respecte la loi sur les marchés numériques ».
Google confirme sa position sur sa lutte anti-spam
De son côté, Google a jugé bon de publier un billet de blog pour défendre la politique anti-spam de son moteur de recherche. « L’enquête annoncée aujourd’hui sur nos efforts de lutte contre le spam est malavisée et risque de nuire à des millions d’utilisateurs européens », affirme l’entreprise. « La politique anti-spam de Google est essentielle dans notre lutte contre les tactiques trompeuses de paiement à la performance qui nuisent à la qualité de nos résultats », ajoute-t-elle.
Elle donne deux exemples d’articles sponsorisés qu’elle considère comme problématiques :
Si l’entreprise semble se soucier des spams qui polluent son moteur de recherche, rappelons qu’elle montre beaucoup moins de scrupule dans la gestion des contenus recommandés par son autre outil Discover qui met en avant, par exemple, des infox GenAI diffamantes sur du soi-disant pain cancérigène ou un faux scandale de poissons recongelés.
Publireportages, publicités natives ou spam, c'est pas la même chose ?
Dans son moteur de recherche, Google a décidé de rétrograder des publications sponsorisées publiées sur les sites de certains médias, les considérant comme du spam. La Commission européenne vient d’ouvrir une enquête sur le sujet pour vérifier que cette démarche respecte le DMA et que Google n’utilise pas ce filtre pour protéger ses parts de marché dans la publicité en ligne.
La Commission européenne ouvre une nouvelle enquête sur les pratiques de Google. Alors qu’elle a récemment infligé une amende de 3 milliards d’euros à l’entreprise pour avoir enfreint les règles de la concurrence dans le domaine de la publicité, l’organe exécutif de l’Union européenne s’intéresse à la rétrogradation de contenus de certains médias dans le moteur de recherche.
Elle cherche à vérifier que Google applique bien « des conditions d’accès équitables, raisonnables et non discriminatoires aux sites web des éditeurs sur Google Search », explique-t-elle dans un communiqué, en précisant que c’est une obligation imposée par la législation sur les marchés numériques (le DMA).
Google considère depuis un an et demi certains publireportages ou publicités natives comme du spam
Tout part d’une mise à jour par Google, en mars 2024, de ses règles concernant le spam pour son moteur de recherche.
On peut y lire notamment que, depuis, l’entreprise considère comme des « liens toxiques » les « publireportages ou publicités natives pour lesquels une rémunération est perçue contre des articles contenant des liens qui améliorent le classement, ou des liens avec du texte d’ancrage optimisé dans des articles, des articles d’invités, ou des communiqués de presse diffusés sur d’autres sites ».
Dans son argumentaire pour justifier cette mise à jour, Google explique sa position : « Nos Règles concernant le spam visent à contrarier les pratiques pouvant avoir un impact négatif sur la qualité des résultats de recherche Google ».
Un changement qui n’a pas plu aux lobbys de la presse européenne
Mais, comme l’expliquaient en avril dernier nos confrères de Contexte, plusieurs lobbys de la presse européenne pointaient les « pratiques de Google relatives à sa politique dite « Site Reputation Abuse » (SRA) – une mesure qui pénalise les sites web dans le classement de Google Search pour avoir coopéré avec des fournisseurs de contenu tiers, indépendamment du contrôle éditorial exercé par le site web sur ce contenu ou de sa qualité respective ».
Le même jour, l’entreprise allemande ActMeraki portait plainte auprès de la Commission sur le même sujet. « Google continue de fixer unilatéralement les règles du commerce en ligne à son avantage, en privilégiant ses propres offres commerciales et en privant les prestataires de services concurrents de toute visibilité. Il est temps d’y mettre un terme définitif », affirmait à Reuters l’avocat de l’entreprise.
Et tout le problème est là. Si les arguments de Google contre l’utilisation des publireportages ou publicités natives pour promouvoir du spam sont légitimes, l’entreprise met en place des règles concernant le marché de la publicité alors qu’elle est elle-même en position dominante sur celui-ci.
La Commission explique examiner « si les rétrogradations par Alphabet de sites web et de contenus d’éditeurs dans Google Search peuvent avoir une incidence sur la liberté des éditeurs d’exercer des activités commerciales légitimes, d’innover et de coopérer avec des fournisseurs de contenus tiers ». Elle précise que l’ouverture de son enquête « ne préjuge pas d’une constatation de non-conformité ». Elle ajoute que si elle trouve des preuves d’infractions au DMA, elle expliquera à Alphabet les mesures adéquates à prendre et qu’elle peut lui infliger une amende allant jusqu’à 10 % de son chiffre d’affaires mondial.
Dans sa déclaration sur le sujet, la vice-présidente exécutive de la Commission européenne pour une transition propre, juste et compétitive, Teresa Ribera, est plus vindicative : « Nous sommes préoccupés par le fait que les politiques de Google ne permettent pas aux éditeurs de presse d’être traités de manière équitable, raisonnable et non discriminatoire dans ses résultats de recherche. Nous mènerons une enquête afin de nous assurer que les éditeurs de presse ne perdent pas d’importantes sources de revenus dans une période difficile pour le secteur, et que Google respecte la loi sur les marchés numériques ».
Google confirme sa position sur sa lutte anti-spam
De son côté, Google a jugé bon de publier un billet de blog pour défendre la politique anti-spam de son moteur de recherche. « L’enquête annoncée aujourd’hui sur nos efforts de lutte contre le spam est malavisée et risque de nuire à des millions d’utilisateurs européens », affirme l’entreprise. « La politique anti-spam de Google est essentielle dans notre lutte contre les tactiques trompeuses de paiement à la performance qui nuisent à la qualité de nos résultats », ajoute-t-elle.
Elle donne deux exemples d’articles sponsorisés qu’elle considère comme problématiques :
Si l’entreprise semble se soucier des spams qui polluent son moteur de recherche, rappelons qu’elle montre beaucoup moins de scrupule dans la gestion des contenus recommandés par son autre outil Discover qui met en avant, par exemple, des infox GenAI diffamantes sur du soi-disant pain cancérigène ou un faux scandale de poissons recongelés.
Dans une lettre ouverte publiée ce jeudi 13 novembre [PDF], 127 organisations européennes dont noyb, EDRi, le Chaos Computer Club ou encore Ekō s’opposent à la loi « omnibus numérique » proposée par la Commission européenne. Pour rappel, celle-ci veut notamment alléger le RGPD au profit des entreprises d’IA.
« Ce qui est présenté comme une « rationalisation technique » des lois numériques de l’UE est en réalité une tentative de démanteler subrepticement les protections les plus solides de l’Europe contre les menaces numériques », écrivent-elles. Sans modifications significatives du texte, il deviendrait « le plus grand recul des droits fondamentaux numériques dans l’histoire de l’UE ».
« En qualifiant de « bureaucratie » des lois essentielles telles que le RGPD, la directive ePrivacy, la loi sur l’IA, le DSA, le DMA, la réglementation sur l’internet ouvert (DNA), la directive sur le devoir de vigilance des entreprises en matière de durabilité et d’autres lois cruciales, l’UE cède aux puissants acteurs privés et publics qui s’opposent aux principes d’un paysage numérique équitable, sûr et démocratique et qui souhaitent abaisser le niveau des lois européennes à leur propre avantage », affirment-elles.
Enfin, elles ajoutent que « les règles récemment adoptées par l’Europe en matière d’IA risquent également d’être compromises, l’Omnibus étant sur le point de supprimer certaines des mesures de protection destinées à garantir que l’IA soit développée de manière sûre et sans discrimination ».
Ces 127 organisations demandent donc à la Commission de « mettre immédiatement fin » à la relecture de textes comme le RGPD, l’ePrivacy ou l’AI Act et de « réaffirmer l’engagement de l’UE en faveur d’une gouvernance numérique fondée sur les droits, y compris une application stricte des protections existantes ».
Dans une lettre ouverte publiée ce jeudi 13 novembre [PDF], 127 organisations européennes dont noyb, EDRi, le Chaos Computer Club ou encore Ekō s’opposent à la loi « omnibus numérique » proposée par la Commission européenne. Pour rappel, celle-ci veut notamment alléger le RGPD au profit des entreprises d’IA.
« Ce qui est présenté comme une « rationalisation technique » des lois numériques de l’UE est en réalité une tentative de démanteler subrepticement les protections les plus solides de l’Europe contre les menaces numériques », écrivent-elles. Sans modifications significatives du texte, il deviendrait « le plus grand recul des droits fondamentaux numériques dans l’histoire de l’UE ».
« En qualifiant de « bureaucratie » des lois essentielles telles que le RGPD, la directive ePrivacy, la loi sur l’IA, le DSA, le DMA, la réglementation sur l’internet ouvert (DNA), la directive sur le devoir de vigilance des entreprises en matière de durabilité et d’autres lois cruciales, l’UE cède aux puissants acteurs privés et publics qui s’opposent aux principes d’un paysage numérique équitable, sûr et démocratique et qui souhaitent abaisser le niveau des lois européennes à leur propre avantage », affirment-elles.
Enfin, elles ajoutent que « les règles récemment adoptées par l’Europe en matière d’IA risquent également d’être compromises, l’Omnibus étant sur le point de supprimer certaines des mesures de protection destinées à garantir que l’IA soit développée de manière sûre et sans discrimination ».
Ces 127 organisations demandent donc à la Commission de « mettre immédiatement fin » à la relecture de textes comme le RGPD, l’ePrivacy ou l’AI Act et de « réaffirmer l’engagement de l’UE en faveur d’une gouvernance numérique fondée sur les droits, y compris une application stricte des protections existantes ».
Un groupe d’une douzaine de pays présents à la COP 30 au Brésil, dont la France, annonce vouloir s’emparer activement de la lutte contre la désinformation sur le climat. En amont du sommet, des ONG avaient sonné l’alarme à propos de la forte propagation de la désinformation climatique sur internet, avec l’IA générative comme nouvel outil de superpropagation.
En marge de la COP 30 qui se déroule actuellement à Belém, au Brésil, 12 pays ont publié une déclaration sur l’intégrité de l’information en matière de changement climatique.
Déclaration de principe de 12 pays
La Belgique, le Brésil, le Canada, le Chili, le Danemark, la Finlande, la France, l’Allemagne, les Pays-Bas, l’Espagne, la Suède et l’Uruguay appellent [PDF] à lutter contre les contenus mensongers diffusés en ligne et à mettre fin aux attaques.
Ils s’y disent « préoccupés par l’impact croissant de la désinformation, de la mésinformation, du déni, des attaques délibérées contre les journalistes, les défenseurs, les scientifiques, les chercheurs et autres voix publiques spécialisées dans les questions environnementales, ainsi que par d’autres tactiques utilisées pour nuire à l’intégrité des informations sur le changement climatique, qui réduisent la compréhension du public, retardent les mesures urgentes et menacent la réponse mondiale au changement climatique et la stabilité sociale ».
Ces pays s’engagent notamment à soutenir l’initiative mondiale pour l’intégrité de l’information sur le changement climatique lancée par l’Unesco.
Des ONG alertent sur la propagation de la désinformation, notamment à propos de la COP 30 elle-même
Début novembre, juste avant l’ouverture de la COP30, une coalition d’ONG (dont QuotaClimat et Équiterre en France) nommée Climate Action Against Disinformation publiait un rapport titré « Nier, tromper, retarder : démystifié. Comment les grandes entreprises polluantes utilisent la désinformation pour saboter les mesures climatiques, et comment nous pouvons les en empêcher ». Le rapport se faisait notamment l’écho d’une énorme campagne de désinformation sur des inondations à Belém, la ville de la COP 30, documentée par la newsletter Oii.
Celle-ci dénombrait plus de 14 000 exemples de contenus de désinformation publiés entre juillet et septembre sur la COP 30 elle-même. Notamment, des vidéos en partie générées par IA qui faisaient croire à des inondations dans la ville.
« « Voici le Belém de la COP30 qu’ils veulent cacher au monde », déclare un journaliste debout dans les eaux qui inondent la capitale de l’État du Pará », décrit Oii. « Mais… rien de tout cela n’est réel ! Le journaliste n’existe pas, les gens n’existent pas, l’inondation n’existe pas et la ville n’existe pas. La seule chose qui existe, ce sont les nombreux commentaires indignés contre le politicien mentionné dans la vidéo et contre la conférence sur le climat à Belém, sur X (anciennement Twitter) et TikTok », déplore la newsletter.
« Des mesures telles que la loi européenne sur les services numériques (DSA), qui s’appliquent au niveau supranational, rendent les grandes entreprises technologiques plus transparentes et responsables des préjudices causés », affirme la Climate Action Against Disinformation. Et elle ajoute que « si certaines entreprises donnent une mauvaise image de tous les réseaux sociaux, des sites web tels que Wikipédia et Pinterest prouvent que les politiques de lutte contre la désinformation climatique et l’intégrité de l’information sont non seulement possibles, mais nécessaires ».
Un groupe d’une douzaine de pays présents à la COP 30 au Brésil, dont la France, annonce vouloir s’emparer activement de la lutte contre la désinformation sur le climat. En amont du sommet, des ONG avaient sonné l’alarme à propos de la forte propagation de la désinformation climatique sur internet, avec l’IA générative comme nouvel outil de superpropagation.
En marge de la COP 30 qui se déroule actuellement à Belém, au Brésil, 12 pays ont publié une déclaration sur l’intégrité de l’information en matière de changement climatique.
Déclaration de principe de 12 pays
La Belgique, le Brésil, le Canada, le Chili, le Danemark, la Finlande, la France, l’Allemagne, les Pays-Bas, l’Espagne, la Suède et l’Uruguay appellent [PDF] à lutter contre les contenus mensongers diffusés en ligne et à mettre fin aux attaques.
Ils s’y disent « préoccupés par l’impact croissant de la désinformation, de la mésinformation, du déni, des attaques délibérées contre les journalistes, les défenseurs, les scientifiques, les chercheurs et autres voix publiques spécialisées dans les questions environnementales, ainsi que par d’autres tactiques utilisées pour nuire à l’intégrité des informations sur le changement climatique, qui réduisent la compréhension du public, retardent les mesures urgentes et menacent la réponse mondiale au changement climatique et la stabilité sociale ».
Ces pays s’engagent notamment à soutenir l’initiative mondiale pour l’intégrité de l’information sur le changement climatique lancée par l’Unesco.
Des ONG alertent sur la propagation de la désinformation, notamment à propos de la COP 30 elle-même
Début novembre, juste avant l’ouverture de la COP30, une coalition d’ONG (dont QuotaClimat et Équiterre en France) nommée Climate Action Against Disinformation publiait un rapport titré « Nier, tromper, retarder : démystifié. Comment les grandes entreprises polluantes utilisent la désinformation pour saboter les mesures climatiques, et comment nous pouvons les en empêcher ». Le rapport se faisait notamment l’écho d’une énorme campagne de désinformation sur des inondations à Belém, la ville de la COP 30, documentée par la newsletter Oii.
Celle-ci dénombrait plus de 14 000 exemples de contenus de désinformation publiés entre juillet et septembre sur la COP 30 elle-même. Notamment, des vidéos en partie générées par IA qui faisaient croire à des inondations dans la ville.
« « Voici le Belém de la COP30 qu’ils veulent cacher au monde », déclare un journaliste debout dans les eaux qui inondent la capitale de l’État du Pará », décrit Oii. « Mais… rien de tout cela n’est réel ! Le journaliste n’existe pas, les gens n’existent pas, l’inondation n’existe pas et la ville n’existe pas. La seule chose qui existe, ce sont les nombreux commentaires indignés contre le politicien mentionné dans la vidéo et contre la conférence sur le climat à Belém, sur X (anciennement Twitter) et TikTok », déplore la newsletter.
« Des mesures telles que la loi européenne sur les services numériques (DSA), qui s’appliquent au niveau supranational, rendent les grandes entreprises technologiques plus transparentes et responsables des préjudices causés », affirme la Climate Action Against Disinformation. Et elle ajoute que « si certaines entreprises donnent une mauvaise image de tous les réseaux sociaux, des sites web tels que Wikipédia et Pinterest prouvent que les politiques de lutte contre la désinformation climatique et l’intégrité de l’information sont non seulement possibles, mais nécessaires ».
Les benchmarks de LLM pullulent mais aucun, ou presque, ne semble s’appuyer sur un travail réellement scientifique, analysent des chercheurs. Ils appellent à une plus grande rigueur.
À chaque publication d’un nouveau modèle pour l’IA générative, l’entreprise qui l’a conçu nous montre par des graphiques qu’il égale ou surpasse ses congénères, en s’appuyant sur des « benchmarks » qu’elle a soigneusement choisis.
Plusieurs études montraient déjà qu’en pratique, ces « bancs de comparaison » n’étaient pas très efficaces pour mesurer les différences entre les modèles, ce qui est pourtant leur raison d’être.
Un nouveau travail scientifique, mené par 23 experts, a évalué 445 benchmarks de LLM. Il a été mis en ligne sur la plateforme de preprints arXiv et sera présenté à la conférence scientifique NeurIPS 2025 début décembre.
Une faible majorité s’appuie sur une méthode théorique robuste
Déjà, une faible majorité (53,4 %) des articles présentant ces 445 benchmarks proposent des preuves de leur validité conceptuelle, expliquent les chercheurs. 35 % comparent le benchmark proposé à d’autres déjà existants, 32 % à une référence humaine et 31 % à un cadre plus réaliste, permettant de comprendre les similitudes et les différences.
Avant de mesurer un phénomène avec un benchmark, il faut le définir. Selon cette étude, 41 % des phénomènes étudiés par ces benchmarks sont bien définis, mais 37 % d’entre eux le sont de manière vague. Ainsi, quand un benchmark affirme mesurer l’ « innocuité » d’un modèle, il est difficile de savoir de quoi on parle exactement. Et même 22 % des phénomènes étudiés par ces benchmarks ne sont pas définis du tout.
16 % seulement utilisent des tests statistiques pour comparer les résultats
De plus, les chercheurs montrent que la plupart de ces benchmarks ne produisent pas des mesures valides statistiquement. Ainsi, 41 % testent exclusivement en vérifiant que les réponses d’un LLM correspondent exactement à ce qui est attendu sans regarder si elles s’en approchent plus ou moins. 81 % d’entre eux utilisent au moins partiellement ce genre de correspondance exacte de réponses. Mais surtout, seulement 16 % des benchmarks étudiés utilisent des estimations d’incertitude ou des tests statistiques pour comparer les résultats. « Cela signifie que les différences signalées entre les systèmes ou les affirmations de supériorité pourraient être dues au hasard plutôt qu’à une réelle amélioration », explique le communiqué d’Oxford présentant l’étude.
Enfin, les chercheurs expliquent qu’une bonne partie des benchmarks ne séparent pas bien les tâches qu’ils analysent. Ainsi, comme ils le spécifient dans le même communiqué, « un test peut demander à un modèle de résoudre un casse-tête logique simple, mais aussi lui demander de présenter la réponse dans un format très spécifique et compliqué. Si le modèle résout correctement le casse-tête, mais échoue au niveau du formatage, il semble moins performant qu’il ne l’est en réalité ».
« « Mesurer ce qui a de l’importance » exige un effort conscient et soutenu »
Dans leur étude, les chercheurs ne font pas seulement des constats. Ils ajoutent des recommandations. Ils demandent notamment à ceux qui établissent des benchmarks de définir clairement les phénomènes qu’ils étudient et de justifier la validité conceptuelle de leur travail.
Pour eux, les créateurs de benchmarks doivent s’assurer de « mesurer le phénomène et uniquement le phénomène » qu’ils étudient, de construire un jeu de données représentatif de la tâche testée et d’utiliser des méthodes statistiques pour comparer les modèles entre eux. Enfin, ils leur conseillent de mener, après avoir conçu leur benchmark, une analyse des erreurs « qui permet de révéler les types d’erreurs commises par les modèles », ce qui permet de comprendre en quoi le benchmark en question est réellement utile.
« En fin de compte, « mesurer ce qui a de l’importance » exige un effort conscient et soutenu de la part de la communauté scientifique pour donner la priorité à la validité conceptuelle, en favorisant un changement culturel vers une validation plus explicite et plus rigoureuse des méthodologies d’évaluation », concluent-ils.
« Les benchmarks sous-tendent presque toutes des affirmations concernant les progrès de l’IA », explique Andrew Bean, dans le communiqué, « mais sans définitions communes et sans mesures fiables, il devient difficile de savoir si les modèles s’améliorent réellement ou s’ils en donnent simplement l’impression ».
Les benchmarks de LLM pullulent mais aucun, ou presque, ne semble s’appuyer sur un travail réellement scientifique, analysent des chercheurs. Ils appellent à une plus grande rigueur.
À chaque publication d’un nouveau modèle pour l’IA générative, l’entreprise qui l’a conçu nous montre par des graphiques qu’il égale ou surpasse ses congénères, en s’appuyant sur des « benchmarks » qu’elle a soigneusement choisis.
Plusieurs études montraient déjà qu’en pratique, ces « bancs de comparaison » n’étaient pas très efficaces pour mesurer les différences entre les modèles, ce qui est pourtant leur raison d’être.
Un nouveau travail scientifique, mené par 23 experts, a évalué 445 benchmarks de LLM. Il a été mis en ligne sur la plateforme de preprints arXiv et sera présenté à la conférence scientifique NeurIPS 2025 début décembre.
Une faible majorité s’appuie sur une méthode théorique robuste
Déjà, une faible majorité (53,4 %) des articles présentant ces 445 benchmarks proposent des preuves de leur validité conceptuelle, expliquent les chercheurs. 35 % comparent le benchmark proposé à d’autres déjà existants, 32 % à une référence humaine et 31 % à un cadre plus réaliste, permettant de comprendre les similitudes et les différences.
Avant de mesurer un phénomène avec un benchmark, il faut le définir. Selon cette étude, 41 % des phénomènes étudiés par ces benchmarks sont bien définis, mais 37 % d’entre eux le sont de manière vague. Ainsi, quand un benchmark affirme mesurer l’ « innocuité » d’un modèle, il est difficile de savoir de quoi on parle exactement. Et même 22 % des phénomènes étudiés par ces benchmarks ne sont pas définis du tout.
16 % seulement utilisent des tests statistiques pour comparer les résultats
De plus, les chercheurs montrent que la plupart de ces benchmarks ne produisent pas des mesures valides statistiquement. Ainsi, 41 % testent exclusivement en vérifiant que les réponses d’un LLM correspondent exactement à ce qui est attendu sans regarder si elles s’en approchent plus ou moins. 81 % d’entre eux utilisent au moins partiellement ce genre de correspondance exacte de réponses. Mais surtout, seulement 16 % des benchmarks étudiés utilisent des estimations d’incertitude ou des tests statistiques pour comparer les résultats. « Cela signifie que les différences signalées entre les systèmes ou les affirmations de supériorité pourraient être dues au hasard plutôt qu’à une réelle amélioration », explique le communiqué d’Oxford présentant l’étude.
Enfin, les chercheurs expliquent qu’une bonne partie des benchmarks ne séparent pas bien les tâches qu’ils analysent. Ainsi, comme ils le spécifient dans le même communiqué, « un test peut demander à un modèle de résoudre un casse-tête logique simple, mais aussi lui demander de présenter la réponse dans un format très spécifique et compliqué. Si le modèle résout correctement le casse-tête, mais échoue au niveau du formatage, il semble moins performant qu’il ne l’est en réalité ».
« « Mesurer ce qui a de l’importance » exige un effort conscient et soutenu »
Dans leur étude, les chercheurs ne font pas seulement des constats. Ils ajoutent des recommandations. Ils demandent notamment à ceux qui établissent des benchmarks de définir clairement les phénomènes qu’ils étudient et de justifier la validité conceptuelle de leur travail.
Pour eux, les créateurs de benchmarks doivent s’assurer de « mesurer le phénomène et uniquement le phénomène » qu’ils étudient, de construire un jeu de données représentatif de la tâche testée et d’utiliser des méthodes statistiques pour comparer les modèles entre eux. Enfin, ils leur conseillent de mener, après avoir conçu leur benchmark, une analyse des erreurs « qui permet de révéler les types d’erreurs commises par les modèles », ce qui permet de comprendre en quoi le benchmark en question est réellement utile.
« En fin de compte, « mesurer ce qui a de l’importance » exige un effort conscient et soutenu de la part de la communauté scientifique pour donner la priorité à la validité conceptuelle, en favorisant un changement culturel vers une validation plus explicite et plus rigoureuse des méthodologies d’évaluation », concluent-ils.
« Les benchmarks sous-tendent presque toutes des affirmations concernant les progrès de l’IA », explique Andrew Bean, dans le communiqué, « mais sans définitions communes et sans mesures fiables, il devient difficile de savoir si les modèles s’améliorent réellement ou s’ils en donnent simplement l’impression ».
Dans le procès qui oppose le New York Times à OpenAI, le journal a demandé cet été de pouvoir analyser les logs de l’utilisation de ChatGPT afin de trouver d’éventuelles preuves de violation de copyright.
Ce vendredi 7 novembre, la juge Ona Wang a informé [PDF] les deux parties qu’ « OpenAI est tenu de fournir les 20 millions de logs de ChatGPT anonymisés aux plaignants avant le 14 novembre 2025 ou dans les 7 jours suivant la fin du processus d’anonymisation ».
Photo de Jakayla Toney sur Unsplash
Comme le raconte Reuters, l’entreprise de Sam Altman a répondu [PDF] ce mercredi en se plaignant que « pour être clair : toute personne dans le monde ayant utilisé ChatGPT au cours des trois dernières années doit désormais faire face à la possibilité que ses conversations personnelles soient transmises au Times afin que celui-ci puisse les passer au crible à sa guise dans le cadre d’une enquête spéculative ».
De leur côté, les avocats du journal ont expliqué [PDF] qu’OpenAI a eu trois mois pour anonymiser les données, que l’un des représentants d’OpenAI a reconnu que le processus permettra « d’effacer du contenu les catégories d’informations personnelles identifiables et autres informations (par exemple, les mots de passe ou autres informations sensibles) comme les données utilisateur ». Le journal fait aussi remarquer qu’il doit respecter une ordonnance spéciale protégeant ces données lors de l’inspection de ces logs.
L’entreprise de Sam Altman fait aussi une comparaison avec des affaires ayant impliqué Google en affirmant que « les tribunaux n’autorisent pas les plaignants qui poursuivent Google à fouiller dans les emails privés de dizaines de millions d’utilisateurs Gmail, quelle que soit leur pertinence. Et ce n’est pas non plus ainsi que devrait fonctionner la divulgation dans le cas des outils d’IA générative »
Mais la juge a expliqué qu’ « OpenAI n’a pas expliqué pourquoi les droits à la vie privée de ses consommateurs ne sont pas suffisamment protégés par : (1) l’ordonnance de protection existante dans ce litige multidistrict ou (2) la dépersonnalisation exhaustive par OpenAI de l’ensemble des 20 millions de logs ChatGPT des consommateurs ». Elle semble estimer que les conversations des utilisateurs avec un chatbot ne peuvent pas être considérées comme des conversations privées au même titre que des échanges de courriers ou d’e-mails entre deux personnes réelles.
Dans le procès qui oppose le New York Times à OpenAI, le journal a demandé cet été de pouvoir analyser les logs de l’utilisation de ChatGPT afin de trouver d’éventuelles preuves de violation de copyright.
Ce vendredi 7 novembre, la juge Ona Wang a informé [PDF] les deux parties qu’ « OpenAI est tenu de fournir les 20 millions de logs de ChatGPT anonymisés aux plaignants avant le 14 novembre 2025 ou dans les 7 jours suivant la fin du processus d’anonymisation ».
Photo de Jakayla Toney sur Unsplash
Comme le raconte Reuters, l’entreprise de Sam Altman a répondu [PDF] ce mercredi en se plaignant que « pour être clair : toute personne dans le monde ayant utilisé ChatGPT au cours des trois dernières années doit désormais faire face à la possibilité que ses conversations personnelles soient transmises au Times afin que celui-ci puisse les passer au crible à sa guise dans le cadre d’une enquête spéculative ».
De leur côté, les avocats du journal ont expliqué [PDF] qu’OpenAI a eu trois mois pour anonymiser les données, que l’un des représentants d’OpenAI a reconnu que le processus permettra « d’effacer du contenu les catégories d’informations personnelles identifiables et autres informations (par exemple, les mots de passe ou autres informations sensibles) comme les données utilisateur ». Le journal fait aussi remarquer qu’il doit respecter une ordonnance spéciale protégeant ces données lors de l’inspection de ces logs.
L’entreprise de Sam Altman fait aussi une comparaison avec des affaires ayant impliqué Google en affirmant que « les tribunaux n’autorisent pas les plaignants qui poursuivent Google à fouiller dans les emails privés de dizaines de millions d’utilisateurs Gmail, quelle que soit leur pertinence. Et ce n’est pas non plus ainsi que devrait fonctionner la divulgation dans le cas des outils d’IA générative »
Mais la juge a expliqué qu’ « OpenAI n’a pas expliqué pourquoi les droits à la vie privée de ses consommateurs ne sont pas suffisamment protégés par : (1) l’ordonnance de protection existante dans ce litige multidistrict ou (2) la dépersonnalisation exhaustive par OpenAI de l’ensemble des 20 millions de logs ChatGPT des consommateurs ». Elle semble estimer que les conversations des utilisateurs avec un chatbot ne peuvent pas être considérées comme des conversations privées au même titre que des échanges de courriers ou d’e-mails entre deux personnes réelles.
L’un des tribunaux régionaux de Munich s’est prononcé ce mardi 11 novembre en faveur du lobby de l’industrie musicale allemande GEMA dans une affaire l’opposant à OpenAI.
Le jugement concerne l’utilisation des paroles de chansons de neuf auteurs allemands connus, dont « Atemlos » de Kristina Bach et le fameux « Wie schön, dass du geboren bist » de Rolf Zuckowski.
La cour donne raison à la GEMA, autant sur « la mémorisation dans les modèles linguistiques » des paroles que leur reproduction dans les résultats du chatbot : les deux, selon elle, constituent des atteintes des droits d’exploitation du copyright. Ces utilisations « ne sont couvertes par aucune limitation [du copyright] et notamment pas par la limitation relative à la fouille de données et de textes », commente le tribunal dans son communiqué.
« La chambre estime que les paroles litigieuses sont reproduites dans les modèles linguistiques 4 et 4o », explique-t-il.
Le tribunal considère qu’une « perception indirecte » de la mémorisation dans les modèles linguistiques est un indice suffisant pour la démontrer en se fondant sur la jurisprudence de la Cour de justice de l’Union européenne (CJUE). En l’occurence, le fait que ChatGPT a « rendu accessibles au public les paroles des chansons » est considéré comme une preuve indirecte de cette mémorisation en plus d’être une preuve directe de leur reproduction dans ses résultats.
« Nous sommes en désaccord avec la décision, et nous étudions les prochaines démarches possibles », a déclaré OpenAI à l’AFP. L’entreprise souligne également que le jugement ne concernerait que les textes qui figurent dans la plainte de la GEMA.
C’est « une victoire historique pour la GEMA », selon le cabinet d’avocats qui l’accompagne. « C’est la première fois qu’un tribunal allemand confirme que les entreprises d’IA ne peuvent pas utiliser des contenus protégés par le copyright ». « Cette décision rendue à Munich apporte une sécurité juridique aux professionnels de la création, aux éditeurs de musique et aux plateformes dans toute l’Europe, et elle est susceptible de créer un précédent dont l’impact s’étendra bien au-delà des frontières allemandes », ajoutent les représentants du lobby musical allemand.
Le tribunal n’a pas donné les détails des dédommagements que devra verser OpenAI.
L’un des tribunaux régionaux de Munich s’est prononcé ce mardi 11 novembre en faveur du lobby de l’industrie musicale allemande GEMA dans une affaire l’opposant à OpenAI.
Le jugement concerne l’utilisation des paroles de chansons de neuf auteurs allemands connus, dont « Atemlos » de Kristina Bach et le fameux « Wie schön, dass du geboren bist » de Rolf Zuckowski.
La cour donne raison à la GEMA, autant sur « la mémorisation dans les modèles linguistiques » des paroles que leur reproduction dans les résultats du chatbot : les deux, selon elle, constituent des atteintes des droits d’exploitation du copyright. Ces utilisations « ne sont couvertes par aucune limitation [du copyright] et notamment pas par la limitation relative à la fouille de données et de textes », commente le tribunal dans son communiqué.
« La chambre estime que les paroles litigieuses sont reproduites dans les modèles linguistiques 4 et 4o », explique-t-il.
Le tribunal considère qu’une « perception indirecte » de la mémorisation dans les modèles linguistiques est un indice suffisant pour la démontrer en se fondant sur la jurisprudence de la Cour de justice de l’Union européenne (CJUE). En l’occurence, le fait que ChatGPT a « rendu accessibles au public les paroles des chansons » est considéré comme une preuve indirecte de cette mémorisation en plus d’être une preuve directe de leur reproduction dans ses résultats.
« Nous sommes en désaccord avec la décision, et nous étudions les prochaines démarches possibles », a déclaré OpenAI à l’AFP. L’entreprise souligne également que le jugement ne concernerait que les textes qui figurent dans la plainte de la GEMA.
C’est « une victoire historique pour la GEMA », selon le cabinet d’avocats qui l’accompagne. « C’est la première fois qu’un tribunal allemand confirme que les entreprises d’IA ne peuvent pas utiliser des contenus protégés par le copyright ». « Cette décision rendue à Munich apporte une sécurité juridique aux professionnels de la création, aux éditeurs de musique et aux plateformes dans toute l’Europe, et elle est susceptible de créer un précédent dont l’impact s’étendra bien au-delà des frontières allemandes », ajoutent les représentants du lobby musical allemand.
Le tribunal n’a pas donné les détails des dédommagements que devra verser OpenAI.
La Commission européenne a proposé d’affaiblir rapidement le RGPD au profit des entreprises d’IA. Les pays membres semblent vouloir une discussion plus longue sur le sujet, même si l’Allemagne inspire la proposition de la Commission.
Une petite bombe a été lâchée la semaine dernière avec la fuite d’un brouillon de la Commission européenne de la loi « omnibus numérique » prévoyant d’affaiblir le RGPD au profit des entreprises d’IA. Elle doit officiellement le présenter le 19 novembre prochain et le texte peut encore changer d’ici là.
L’association noyb de Max Schrems, qui y est totalement opposée, a publié [PDF] les positions de neuf pays sur la « simplification » du RGPD rendues avant la fuite du brouillon.
L’Allemagne pour des changements en profondeur… mais avec des discussions en amont
L’Allemagne plaidait pour une vaste révision du règlement mais sans que la loi « omnibus numérique » qui doit entrer en discussion d’ici peu en soit le vecteur le plus significatif. Berlin considère que les discussions autour du sujet méritent du temps.
« Afin d’ajuster l’équilibre entre les droits fondamentaux des personnes concernées et les droits fondamentaux des citoyens et des entreprises à traiter des données à caractère personnel (notamment la liberté d’information, la liberté des sciences, la liberté d’exercer une activité commerciale), toute modification du RGPD, tout en garantissant un niveau adéquat de protection des données et en préservant les principes fondamentaux du RGPD, devrait être examinée avec soin et mise en œuvre de manière ciblée, précise et fondée sur les risques », affirmait l’Allemagne.
Mais, pour noyb, « il semble que la Commission se soit simplement « emparée » » de cette position non-officielle de l’Allemagne pour établir sa proposition d’un affaiblissement du RGPD exprimée dans le brouillon de l’ « omnibus numérique » , « étant donné que de nombreux changements apportés au projet semblent être une copie conforme des demandes formulées dans la lettre allemande qui a fuité », affirme l’association de Max Schrems.
La France et sept autres pays de l’UE pour des changements à la marge
De leurs côtés, les huit autres pays qui se sont exprimés (la République tchèque, l’Estonie, l’Autriche, la Pologne, la Slovénie, la Finlande, la Suède et la France) ne pressent pas pour un changement majeur du texte. Si aucun d’entre eux ne nie le besoin de clarification de certains points dans le règlement européen, notamment pour faciliter la mise en conformité des entreprises, une bonne partie d’entre eux souligne, à l’instar de la République tchèque, la nécessité que cela reste « compatible avec la protection effective des droits fondamentaux ».
Prague voit surtout des modifications à la marge comme la possibilité pour les responsables du traitement de ne pas « déployer des efforts disproportionnés » pour fournir des informations lorsqu’une personne lui demande, comme l’article 15 du règlement le prévoit, si certaines de ses données à caractère personnel sont ou ne sont pas traitées. La Suède propose aussi des changements à la marge comme un relèvement du seuil pour lequel les entreprises doivent notifier la violation de données personnelles.
Quant à la France, elle jugeait qu’ « à ce stade, les retours des parties prenantes collectés par la Commission ont montré qu’elles ne souhaitaient pas d’une réouverture du RGPD » et que « les autorités françaises se sont également exprimées en ce sens et maintiennent cette position ». Comme les sept autres pays, elle estimait que « pour atteindre un équilibre optimal entre les enjeux d’innovation et la protection des libertés fondamentales, les efforts de mise en œuvre du texte doivent se poursuivre ». Par contre, Paris appelle « le CEPD [Contrôleur européen de la protection des données] et les autorités de protection des données à mener rapidement des consultations des acteurs sur les sujets prioritaires que sont l’articulation du RGPD avec le règlement sur l’intelligence artificielle (RIA), la pseudonymisation et l’anonymisation, dans les semaines qui viennent ». La France estime qu’ « il s’agit d’une attente très forte pour que les besoins concrets puissent être exprimés en amont de la finalisation du premier jet des lignes directrices sur ces sujets ».
De son côté, Max Schrems réitère ses critiques sur le projet : « Le brouillon n’est pas seulement extrême, il est également très mal rédigé. Il n’aide pas les « petites entreprises », comme promis, mais profite à nouveau principalement aux « grandes entreprises technologiques » ». noyb s’est joint à l’Edri et à l’organisation irlandaise Irish Council for Civil Liberties pour envoyer une lettre ouverte [PDF] à la Vice-présidente exécutive de la Commission européenne à la Souveraineté technologique, à la Sécurité et à la Démocratie, Henna Virkkunen. Dans ce texte, les trois associations affirment que les changements « considérables » prévus par le brouillon « priveraient non seulement les citoyens de leurs droits, mais compromettraient également la compétitivité européenne ».
La Commission européenne a proposé d’affaiblir rapidement le RGPD au profit des entreprises d’IA. Les pays membres semblent vouloir une discussion plus longue sur le sujet, même si l’Allemagne inspire la proposition de la Commission.
Une petite bombe a été lâchée la semaine dernière avec la fuite d’un brouillon de la Commission européenne de la loi « omnibus numérique » prévoyant d’affaiblir le RGPD au profit des entreprises d’IA. Elle doit officiellement le présenter le 19 novembre prochain et le texte peut encore changer d’ici là.
L’association noyb de Max Schrems, qui y est totalement opposée, a publié [PDF] les positions de neuf pays sur la « simplification » du RGPD rendues avant la fuite du brouillon.
L’Allemagne pour des changements en profondeur… mais avec des discussions en amont
L’Allemagne plaidait pour une vaste révision du règlement mais sans que la loi « omnibus numérique » qui doit entrer en discussion d’ici peu en soit le vecteur le plus significatif. Berlin considère que les discussions autour du sujet méritent du temps.
« Afin d’ajuster l’équilibre entre les droits fondamentaux des personnes concernées et les droits fondamentaux des citoyens et des entreprises à traiter des données à caractère personnel (notamment la liberté d’information, la liberté des sciences, la liberté d’exercer une activité commerciale), toute modification du RGPD, tout en garantissant un niveau adéquat de protection des données et en préservant les principes fondamentaux du RGPD, devrait être examinée avec soin et mise en œuvre de manière ciblée, précise et fondée sur les risques », affirmait l’Allemagne.
Mais, pour noyb, « il semble que la Commission se soit simplement « emparée » » de cette position non-officielle de l’Allemagne pour établir sa proposition d’un affaiblissement du RGPD exprimée dans le brouillon de l’ « omnibus numérique » , « étant donné que de nombreux changements apportés au projet semblent être une copie conforme des demandes formulées dans la lettre allemande qui a fuité », affirme l’association de Max Schrems.
La France et sept autres pays de l’UE pour des changements à la marge
De leurs côtés, les huit autres pays qui se sont exprimés (la République tchèque, l’Estonie, l’Autriche, la Pologne, la Slovénie, la Finlande, la Suède et la France) ne pressent pas pour un changement majeur du texte. Si aucun d’entre eux ne nie le besoin de clarification de certains points dans le règlement européen, notamment pour faciliter la mise en conformité des entreprises, une bonne partie d’entre eux souligne, à l’instar de la République tchèque, la nécessité que cela reste « compatible avec la protection effective des droits fondamentaux ».
Prague voit surtout des modifications à la marge comme la possibilité pour les responsables du traitement de ne pas « déployer des efforts disproportionnés » pour fournir des informations lorsqu’une personne lui demande, comme l’article 15 du règlement le prévoit, si certaines de ses données à caractère personnel sont ou ne sont pas traitées. La Suède propose aussi des changements à la marge comme un relèvement du seuil pour lequel les entreprises doivent notifier la violation de données personnelles.
Quant à la France, elle jugeait qu’ « à ce stade, les retours des parties prenantes collectés par la Commission ont montré qu’elles ne souhaitaient pas d’une réouverture du RGPD » et que « les autorités françaises se sont également exprimées en ce sens et maintiennent cette position ». Comme les sept autres pays, elle estimait que « pour atteindre un équilibre optimal entre les enjeux d’innovation et la protection des libertés fondamentales, les efforts de mise en œuvre du texte doivent se poursuivre ». Par contre, Paris appelle « le CEPD [Contrôleur européen de la protection des données] et les autorités de protection des données à mener rapidement des consultations des acteurs sur les sujets prioritaires que sont l’articulation du RGPD avec le règlement sur l’intelligence artificielle (RIA), la pseudonymisation et l’anonymisation, dans les semaines qui viennent ». La France estime qu’ « il s’agit d’une attente très forte pour que les besoins concrets puissent être exprimés en amont de la finalisation du premier jet des lignes directrices sur ces sujets ».
De son côté, Max Schrems réitère ses critiques sur le projet : « Le brouillon n’est pas seulement extrême, il est également très mal rédigé. Il n’aide pas les « petites entreprises », comme promis, mais profite à nouveau principalement aux « grandes entreprises technologiques » ». noyb s’est joint à l’Edri et à l’organisation irlandaise Irish Council for Civil Liberties pour envoyer une lettre ouverte [PDF] à la Vice-présidente exécutive de la Commission européenne à la Souveraineté technologique, à la Sécurité et à la Démocratie, Henna Virkkunen. Dans ce texte, les trois associations affirment que les changements « considérables » prévus par le brouillon « priveraient non seulement les citoyens de leurs droits, mais compromettraient également la compétitivité européenne ».
Connexion
