Meta a déployé des outils dangereux pour la santé mentale des mineurs en toute connaissance de cause et retenu des informations sur des cas d’exploitation sexuelle de mineurs, a tranché ce 24 mars un jury états-unien.
Au Nouveau-Mexique, le tribunal a condamné l’entreprise à 375 millions de dollars de dommages civils, une décision que le procureur qualifie d’ « historique », quand bien même les plaignants visaient un montant cinq fois plus élevé. C’est la première fois que l’entreprise de Mark Zuckerberg est déclaré coupable d’actes commis sur ses plateformes, note the Guardian.
L’affaire a été portée devant les tribunaux en décembre 2023, après que des enquêtes eurent détaillé comment Facebook et Instagram s’étaient transformés en place de marché de l’exploitation sexuelle de mineurs.
L’entreprise ne devra pas pour autant adapter ses pratiques tout de suite : ce sera un juge, et non un jury populaire, qui pourra se prononcer sur ce type d’évolution, rappelle AP. Meta a indiqué se pourvoir en appel.
Cette affaire est la première d’une série de plaintes déposées contre le groupe. Plus de 40 procureurs états-uniens ont par exemple déposé des plaintes fin 2023 pour le manque de protection des internautes mineurs de la part de la société.
Alors qu’elle subissait depuis des années des diffusions non consenties d’images à caractère sexuel en ligne, l’actrice allemande Collien Fernandes a découvert et fait savoir publiquement que l’auteur de ces manipulations était son ex-mari, une autre star du petit écran allemand, Christian Ulmen. Ces révélations défraient la chronique, alors que l’Allemagne se prépare à débattre d’une loi de protection des internautes contres les deepfakes pornographiques et d’autres types de violences numériques.
Très engagée contre les diffusions non consenties d’images à caractère sexuel, l’animatrice et actrice allemande Collien Fernandes a déposé plainte contre son ex-mari, l’acteur Christian Ulmen, pour « agression, usurpation d’identité et diffamation ». Ensemble depuis 2010, mariés depuis l’été suivant, les deux formaient l’un des couples les plus populaires du pays jusqu’à leur séparation, annoncée en septembre 2025.
Ce 20 mars, une longue enquête du magazine Der Spiegel détaille les raisons de cette séparation : pendant des années, son ex-mari avait recouru à toutes sortes d’outils technologiques, notamment d’intelligence artificielle, pour se faire passer pour Collien Fernandes et la faire interagir dans des échanges à caractère sexuel avec des inconnus. Ces discussions recouraient par ailleurs à des images, des vidéos et des sons générés par IA à caractère sexuel.
Qualifiant le phénomène de « viol virtuel », Der Spiegel compare les débats soulevés par cette agression répétée en ligne à ceux qui entourent l’affaire Pélicot ou l’affaire Espstein, dans lesquels les victimes se battent pour être entendues.
En l’occurrence, loin d’être isolées, les violences numériques touchent des personnes de tous les âges, dans des contextes publics ou privés. Dans le cadre du foyer, le centre Hubertine Auclert constatait en 2018 (.pdf) que 9 victimes de violences conjugales sur 10 essuyaient aussi des formes de violences numériques, allant de la diffusion non consentie de contenus variés au harcèlement ou à la surveillance.
Diffusions non consenties de multiples contenus à caractère sexuel
Sur Instagram, Collien Fernandes a aussi pris la parole pour exposer ce qu’elle a subi : « Pendant des années, de faux profils ont été créés à mon nom (…) qui contactaient avant tout des hommes. Après des débuts de conversation normaux, les discussions prenaient un ton de flirt, et la personne envoyait de (fausses) images dénudées et vidéos sexuelles de moi, qui semblaient prises dans le cadre privé, comme si je m’étais moi-même photographiée dénudée et m’étais filmée en plein acte sexuel. »
Capture d’écran de la publication de Collien Fernandes sur Instagram. Ce 25 mars au matin, Meta n’affichait cette publication que derrière un panneau indiquant que le contenu pouvait choquer, ndlr.
Le phénomène, qui impliquait par ailleurs des conversations téléphoniques à caractère sexuel, là encore tenues via de la génération de voix par IA, a duré « pendant dix ans (!) », écrit Collien Fernandes. À plusieurs de ces hommes, l’auteur de l’usurpation d’identité a envoyé une « histoire érotique » évoquant un viol de la présentatrice « par 21 hommes ».
Le phénomène n’a pas cessé alors qu’en 2023, elle prenait la parole publiquement, puis, en 2024, publiait un documentaire sur la question. Seule la suspension des comptes par les plateformes concernées a permis de freiner l’agression, mais l’actrice et ses avocats n’ont jamais réussi à faire supprimer certains contenus, dont une vidéo qui a déjà enregistré plus de 270 000 vues.
Quoiqu’il arrive, raconte Der Spiegel, l’ancienne présentatrice de télévision voulait savoir qui était derrière ces diffusions, ces faux comptes LinkedIn, ces manipulations répétées de son image et son nom. En 2024, elle avait déjà déposé plainte contre X.
Et lors des fêtes de Noël de la même année, son monde s’est effondré lorsque son époux de l’époque lui a avoué être l’auteur de cette manipulation de longue durée. Outre le fait d’illustrer brutalement un phénomène vécu par d’autres femmes, l’affaire choque d’autant plus l’opinion allemande que le couple Fernandes-Ulmen, très populaire dans le paysage médiatique local, s’est exprimé à plusieurs reprises sur les enjeux d’égalités des droits.
Christian Ulmen a notamment donné des interviews dans lesquelles il expliquait le rôle qu’il jouait au foyer, lorsque sa femme était en tournage, ou indiquait dédaigner les hommes qui se comportent comme de « prétendus petits mâles dominants ». Auprès du Westdeutschen Allegmeinen Zeitung, l’acteur s’est par ailleurs décrit comme « le genre d’homme que le féminisme a toujours souhaité ».
Loi allemande vouée à évoluer
En ligne, majeurs et mineurs sont régulièrement visés par diverses formes de violences. Ce 23 mars, l’ONG britannique Internet Watch Foundation alertait par exemple sur l’évolution rapide des contenus représentant des agressions sexuelles sur mineurs (CSAM, Child sexual abuse material), dans lesquels on trouve de plus en plus d’images et de vidéos hautement crédibles générées par IA.
De même, depuis l’explosion des robots conversationnels et des outils de génération d’image, nombreuses sont les spécialistes ou les victimes de deepfakes pornographiques qui alertent contre l’explosion du phénomène, qui frappe ultra-majoritairement les femmes.
Outre ces évolutions récentes, les occurrences de diffusions non consenties d’images à caractère sexuelles de personnalités ou de personnes moins exposées, les scandales d’upskirting (prises de photo sous les jupes), de sextorsion, ou encore ceux de captation d’images à l’insu de clientes de magasins ou d’hôtel se sont répétés, au fil des années écoulées.
Si la France s’est peu à peu dotée de différents outils légaux pour lutter contre les diverses formes de cyberviolences numériques, l’Allemagne reste, à l’heure actuelle, relativement démunie sur le sujet.
Alors que plusieurs milliers de personnes se réunissaient ce week-end près de la Brandenburger Tor, à Berlin, pour soutenir Collien Fernandes, le pays attend un débat réglementaire sur une proposition de loi relative à la protection contre les violences numériques. Le texte est « presque prêt », a déclaré un porte-parole du ministère fédéral de la Justice et de la protection des consommateurs au média Heise.
Il devrait couvrir deux volets : un pénal, dans lequel les deepfakes pornographiques et diverses autres formes d’agressions numériques deviendront condamnables, et un civil, pensé pour faciliter la réaction des victimes.
Concrètement, pour ces dernières, il s’agirait de renforcer le droit à être informé par les plateformes dans les cas de violations des droits de la personnalité (qui protègent un individu contre toute ingérence dans sa vie et sa liberté).
Du côté des agresseurs, le gouvernement compte menacer de bloquer les comptes des auteurs de ce type d’agression numérique des plateformes sur lesquelles ils agissent. Le but général est de « réduire le sentiment d’impunité », a indiqué la ministre fédérale de la Justice.
Si les plateformes numériques sont principalement régulées à l’échelle européenne, tout ce qui relève du droit pénal est laissé à l’appréciation des États membres. En l’espèce, l’Allemagne manque actuellement de certaines dispositions, que cette proposition de loi pourrait permettre d’accélérer.
À défaut, les victimes de diffusion non consenties d’images à caractère sexuel ne peuvent pour le moment s’appuyer que sur des actions au civil, en demandant des compensations aux auteurs et le retrait des contenus incriminés. Mais ces procédures sont longues, et peuvent constituer une charge supplémentaire pour les victimes de violences numériques.
En attendant les évolutions allemandes, Collien Fernandes a déposé plainte devant la justice espagnole, où elle a vécu, pour usurpation d’identité, injure publique, divulgation de secrets, coups et blessures répétés dans le cadre familial et menaces graves.
Au-delà du pan numérique des agressions dont elle témoigne, elle accuse en effet son ex-mari de lui avoir fait subir des violences psychologiques et émotionnelles, ainsi que des agressions physiques.
Comme Gisèle Pélicot et d’autres victimes de violences sexistes et sexuelles, qui prennent plus facilement la parole depuis la vague #MeToo, Collien Fernandes indique au Spiegel vouloir faire « changer la honte de camp » : que les internautes qui ressentent de la honte, face à la diffusion de ce type de contenu, ne soient plus celles et ceux représentés sur les images ou vidéos, mais bien ceux qui les créent.
C’est notamment pour cela qu’elle soutient, depuis 2023, les travaux d’une association comme HateAid, qui vise à faire évoluer l’opinion publique et à pousser les législateurs allemands à mieux protéger les internautes contre les deepfakes pornographiques.
Alors que les technologies d’IA se perfectionnent, leur usage à des fins de pédocriminalité devient plus fréquent, constate l’Internet Watch Foundation. Et d’alerter sur leur propension à créer de nouvelles victimisations des enfants représentés, de même que sur le caractère particulièrement violent des actes qui y sont illustrés.
Les contenus hautement réalistes, les vidéos complètes et crédibles générées par intelligence artificielle et décrivant des agressions sexuelles sur mineurs deviennent fréquentes, voire « routinières ». C’est le constat que formule l’Internet Watch Foundation (IWF), organisation britannique indépendante qui traite les signalements de photos et de vidéos d’agressions sexuelles sur enfants que remonte le public via sa hotline et son portail de signalement.
Créée en 1996, l’ONG fait partie intégrante du réseau INHOPE, auquel appartient aussi l’association française Point de Contact. Localement, l’IWF travaille notamment avec les forces de police et les fournisseurs d’accès à internet, auxquels elle fait par exemple remonter une liste noire de près de 150 000 URL (en 2024) de sites diffusant des contenus illégaux. Or, avec l’intelligence artificielle, les contenus qu’elle traite évoluent aussi.
Explosion des contenus illégaux réalistes générés par IA
En juillet 2024, ses analystes ont repéré les premières vidéos classables comme contenu CSAM (Child sexual abuse material, contenu d’agression sexuelle sur mineur) entièrement généré par IA. « À ce moment-là, les technologies restaient rudimentaires. Les vidéos présentaient de nombreux bugs et des tremblements, ainsi que des mouvements saccadés et peu naturels qui permettaient de distinguer facilement le contenu généré par IA des images réelles », indique-t-elle dans son rapport« Violence sans limites : les contenus d’agression sexuelle sur mineur générés par IA vus par nos analystes ».
Depuis, le réalisme de ces contenus a fait un bond, et l’ONG a recensé en 2025 plus de 8 000 images et près de 3 500 vidéos crédibles, générées par IA, représentant des agressions sexuelles sur mineurs. L’année précédente, elle n’avait collecté que 13 vidéos de ce type. Pour l’IWF, loin d’être « moins dangereux » que les contenus non générés par IA, ce type d’images et de vidéos « renforcent l’intérêt sexuel pour les enfants, contribuent à la normalisation d’agressions violentes, et peuvent accroître le risque d’agressions concrètes ».
En l’occurrence, dans l’échantillon collecté en 2025, l’IWF constate que 65 % des vidéos sont classifiables en « catégorie A », celle réservée aux contenus les plus extrêmes. Pour comparaison, sur l’année 2025, « 43 % des vidéos criminelles non générées par IA et traitées par l’IWF relevaient de la catégorie A ».
Nouvelle victimisation pour les enfants représentés
Les enjeux sont multiples : l’entraînement des modèles génératifs permettant de créer ce type de contenu est effectué sur des images d’agressions réelles sur mineurs, pour commencer. Le réusage de leur image à des fins de création de contenu violent démultiplie la victimisation des survivants de ce type de violence. Concrètement, des contenus représentant des agressions réelles sont modifiés, voire « augmentés » grâce aux technologies récentes, quelques fois pour améliorer la qualité des images, d’autres fois pour renforcer le type d’agressions représentées.
Ces enjeux sont, par ailleurs, très genrés : 97 % des enfants représentés dans ces contenus CSAM générés par IA sont des filles, une proportion plus large que dans les affaires de pédocriminalité (en 2023, les travaux de la Commission indépendante sur l’inceste et les violences sexuelles faites aux enfants relevaient par exemple que 3,9 millions de femmes et 1,5 millions d’hommes étaient confrontés en France à des violences sexuelles avant 18 ans, ce qui revient à 72 % de filles et 28 % de garçons).
Plusieurs cas ont illustré cette tendance dans les dernières années, par exemple en Espagne, dans la ville d’Almendralejo, où 15 garçons ont été condamnés pour avoir recouru à des applications de nudification pour créer des images de 20 filles de 11 à 17 ans. Ou encore dans un collège de Normandie, où une douzaine de jeunes filles ont vu leur image détournée début 2025 pour créer des deepfakes à caractère sexuel.
Des technologies qui « abaissent le seuil » de création de CSAM
L’association pointe aussi le rôle des technologies dans l’évolution de ces risques. Pour créer ces contenus, les internautes recourent à des outils appuyés sur de grands modèles de langage, comme des applications de « nudification » ou des robots conversationnels plus génériques, ou à des outils de génération d’image à partir de requêtes textuelles (text-to-image). « Il n’existe pas de cas d’usage positif » pour les applications de nudification, pointe l’IWF : ces dernières « ne servent qu’à humilier, harceler et exploiter et peuvent servir à infliger de nouvelles formes d’agressions ».
Du côté des robots conversationnels, l’ONG relève deux cas d’usages problématiques : le recours à des machines comme ChatGPT ou Gemini pour obtenir de l’aide technique à la génération de contenu illégale, et la prévalence de discours à caractère sexuel dans plusieurs types de robots conversationnels.
Des outils comme Candy AI (de EverAI) ou certains bots de Character.AI sont ainsi connus pour renforcer la communication à caractère sexuel avec l’utilisateur, ce qui peut mener à des comportements proches du grooming (anglicisme normalement utilisé pour désigner l’instauration par un adulte d’une relation de confiance avec un enfant afin d’en obtenir des actes sexuels) lorsque ces robots sont utilisés par des mineurs.
Les évolutions de ces différents outils « abaissent le seuil » qui permet la création de ces contenus CSAM, alerte l’IWF. « Des projets qui demandaient autrefois de multiples outils et des compétences techniques sont désormais intégrés dans une seule application facile à prendre en main. » Des robots conversationnels disponibles pour le grand public ont par ailleurs démontré « une tendance à encourager les conversations à caractère sexuel avec les enfants, ce qui pousse les délinquants à concrétiser leurs pensées sexuelles impliquant des enfants ».
Après s’être lancé dans le suivi de ce type spécifique de production en 2023, l’IWF souligne que le CSAM généré par IA constitue toujours une « proportion relativement faible de la totalité des contenus illégaux repérés », mais que la « rapidité de son expansion présente une menace sérieuse et évolutive ».
Connexion
