Cambridge analitiquoi ?

La CNIL espagnole vient de décider la suspension de l’implémentation sur son territoire des fonctionnalités prévues par Meta. L’entreprise voulait les ajouter à Instagram et Facebook à l’occasion des élections européennes pour « empêcher la collecte de données, le profilage des utilisateurs et le transfert d’informations à des tiers ».

L’Agencia Española de Protección de Datos (AEPD) annonce avoir décidé le blocage préventif de l’implémentation des fonctionnalités que Meta voulait intégrer à Facebook et Instagram pour les élections européennes.

L’entreprise de Mark Zuckerberg a prévu de lancer deux outils appelés « Election Day Information » (EDI) et Voter Information Unit (VIU). Et, selon l’autorité, Meta récupérerait et traiterait des données concernant l’utilisation de ces outils.

L’AEPD veut, par cette mesure, empêcher « la collecte de données, le profilage des utilisateurs et le transfert d’informations à des tiers, afin d’éviter que les données personnelles ne soient utilisées par des tiers inconnus et à des fins non explicites ». Cette interdiction aura une durée maximale de trois mois. Meta ne devrait donc pas pouvoir les mettre en place en Espagne lors du scrutin européen.

La CNIL espagnole considère que le traitement des données prévu par Meta implique une action contraire au RGPD. Au minimum, elle « violerait les principes de protection des données que sont la licéité, la minimisation, et la limitation du stockage ».

Selon l’agence, ces deux fonctionnalités traiteraient des données personnelles « telles que, entre autres, le nom de l’utilisateur, l’adresse IP, l’âge et le sexe ou des informations sur la manière dont l’utilisateur interagit avec ces fonctionnalités ».

Éviter un nouveau Cambridge Analytica

Pour l’autorité, cette récupération et ce stockage des données « mettraient gravement en péril les droits et libertés des utilisateurs d’Instagram et de Facebook, qui verraient augmenter le volume d’informations que Meta collecte à leur sujet, permettant un profilage plus complexe, détaillé et exhaustif, et générant un traitement plus intrusif ».

Elle ajoute que donner accès à ces informations à des acteurs tiers « entraînerait une ingérence disproportionnée dans les droits et libertés des personnes concernées ».

Si l’autorité ne le mentionne pas, cette peur qu’elle évoque rappelle l’utilisation des données de millions d’utilisateurs de Facebook lors du scandale de Cambridge Analytica.

• Retour sur le scandale Cambridge Analytica et la (molle) réponse de Facebook
• Affaire Cambridge Analytica : les pressions européennes s’accentuent sur Facebook

Prévues dans toute l’Europe à l’exception de l’Italie

L’AEPD explique que Meta lui a indiqué vouloir lancer ces fonctionnalités pour tous les utilisateurs de ses services qui pourront voter aux élections européennes, « à l’exception de l’Italie, dont l’autorité de protection des données a déjà entamé une procédure à ce sujet ».

En effet, en septembre 2022, l’autorité italienne (GPDP) avait déjà mis en place une procédure contre Meta à propos des élections nationales. Elle y évoquait d’ailleurs plus explicitement le scandale Cambridge Analytica.

Interrogée par TechCrunch, Meta a répondu : « nos outils électoraux ont été expressément conçus pour respecter la vie privée des utilisateurs et se conformer au RGPD. Bien que nous ne soyons pas d’accord avec l’évaluation de l’AEPD, nous avons coopéré ».

Dans un billet de blog, OpenAI annonce une offre de ChatGPT spéciale pour les universités, « ChatGPT Edu ».

Elle intègrera le modèle GPT-4o et son utilisation sera adaptée à ce que l’entreprise considère être les besoins des universitaires. OpenAI explique que ChatGPT Edu intègrera des « fonctionnalités avancées telles que l’analyse de données, la navigation sur le web et la synthèse de documents » et la possibilité de créer des versions adaptées du chatbot en les partageant au sein de l’université.

• OpenAI présente GPT-4o, Claude devient disponible en Europe

L’entreprise précise que les conversations et les données utilisées dans ChatGPT Edu ne seront pas utilisées pour entrainer les modèles d’OpenAI.

AI overflow

Les entreprises d’IA ciblent notamment le développement logiciel avec la génération de réponses techniques aux problèmes des développeurs et concurrencent des sites comme Stack Overflow. Mais ces outils sont-ils pertinents ?

« Stack Overflow est-il obsolète ? ». C’est la question que s’est posée la chercheuse de l’université de Purdue aux États-Unis, Samia Kabir avec ses collègues.

Depuis l’arrivée des outils d’IA générative, les fréquentations du site diminuent et les développeurs posent de plus en plus leurs questions techniques à ChatGPT ou à un autre outil similaire. Au point que le site, dans ces conditions inconfortables, signe avec OpenAI un accord laissant l’entreprise de Sam Altman entrainer ses modèles sur les questions/réponses postées depuis des années par ses utilisateurs.

ChatGPT : erroné et bavard

Lundi 29 mai, MistralAI a présenté son premier grand modèle de langage, nommé Codestral et consacré à la génération de code informatique.

L’entreprise affirme avoir entrainé son modèle sur plus de 80 langages de programmation, dont les plus utilisés Python, Java, C, C++, JavaScript et Bash, mais aussi Swift et Fortran.

Mistral AI ne renvoie dans son billet de présentation vers aucune documentation technique et encore moins vers un article scientifique qui décrirait les détails de la confection du modèle, contrairement à d’autres comme IBM, par exemple, lors de la présentation de la famille Granite. Elle diffuse par contre dans son billet des extraits de « benchmarks » à son avantage.

La startup, qui jusqu’à l’annonce de son modèle Large vantait le modèle « open source », publie Codestral sur Hugging Face sous une nouvelle licence. Celle-ci ne permet pas d’utiliser le modèle en production, mais seulement à des fins de recherche ou de test.

Pour utiliser Codestral, il faudra donc forcément passer par les outils de Mistral. La startup propose quatre façons d’y accéder :

• une API dédiée qui a notamment vocation à être utilisée dans un IDE en « Fill-In-the-Middle » ou en mode « instruction » (en bêta pendant 8 semaines et sur liste d’attente)
• l’API « classique » de Mistral
• le chatbot « Le Chat » de la startup
• des plugins VSCode/JetBrains sur lesquels Mistral garde la main tout en coopérant avec les développeurs de Continue.dev et Tabnine

OpenAI annonce la création d’un nouveau comité de sécurité. L’entreprise de Sam Altman a vu la semaine dernière son équipe chargée de contrôler les IA s’autodétruire. Elle veut rassurer alors que GPT-5 est en cours d’entrainement. L’ancienne membre du CA de l’entreprise, Helen Toner, explique la tentative de licenciement de Sam Altman par le fait qu’il aurait donné des informations inexactes sur le processus de sécurité.

Lundi, OpenAI a publié un billet de blog pour indiquer la création d’un comité de « sécurité et de sûreté » en son sein. Il sera « responsable de la formulation de recommandations à l’ensemble du conseil d’administration sur les décisions critiques en matière de sûreté et de sécurité pour les projets et les opérations de l’OpenAI ».

Mais l’annonce semble plus être un contre-feu après l’autodestruction de son équipe chargée de contrôler les IA et de préparer l’éventuel avènement d’une intelligence artificielle générale (AGI).

Sam Altman et Bret Taylor membres du comité

Le nouveau comité est composé du président Bret Taylor, du CEO Sam Altman, de l’ancienne présidente de Sony US et toute récente membre du conseil d’administration d’OpenAI Nicole Seligman et d’Adam D’Angelo, lui aussi membre du CA de l’entreprise. Ce dernier est le seul « survivant » du CA qui avait voté pour le départ de Sam Altman en novembre dernier, lors de la semaine de folie qu’a vécu l’entreprise à l’époque.

• OpenAI : récit d’une semaine de folie

Cette sorte de CA restreint devra faire des recommandations à l’ensemble du conseil sur les décisions clés en matière de sûreté et de sécurité pour les projets d’OpenAI.

On parle ici de la soi-disant menace d’une éventuelle AGI et, comme le dit Ars Technica, du maintenant classique « nous ne laisserons pas l’IA se comporter comme une menace et prendre le contrôle du monde ». Mais OpenAI présente aussi ce comité comme la prise en compte de thématiques plus vastes concernant la sécurité de ses modèles, les possibilités de « jailbreaks », les mauvaises utilisations en général et la protection des enfants et des élections en particulier, thèmes abordés par l’entreprise à l’AI Seoul Summit la semaine dernière.

Ils seront épaulés par plusieurs experts de l’entreprise : Aleksander Madry, Lilian Weng, John Schulman, Matt Knight et Jakub Pachocki.

Ces cinq employés d’OpenAI sont présentés comme responsables de sujets qui ont pourtant l’air de se recouper. Ils sont, respectivement, responsable de la vigilance (en vo « head of Preparedness »), responsable des systèmes de sécurité, responsable de la science de l’alignement (« Alignment Science »), responsable de la sécurité et responsable scientifique.

• Transhumanisme, long-termisme… comment les courants « TESCREAL » influent sur le développement de l’IA

OpenAI promet que le comité proposera au CA des recommandations d’ici trois mois. Celles-ci seront rendues publiques une fois adoptées par le conseil.

La nouvelle équipe semble beaucoup moins préoccupée par l’avènement d’une AGI que l’ancienne équipe chargée de contrôler les IA. Et OpenAI ne communique plus sur aucun moyen technique qui lui serait dédié. Rappelons qu’elle n’avait pas donné à l’ancienne équipe accès aux capacités de calculs promises à l’époque.

• Comment OpenAI évite toute critique de ses anciens employés

À propos de l’ancienne équipe, Jan Leike vient d’annoncer avoir rejoint Anthropic, la startup rivale d’OpenAI fondée par d’anciens employés de l’entreprise.

Dans le billet de blog d’OpenAI, l’entreprise explique aussi avoir commencé l’entrainement de son prochain modèle qui succédera à GPT-4. Sans pouvoir donner aucun élément probant. Et pour cause, l’entreprise « anticipe que les systèmes qui en résulteront nous mèneront un pas plus loin vers l’AGI ».

Le processus de sécurité d’OpenAI déjà en question en novembre dernier

De son côté, la chercheuse australienne et ancienne membre du CA d’OpenAI, Helen Toner, s’explique dans le Podcast TED AI Show à propos de la tentative de licenciement de Sam Altman en novembre dernier.

Selon elle, comme l’a relevé The Verge, le conseil d’administration a arrêté d’avoir confiance dans le CEO d’OpenAI quand il s’est rendu compte que Sam Altman possédait le fonds « OpenAI Startup », mais aussi parce qu’il avait fourni des informations inexactes sur le processus de sécurité de l’entreprise « à de multiples occasions ».

Elle y explique aussi que le CA a appris le lancement de ChatGPT sur Twitter, comme tout le monde.

Le récent « Syndicat national de Samsung Electronics » prévoit l’organisation d’une journée blanche dans l’entreprise le 7 juin. Les grévistes utiliseraient leurs congés annuels à cette fin, explique l’AFP.

Mais selon un porte-parole du syndicat, « cela pourrait déboucher sur une grève générale ». Cette grève serait la première de l’histoire de l’entreprise. Samsung Electronics est une filiale (à 100 %) de Samsung, spécialisée dans la fabrication de produits électroniques.

Le syndicat, créé en 2019, menace d’une grève depuis quelques années le fabricant de semi-conducteurs pour peser sur les négociations d’augmentation de salaires. Après plusieurs mois de négociations, la direction a accepté une augmentation de 5,1 %, selon The Register, le syndicat revendiquant une hausse de 6,5 %. Cette revendication intervient alors que Samsung Electronics a quasiment multiplié par dix son bénéfice d’exploitation au premier trimestre de cette année.

« Nous ne pouvons plus supporter les persécutions contre les syndicats. Nous déclarons une grève face à la négligence de l’entreprise à l’égard des travailleurs », dénonce aussi le syndicat.

Depuis sa création en 1938 et jusqu’en 2018, l’entreprise qui emploie plus de 100 000 personnes en Corée du Sud refusait toute création de syndicat. Le procès pour corruption du vice-président et petit-fils du fondateur de l’entreprise, Lee Jae-yong, a changé la donne.

Le syndicat revendique actuellement représenter 20 % des salariés de l’entreprise, soit 28 000 personnes. Il y a un an, ce chiffre était de 9 % (soit environ 10 000 travailleurs à l’époque), selon RTL.be, alors qu’il menaçait déjà d’organiser une grève.

Après avoir testé la vidéosurveillance algorithmique lors des concerts de Taylor Swift, la RATP utilise de nouveau ce dispositif encadré par la loi « Jeux Olympiques » dans le cadre de Roland Garros.

Un arrêté de la préfecture daté du vendredi 24 mai (pdf) a été repéré par le bot Mastodon « Attrap’Surveillance » de la Quadrature du Net.

Celui-ci prévoit l’autorisation donnée à la RATP de mettre en œuvre l’outil de traitement algorithmique dénommé « Cityvision » développé par la société Wintics entre le 26 mai, 8h et le 10 juin, 8h « à l’occasion du tournoi international de tennis de Roland Garros ».

Les stations concernées sont Boulogne Jean-Jaurès, Porte d’Auteuil, Michel-Ange Molitor, Michel-Ange Auteuil, Porte de Saint-Cloud, Odéon, Franklin Roosevelt, Havre-Caumartin et République.

Un second arrêté autorise la SNCF à connecter 33 caméras des gares de Javel et du Pont de Garigliano au système « Cityvision » de Wintics.

Le dispositif est testé pour détecter les intrusions en zone interdite au public ou sensible, les mouvements de foule dans des zones à risques, les densités anormalement élevées et la présence d’un bagage abandonnée.

Contrairement à la SNCF, qui la mentionne déjà sur sa page consacrée à l’« Expérimentation vidéo augmentée JOP 2024 », la RATP n’a pas encore signalé cette expérimentation sur sa page de Politique générale de confidentialité, ce qu’elle avait pourtant fait pour l’expérimentation lors des concerts de Taylor Swift.

• Vidéosurveillance algorithmique : la Quadrature du Net dépose plainte devant la CNIL

IA plus de moteur

Ces dernières semaines, Google a modifié la page de résultats par défaut de Google Search pour afficher un texte généré par IA plutôt que les résultats de son moteur de recherche. Et, hier, Bing a subi des déboires et ne répondait plus. En cascade, Duckduckgo, Qwant et d’autres restaient aussi en carafe, montrant leur dépendance au moteur de Microsoft.

Mise à jour à 12:00 : modification de l’article sur l’affichage des « extraits optimisés » qui ne sont pas générés par un modèle de langage.

Comme l’avait annoncé Sundar Pichai lors de la conférence I/O, Google a donné les clés de son moteur de recherche à l’IA générative. Comment ? En affichant en premier lieu et par défaut sur sa page de résultats, un texte généré par un de ses grands modèles de langage Gemini, plutôt que la liste des résultats ordonnée par son algorithme PageRank.

Le texte n’apparait pas sur toutes les recherches et doit être affiché, selon la présentation de Google, lorsque la requête n’est pas simplissime. Concrètement, ça dépend.

Reprises de Wikipédia…

Dj@ngo Unch@ined

97 travailleurs Kényans cosignent une lettre ouverte demandant au président des États-Unis, Joe Biden, de mettre fin « aux conditions de travail qui s’apparentent à de l’esclavage moderne » dans l’industrie du numérique.

Alors que le président Kényan William Ruto entame la première visite officielle d’un leader africain aux États-Unis en plus de 15 ans, des travailleurs kényans du secteur du numérique en profitent pour interpeler le président américain.

Ils travaillent tous pour des entreprises états-uniennes comme Facebook, ScaleAI ou OpenAI via des sous-traitants, soit en tant que modérateurs de contenus, soit en étiquetant des données pour l’entrainement des modèles d’intelligence artificielle.

La Maison-Blanche explique dans son communiqué de presse annonçant l’accueil de William Ruto, que « les dirigeants discuteront des moyens de renforcer notre coopération dans des domaines tels que les relations entre les peuples, le commerce et l’investissement, l’innovation technologique, le climat et l’énergie propre, la santé et la sécurité ».

Cette centaine de travailleurs expliquent que ce sont « des questions dans lesquelles notre force de travail est directement et personnellement concernée ».

Exploitation et maltraitance systématique

Dans cette lettre ouverte publiée sur le site de l’ONG britannique Foxglove, qui « lutte pour rendre la technologie équitable pour tous », ils dénoncent le fait que « les grandes entreprises américaines du secteur des technologies maltraitent et exploitent systématiquement les travailleurs africains ».

Ils précisent qu’ « au Kenya, ces entreprises américaines sapent le droit du travail local, le système judiciaire du pays et violent les normes internationales du travail ». « Nos conditions de travail s’apparentent à de l’esclavage moderne » dénoncent-ils.

Il y a un an, certains travailleurs de ce secteur au Kenya ont créé un syndicat, peu de temps après la publication d’une enquête du magazine américain Time qui révélait que les travailleurs kényans ayant entraîné ChatGPT pour qu’il soit plus éthique avaient été payés moins de 2 dollars de l’heure.

Cela fait suite aussi à la plainte d’un groupe de ces travailleurs contre Meta et son sous-traitant Sama.

Pour ces travailleurs, « toute discussion commerciale entre les États-Unis et le Kenya doit tenir compte de ces abus et garantir la protection des droits de tous les travailleurs ».

Demande d’un engagement du gouvernement Biden

Ils demandent donc au gouvernement de Joe Biden de s’engager à travailler avec les employés des grandes entreprises de la Tech au Kenya. Ils réclament que le gouvernement américain veille à ce que les partenariats à venir comprennent des dispositions pour que les entreprises de son pays se conforment aux réglementations internationales du travail et qu’il empêche le démantèlement des syndicats.

Ces travailleurs kényans revendiquent aussi la possibilité que « les entreprises américaines du secteur des grandes technologies puissent être tenues responsables devant les tribunaux américains pour leurs opérations illégales à l’étranger, en particulier en ce qui concerne les droits humains et les violations du droit du travail ».

Enfin, ils demandent à ce que le « respect fondamental de la constitution et de la souveraineté du Kenya » soit au cœur des négociations entre les deux pays.

« Nous ne devrions pas avoir à sacrifier notre santé, notre bien-être et, malheureusement, dans certains cas, notre vie pour les marges bénéficiaires de Big Tech. Nous vous demandons instamment de prendre des mesures et d’examiner attentivement nos demandes dans le cadre de ces discussions et au-delà », concluent-ils.

Observer des meurtres et des viols, pour moins de 2 $ de l’heure

Kauna Malgwi, du comité directeur de l’Union africaine des modérateurs de contenu, a déclaré : « Tout le monde veut voir plus d’emplois au Kenya – mais pas à n’importe quel prix. Tout ce que nous demandons, c’est un travail digne, équitablement rémunéré, sûr et sécurisé. »

« Notre travail consiste à observer des meurtres et des décapitations, des abus et des viols d’enfants, de la pornographie et de la bestialité, souvent plus de 8 heures par jour. Beaucoup d’entre nous font ce travail pour moins de 2 dollars de l’heure.

Ces entreprises ne nous fournissent pas les soins de santé mentale nécessaires pour assurer notre sécurité. En conséquence, beaucoup d’entre nous vivent et travaillent avec le trouble de stress post-traumatique (SSPT). Nous n’avons pas été prévenus des horreurs des travaux avant de commencer. »

Leur lettre ouverte a également été approuvée par le Dr Willy Mutunga, ancien juge en chef du Kenya et éminent défenseur des droits de l’homme, précise l’ONG.

L’ESA a annoncé que l’astronaute française Sophie Adenot fera partie du prochain équipage qui partira vers l’ISS. Lancement prévu en 2026. À ses côtés, l’astronaute belge Raphaël Liégeois.

Pour le directeur général de l’agence spatiale européenne, Josef Aschbacher, « l’affectation de Sophie et Raphaël en tant que prochains astronautes de l’ESA volant vers la Station spatiale internationale marque une étape importante pour l’ESA et sa promotion d’astronautes de 2022. C’est un résultat tangible de notre engagement à maintenir une forte présence européenne dans un contexte international ».

En effet, Sophie Adenot et Raphaël Liégeois font partie de la promotion d’astronautes de l’ESA 2022.

Josef Aschbacher ajoute qu’ « alors que les activités d’exploration se développent à un rythme sans précédent, l’envoi dans l’espace de deux astronautes de l’ESA récemment diplômés constitue une étape cruciale dans la préservation du savoir-faire européen, garantissant la participation à long terme de l’Europe aux programmes en cours tels qu’Artemis, ainsi qu’à tout projet futur impliquant des vols spatiaux habités et l’exploration ».

Sophie Adenot a réagi en se déclarant « honorée et fière de représenter bientôt l’Europe et la France dans l’espace et de contribuer à la recherche scientifique depuis ce laboratoire orbital ».

« Il y aura des défis à relever, des qualifications à passer, des procédures à apprendre. Cela va être intense et j’ai une énergie folle ! », s’est-elle exclamée.

Artificiellement vôtre

Alors que le sommet « Choose France » s’achève et que Vivatech s’ouvre, Emmanuel Macron a affiché une nouvelle fois sa volonté de « faire de la France un leader incontesté de l’IA » et diffuser « l’IA partout et pour tous ». Quitte à contredire les discours du gouvernement sur les écrans et les réductions de budget dans l’enseignement supérieur et la recherche annoncées en début d’année.

Entre les deux événements qui intéressent le milieu de la tech en France et juste avant de décoller pour la Nouvelle-Calédonie, Emmanuel Macron a annoncé vouloir « faire de la France un leader incontesté de l’IA ». Il donne cinq priorités pour y arriver : la formation et la recherche, les infrastructures, le financement, l’usage par tous et la gouvernance.

Recherche et formation

Dans un communiqué publié ce mardi 21 mai, l’Agence spatiale européenne (ESA) indique que la « première tentative de lancement aura lieu au cours des deux premières semaines de juillet 2024 ».

Jusque-là, la période de lancement du vol inaugural s’étalait encore entre le 15 juin et le 31 juillet 2024.

Mi-juin, l’agence prévoit d’avoir fini la qualification du système de lancement. Le 18 juin devrait avoir lieu la répétition générale du lancement à Kourou.

Dans un communiqué rendu public par le journaliste américain Yashar Ali et par le média NPR, Scarlett Johansson explique que Sam Altman l’a contactée en septembre dernier pour lui demander de prêter sa voix à sa nouvelle IA. Elle dit avoir décliné l’offre.

Mais cette réaction n’a pas arrêté le CEO d’OpenAI. Dans les démos de son nouveau modèle de langage, GPT-4o, OpenAI a utilisé une voix (nommée « Sky » par l’entreprise) si proche de celle de Scarlett Johansson qu’une bonne partie de ceux qui les ont vues a immédiatement pensé au film Her : l’actrice y prête sa voix à une IA. Et Sam Altman avait confirmé implicitement son intention de s’en approcher en tweetant un simple « her » suite à la publication des démos.

Scarlett Johansson a réagi en expliquant qu’elle a « été choquée, en colère et stupéfiée que M. Altman recherche une voix si étrangement similaire à la [sienne] que [ses] amis les plus proches et les médias n’ont pas pu faire la différence ».

Selon l’actrice, Sam Altman a insisté de nouveau deux jours avant la sortie de ses démos en contactant son agent pour lui demander de reconsidérer sa décision. Mais « avant même que nous soyons en contact, le système était sorti », explique-t-elle.

L’avocat de Scarlett Johansson a été obligé d’envoyer deux lettres avant qu’OpenAI accepte, « à contrecœur » souligne l’actrice, d’arrêter d’utiliser cette voix.

Dans un communiqué transmis à la NPR, Sam Altman affirme qu’OpenAI a recruté l’actrice derrière la voix de Sky avant de prendre contact avec Scarlett Johansson. « Par respect pour Mme Johansson, nous avons cessé d’utiliser la voix de Sky dans nos produits. Nous sommes désolés pour Mme Johansson de ne pas avoir mieux communiqué », ajoute-t-il.

L’actrice a ajouté un commentaire pointant du doigt cette utilisation alors que la manipulation des voix et photos s’intensifie sur Internet : « à une époque où nous sommes tous aux prises avec les deepfakes et la protection de notre propre image, de notre propre travail, de notre propre identité, je pense que ce sont des questions qui méritent une clarté absolue. J’attends avec impatience une solution via la mise en place d’une transparence et l’adoption d’une législation appropriée pour contribuer à garantir la protection des droits individuels ».

Comme dans le film Her, la voix « Sky » répondait dans les démos d’OpenAI avec un ton de flirt. Dans un sketch Desi Lydic, du Daily Show, s’en est moqué en disant que Sky était « clairement programmée pour nourrir l’ego des mecs » :

This is the best (and funniest!) take I've seen on the whole GPT-4o situation so far https://t.co/4CAJ9e1Vxh

— Sasha Luccioni, PhD (@SashaMTL) May 20, 2024

NDIA

La semaine dernière, des employés d’OpenAI, dont Ilya Sutskever et Jan Leike, ont quitté l’entreprise, laissant l’équipe de « Superalignement » vide. Mais leur message pour annoncer leur départ était laconique. La raison ? OpenAI imposait jusqu’à présent à ses salariés voulant quitter l’entreprise la signature d’un accord de confidentialité (NDA) à vie, au risque de perdre leurs actions.

Les déclarations des démissionnaires d’OpenAI envers leur ancien employeur étaient plus que succinctes. Ilya Sutskever affirmait ainsi être « convaincu qu’OpenAI construira une AGI à la fois sûre et bénéfique ». Étonnement positif pour quelqu’un quittant l’entreprise. Jan Leike a seulement écrit « « j’ai démissionné ».

Vendredi, OpenAI a finalement annoncé la dissolution pure et simple de leur équipe tout en expliquant intégrer les personnes restantes dans ses autres équipes de recherche « afin d’aider l’entreprise à atteindre ses objectifs en matière de sécurité ».

Le média Vox a trouvé une raison au mutisme des employés : l’entreprise leur a simplement fait signer un accord de confidentialité (NDA) qui leur interdit de la critiquer.

Interdiction de critique à vie

L’association a déposé ce vendredi 17 mai un référé-liberté (pdf) demandant la suspension du blocage de TikTok en Nouvelle-Calédonie décidé par le Premier ministre Gabriel Attal.

Elle estime que « le gouvernement porte un coup inédit et particulièrement grave à la liberté d’expression en ligne, que ni le contexte local ni la toxicité de la plateforme ne peuvent justifier dans un État de droit ».

Comme nous l’évoquions, le décret du 15 mai interdisant TikTok sur le territoire de la Nouvelle-Calédonie s’appuie sur la loi du 3 avril 1955 relative à l’état d’urgence. Elle prévoit que le ministre de l’Intérieur puisse « prendre toute mesure pour assurer l’interruption de tout service de communication au public en ligne provoquant à la commission d’actes de terrorisme ou en faisant l’apologie ».

Dans son communiqué, la Quadrature du Net estime que « personne n’est dupe : en réalité, le blocage de TikTok n’est absolument pas justifié par une quelconque présence sur la plateforme de contenus terroristes, mais bien par le fait qu’il s’agit d’une plateforme centrale dans l’expression en ligne des personnes qui en viennent aujourd’hui à se révolter ».

L’association précise dans son référé qu’elle « lutte de manière ancienne et constante contre le modèle incarné notamment par le service de communication au public en ligne “TikTok”, qu’elle considère comme particulièrement nocif à bien des égards, et qui s’oppose aux valeurs qu’elle entend défendre ».

• Blocage de TikTok en Nouvelle-Calédonie : quels sont les enjeux ?

La Ligue des droits de l’Homme a aussi annoncé sur Twitter attaquer « en référé-liberté l’interdiction et le blocage de TikTok sur le territoire de la Nouvelle-Calédonie pour défendre la liberté de communication des idées et des opinions ».

IA très soif

En 2020, l’entreprise de Redmond planifiait une empreinte « carbone négative » à partir de 2030 et même « effacer », d’ici 2050, l’ensemble de son empreinte carbone depuis 1975. Depuis, notamment à cause de ses investissements dans l’IA, Microsoft a de fait augmenté ses émissions de CO2 de 29 %.

C’est dans le rapport sur le développement durable 2024 de Microsoft (pdf) que le chiffre de l’augmentation de 29,1 % des émissions de CO2 de l’entreprise entre 2020 et 2023 se cache parmi de nombreuses photos de champignons, d’arbres, de roches, d’éoliennes et de panneaux solaires.

• D’ici 2050, Microsoft veut « effacer » l’ensemble de son empreinte carbone depuis 1975

La construction de data centers pour l’IA en cause

S’il est répété trois fois dans le rapport, ce chiffre n’est pas mis en exergue du rapport, contrairement aux « 5 millions de tonnes de carbone éliminées pendant l’année 2023 », par exemple. Il a pourtant été repéré par Bloomberg.

Dans son rapport, Microsoft ne fait pas non plus le décompte total de ses émissions de CO2. En parcourant le rapport, The Verge calcule que « l’entreprise a rejeté 15,357 millions de tonnes de dioxyde de carbone au cours de l’exercice fiscal précédent, ce qui est comparable aux émissions d’Haïti ou de Brunei ».

L’entreprise divise ses émissions entre trois catégories de « scopes ». Le Scope 1 désigne les émissions « directes » créées par les activités internes à l’entreprise. Le Scope 2 vise les émissions « indirectes » venant de l’électricité ou du chauffage que Microsoft utilise. Et la troisième représente les émissions « indirectes » venant de toutes les autres activités « dans lesquelles nous sommes engagés », explique l’entreprise dans son rapport.

Si cette catégorisation reste assez vague, on peut voir sur le schéma ci-dessous, tiré du rapport, que ce sont les activités du Scope 3 qui représentent la plupart des émissions de CO2 de Microsoft. Pour l’année 2023, elles en représentent même 96 %.

Donc même si Microsoft explique que les émissions des catégories des scope 1 et 2 ont diminué de 6 % depuis 2020, ces efforts n’ont que peu de poids dans le bilan de l’entreprise.

D’autant que les activités du scope 3 ont augmenté, elles, de 30,9 %. Celles-ci englobent, entre autres, l’énergie de sa chaine d’approvisionnement, et les matériaux de constructions et notamment ceux de ses data centers.

Et la bascule effectuée par Microsoft vers la mise en place de plus en plus importante de l’intelligence artificielle l’a poussée à créer d’autant plus de data centers ces dernières années.

Un objectif cinq fois plus loin qu’en 2020

Interrogé par le média américain, le président de Microsoft, Brad Smith, explique qu’ « en 2020, nous avons dévoilé ce que nous avons appelé notre “carbon moonshot” [objectif carbone dont l’ambition est comparable à celle d’un lancement vers la lune]. C’était avant l’explosion de l’intelligence artificielle ».

Si, dans son rapport, l’entreprise insiste sur son utilisation de l’IA pour « accélérer les solutions de développement durable », Brad Smith est bien obligé d’ajouter qu’ « à bien des égards, la lune est cinq fois plus éloignée qu’elle ne l’était en 2020, si l’on pense seulement à nos propres prévisions concernant l’expansion de l’intelligence artificielle et ses besoins en électricité ».

• Usages et frugalité : quelle place pour les IA dans la société de demain ?
• Mesurer l’empreinte environnementale du numérique, un vrai casse-tête

De plus, comme l’explique le Financial Times, cette concurrence sur la création d’infrastructures de data centers pour l’IA soulève des questions sur la capacité des réseaux énergétiques nationaux à faire face à la hausse attendue de la demande d’électricité. Le média économique américain se demande également si la production d’énergies renouvelables est suffisante sur ces marchés pour répondre aux besoins de l’IA.

Les agences spatiales européenne et américaine ont annoncé avoir signé un nouvel accord de collaboration à propos du rover Rosalind Franklin qui doit finalement être lancé en 2028 pour arpenter la surface de Mars.

• ExoMars 2020 : l’ESA baptise son rover Rosalind Franklin

Le lancement du rover a été reporté plusieurs fois, d’abord en 2011 avec l’abandon du partenariat par la NASA, puis en raison de problèmes de parachutes et de la pandémie de Covid-19.

En 2022, l’invasion de l’Ukraine par la Russie a mis fin à la collaboration qu’avait signé l’ESA avec l’agence spatiale russe Roscosmos en 2012. Quelques semaines auparavant, Pietro Baglioni, chef de l’équipe chargée du rover ExoMars, lachait : « Le rover est prêt ».

En novembre 2022, la NASA avait donné un avis favorable à la reprise de la collaboration, sans pour autant que celui-ci soit formel. C’est désormais chose faite.

Récemment, nous avions appris que Thales Alenia Space sera responsable de la conception d’une bonne partie du rover : module de rentrée, descente et atterrissage EDLM, du développement de l’altimètre-radar, de l’intégration de l’ALD (Analytical Laboratory Drawer) sur le rover, et du développement de l’ordinateur de bord.

L’entreprise sera aussi responsable de son assemblage, de la partie intégration et test (AIT), et de la supervision de la campagne de lancement.

Who will watch the superintelligence?

OpenAI a subi mercredi 15 mai les départs de deux de ses chercheurs qui dirigeaient son équipe nommée « Superalignment » : Ilya Sutskever et Jan Leike. Ceux-ci travaillaient au sein d’OpenAI sur des travaux de recherche en vue de maitriser l’avènement d’une potentielle IA générale que toute l’équipe dirigeante de l’entreprise affiche comme imminente.

Mise à jour du 22 mai à 8h50 : ajout de la partie « Un accès aux capacités de calculs moins important que promis » suite à la publication de l’article de Fortune.

Article initialement publié le 16 mai à 11h10 :

Sam Altman a publié un billet de blog pour annoncer la nouvelle : « Ilya et OpenAI vont se séparer. C’est très triste pour moi ; Ilya est sans aucun doute l’un des plus grands esprits de notre génération, un phare dans ce domaine et un ami cher. Son génie et sa vision sont bien connus. Sa chaleur et sa compassion sont moins connues, mais non moins importantes ».

Ilya Sutskever est co-fondateur d’OpenAI et était depuis le début son responsable scientifique.

Jan Leike, un autre membre de l’équipe de recherche d’OpenAI, a annoncé en parallèle son départ d’un bref « j’ai démissionné » sur Twitter. Tous les deux étaient à la tête de l’équipe « Superalignment » d’OpenAI.

La persuasion d’un avènement proche de l’intelligence artificielle générale

Persuadés que l’intelligence artificielle générale (AGI) est proche, ils ont monté cette équipe au sein de l’entreprise il y a un peu moins d’un an dans le but de trouver des solutions « pour piloter et contrôler des systèmes d’IA beaucoup plus intelligents que nous ».

• AGI, GPAI, modèles de fondation… de quoi on parle ?

Sans aucune pincette ni fondement scientifique, cette équipe affirmait que « la superintelligence sera la technologie la plus importante que l’humanité ait jamais inventée et pourrait nous aider à résoudre bon nombre des problèmes les plus importants du monde ».

« Mais l’immense pouvoir de la superintelligence pourrait aussi être très dangereux et conduire à la déresponsabilisation de l’humanité, voire à son extinction », expliquaient-ils, ce qui justifiait la création d’une telle équipe au sein de l’entreprise leader de l’IA générative.

Dans son tweet annonçant son départ, Ilya Sutskever ré-affirme être « convaincu qu’OpenAI construira une AGI à la fois sûre et bénéfique ».

Pourtant, Ilya Sutskever fait partie des membres du Conseil d’administration qui avaient voté pour le départ de Sam Altman au début de la semaine de folie de novembre dernier pendant laquelle le CEO d’OpenAI a été limogé puis réintégré, après un passage éclair chez Microsoft.

Il avait ensuite regretté sa participation « aux actions du conseil d’administration ». Comme l’expliquait à l’époque The Atlantic, les tensions au sein d’OpenAI étaient dues, en partie, à cause d’une divergence profonde : « alors qu’Altman et Greg Brockman [qui a suivi Sam Saltman dans ses allers-retours, ndlr], président d’OpenAI, encourageaient une commercialisation accrue, le responsable scientifique de l’entreprise, Ilya Sutskever, s’inquiétait de plus en plus de savoir si OpenAI respectait la mission de l’association à but non lucratif qui consistait à créer des IAG bénéfiques ».

À la réintégration de Sam Altman, Ilya Sutskever a quitté le conseil d’administration tout en restant à son poste de responsable scientifique.

Dans son billet, Sam Altman annonce qu’Ilya Sutskever sera remplacé par Jakub Pachocki, qui était jusque-là responsable de l’équipe de recherche de l’entreprise sur l’optimisation du deep learning et de l’apprentissage par renforcement à grande échelle.

De son côté, Jan Leike devrait être remplacé par John Schulman qui était responsable de l’équipe qui travaille sur l’apprentissage par renforcement.

Depuis le début de l’année, Daniel Kokotajlo, William Saunders, Leopold Aschenbrenner et Pavel Izmailov, d’autres membres (ou ex-membres) de l’équipe « Superalignment » ont, eux aussi, quitté le navire. Dans le cas des deux derniers, il s’agit d’un licenciement suite à des fuites d’informations.

Si John Schulman doit prendre la tête de cette équipe de plus en plus vide, il n’est pas sûr que Jakub Pachocki reprenne aussi cette responsabilité.

Peu de résultats de recherche

À la création de l’équipe « Superalignment » en juillet 2023, celle-ci se donnait quatre ans pour résoudre le « problème » du manque de moyens « pour piloter et contrôler des systèmes d’IA beaucoup plus intelligents que nous ».

L’équipe a, en un an et depuis sa création, mis en ligne un seul article dans laquelle elle se pose la question « Peut-on utiliser un modèle plus petit (moins performant) pour superviser un modèle plus grand (plus performant) ? ». Elle y expliquait que « lorsque nous supervisons GPT-4 avec un modèle de niveau GPT-2 en utilisant cette méthode pour des tâches de Traitement automatique du langage naturel, le modèle résultant a généralement des performances comprises entre GPT-3 et GPT-3.5 ». Les chercheurs de l’équipe concluaient néanmoins qu’ « il existe encore d’importantes disparités entre notre configuration empirique actuelle et le problème ultime de l’alignement des modèles surhumains ».

Il reste trois ans à leurs remplaçants pour atteindre le but que s’était fixé l’équipe, si la volonté est encore là de pousser la recherche de l’entreprise dans ce sens.

Car ces départs montrent que ceux qui affichaient les positions les plus effrayées face à l’arrivée prochaine d’une intelligence artificielle générale n’ont plus un poids significatif au sein d’OpenAI.

Un accès aux capacités de calculs moins important que promis

Dans son article de présentation de l’équipe « Superalignment », OpenAI promettait de dédier 20 % de ses capacités de calcul pour « résoudre ce problème ». Mais, selon une demi-douzaine de sources de Fortune, l’entreprise n’a jamais donné ces moyens à l’équipe.

Celle-ci aurait au contraire dû batailler pour avoir accès aux GPU d’OpenAI et ne se serait jamais approchée des 20 %, la direction de l’entreprise refusant plusieurs fois ses demandes.

Selon une source du média américain, le calcul des 20 % n’aurait jamais été clair. Celle-ci explique même à Fortune qu’elle ne savait pas si cela correspondait à « 20 % par an pendant quatre ans » ou « 5 % par an sur quatre ans ». Remarquons que cette deuxième option est une étrange manière de calculer un pourcentage. Cette personne évoque même la possibilité que ce pourcentage aurait pu signifier une répartition en « 1 % ou 2 % pour les trois premières années et le reste de l’engagement pour la dernière année ». La direction aurait aussi rejeté régulièrement les demandes occasionnelles d’augmentation de capacités de calculs.

Selon l’article de Fortune, ces refus réguliers d’accès aux GPU auraient bridé l’équipe et expliqueraient son peu de résultats.

Les difficultés de l’équipe pour accéder aux machines se seraient accentuées suite à la semaine de folie où Sam Altman avait été licencié puis réintégré. Certaines sources de Fortune assurent que, suite à cet épisode, Ilya Sutskever n’avait plus accès aux travaux de l’équipe et ne jouait plus aucun rôle de direction.

La pile de données

Après la signature du contrat avec OpenAI permettant à l’entreprise d’entrainer ses grands modèles de langage sur les contenus publiés sur son site, Stack Overflow fait face à des utilisateurs mécontents qui ont essayé de supprimer leurs anciens posts. Le site a bloqué toutes les possibilités de retirer le contenu qu’il héberge.

En début de semaine dernière, Stack Overflow a annoncé la signature d’un contrat avec OpenAI. Mais depuis et comme l’a repéré The Verge, une partie de la communauté du site est en colère, certains utilisateurs s’opposent à ce que les questions et réponses qu’ils ont rédigées pendant des années soient vendues et utilisées pour alimenter l’entrainement des modèles d’OpenAI.

• Stack Overflow signe avec OpenAI

Ainsi, comme il l’explique sur son compte Mastodon, l’utilisateur benui a essayé en début de semaine dernière de supprimer ses réponses les mieux notées. Mais il s’est rendu compte que ce n’était pas possible, car Stack Overflow ne permet pas de supprimer des réponses acceptées considérant qu’elles participent à la connaissance bâtie par la communauté de ses utilisateurs.

Benui a finalement décidé de modifier ses réponses en les remplaçant par un message critiquant l’accord avec OpenAI. Mais il explique qu’une heure après, des modérateurs avaient remis la réponse initiale et suspendu son compte pour 7 jours.

Questions et réponses sous licence Creative Commons BY-SA

Depuis, d’autres utilisateurs ont aussi témoigné de cette impossibilité de manifester son refus de l’utilisation de son contenu dans le cadre de l’accord entre Stack Overflow et OpenAI.

Les conditions générales du site expliquent que « vous ne pouvez pas révoquer l’autorisation donnée à Stack Overflow de publier, distribuer, stocker et utiliser ce contenu et de permettre à d’autres personnes d’avoir des droits dérivés pour publier, distribuer, stocker et utiliser ce contenu ».

Le site impose aussi à tous ses utilisateurs de la licence Creative Commons 4.0 BY-SA qui est la licence la plus permissive. Cette licence, utilisée aussi par Wikipédia, permet à n’importe qui, dans n’importe quel but, même commercial, de réutiliser le contenu.

Rappelons aussi qu’il existe déjà depuis quelques années un outil permettant de télécharger l’intégralité de Stack Overflow. Ce projet a été mis en place en collaboration avec le français Kiwix et récupère (« scrap ») les questions/réponses du site pour créer des versions « hors ligne ».

Même sans les accords commerciaux de Stack Overflow, des entreprises peuvent se servir d’une version hors ligne comportant toutes les questions/réponses en licence Creative Commons BY-SA pour entrainer leurs modèles.

Des utilisateurs qui se sentent trahis

Mais Christian Hujer, utilisateur du site, explique sous l’annonce de Stack Overflow que le problème pour lui va au-delà des aspects légaux : « je me sens bafoué, trompé, trahi et exploité ». Lui aussi ajoute qu’il va supprimer son compte, même s’il sait que ses questions et réponses ne seront pas supprimées avec.

Cette fronde des utilisateurs de Stack Overflow n’est pas sans rappeler celle qu’a connue Reddit l’année dernière contre le passage de son API en payant. Le réseau social a finalement réussi à « normaliser » la situation après des mois de remous au sein de sa communauté. On ne sait pas si le mouvement de protestation de la communauté de Stack Overflow va suivre cette voie et à quelle vitesse, mais ce genre d’accords risque de freiner les utilisateurs à participer à la vie de plateformes de ce genre.