Siri, take two

Pour présenter les nouveautés Apple Intelligence et Siri, Apple a rejoué la partition de la WWDC 2024. Deux ans après des débuts laborieux, le constructeur promet enfin de livrer l’assistant intelligent qu’il avait alors promis.

On efface tout, et on recommence. Il y a deux ans, Apple avait présenté sa « vision » de l’intelligence artificielle « pour le reste du monde ». Comprendre : une IA qui sert au quotidien pour faciliter la vie des utilisateurs, loin des discours exaltés des grands acteurs de l’IA. Malheureusement, les premiers pas d’Apple Intelligence n’ont guère été encourageants, sans compter la crise ouverte autour de Siri.

Siri AI arrive… mais pas pour tout le monde

En dehors des optimisations plutôt bienvenues pour ses systèmes d’exploitation en « 27 », Apple a donc levé le voile sur une batterie de nouveautés liées à sa plateforme d’IA… qui ressemblent furieusement à celles de 2024. Mais cette fois, grâce aux modèles de langage de Google, ça va aller beaucoup mieux… surtout du côté de Siri, où les promesses devraient finalement être tenues, du moins le constructeur l’espère.

Apple n’a cette fois pas joué au plus malin. Les démonstrations vues durant la keynote n’ont pas été coupées au montage : les temps de réflexion de Siri ont semblé bien réels, et plutôt longs. Bien sûr, il faudra voir sur pièce, ce qui ne risque pas d’arriver tout de suite ; les développeurs pourront tester immédiatement « Siri AI » (c’est le nouveau nom de l’assistant) via la première bêta d’iOS 27, iPadOS 27, macOS 27 et visionOS 27. Mais c’est sur liste d’attente.

Les utilisateurs attendront « plus tard dans l’année » de mettre les mains sur Siri AI, qui leur sera proposé en bêta. Est-ce à dire que le nouvel assistant ne sera pas disponible dès l’automne, en même temps que les versions finales des OS ? Par ailleurs, seul l’anglais sera pris en compte. D’autres langues suivront.

Pire encore, les utilisateurs européens d’iOS et d’iPadOS seront privés de Siri AI, le temps que le constructeur accorde ses violons avec l’Union européenne. « Apple œuvre sans relâche pour trouver une voie permettant de préserver la vie privée et la sécurité de ses utilisateurs », précise l’entreprise qui s’est même fendue d’un communiqué contre le DMA fourré à la rage froide. macOS 27 Golden Gate et watchOS 27 ne sont pas concernés par le règlement sur les marchés numériques.

Siri AI nécessite aussi une certaine puissance. Apple annonce une compatibilité à partir de l’iPhone 15 Pro et de l’iPhone 16e ; il faudra au minimum un iPad mini (A17 Pro), un iPad Air ou un iPad Pro M1 ; un Mac avec puce M1 ou plus ; une Apple Watch Series 10, une Ultra 2 ou une Apple Watch SE (3e génération).

Les mêmes promesses qu’en 2024

Ceci étant dit, à quoi ressemble ce nouveau Siri ? Apple le présente comme « plus utile, plus compétent et plus intelligent ». Il gagne en capacités conversationnelles, il peut aussi répondre à des questions relatives au contenu affiché à l’écran et piocher dans les données de l’utilisateur (photos, emails, messages…) pour comprendre le « contexte personnel ». Il sait enfin fureter sur le web pour répondre de la manière la plus pertinente possible.

Les exemples donnés par Apple sont convaincants, sur le papier. On peut ainsi demander à Siri les détails d’un concert à venir, obtenir des informations à son sujet (où acheter des tickets ?), créer un rappel pour l’ouverture de la billetterie, puis finalement écouter la nouvelle chanson du groupe. Tout cela dans une fenêtre qui se déroule depuis la Dynamic Island de l’iPhone. Et il est possible d’en discuter avec l’assistant.

L’« intelligence visuelle » est une des rares fonctions d’Apple Intelligence qui a su trouver son public rapidement : avec un iPhone compatible, des informations peuvent être obtenues à partir d’une photo (ChatGPT peut également être autorisé à scruter l’image). Apple l’étend franchement dans l’app Appareil photo avec un nouveau mode Siri qui sait par exemple afficher des infos nutritionnelles sur un plat ou diviser une addition entre amis avec Apple Cash (toujours pas dispo en France hélas).

Sur iPad et sur Mac, Siri AI vit maintenant dans Spotlight, il fait même partie des menus contextuels des systèmes (control + clic sur un fichier, une photo…). L’assistant est également présent sur Apple Watch, CarPlay et les AirPods. Une application dédiée à Siri complète le dispositif, afin de remettre la main sur une conversation passée, ou pour en entamer une nouvelle. L’intelligence visuelle fait son apparition sur ces deux plateformes : sur Mac, en passant par un raccourci clavier permettant d’entourer un objet ; sur iPad, via une capture d’écran.

Les outils d’aide à l’écriture sont toujours bien en place, ils s’améliorent en intégrant Siri qui peut rédiger un brouillon de texte au complet. Mieux encore (ou peut-être pas ?), l’assistant « comprend » le style d’écriture employé en fonction des correspondants : plus professionnel avec le boss, plus cool avec les amis. Les textes générés par Siri peuvent s’y adapter – ne pas oublier de relire, quand même.

Le constructeur a truffé ses apps de fonctions étiquetées « Apple Intelligence ». Impossible de toutes les énumérer ici, mais relevons :

• Spatial Reframing, qui va recomposer une photo en exploitant les données de profondeur et en générant les contenus manquants ;
• l’organisation des onglets par rubriques pertinentes et une fonction de création d’extension web dans Safari ;
• le changement automatique de mots par passe par lot, en cas de mots de passe faibles ou compromis ;
• la construction d’une automatisation dans l’app Raccourcis via une requête texte ;
• la recherche d’un événement dans une vidéo enregistrée par l’app Maison…

Pour bénéficier de ces fonctionnalités Apple Intelligence, les configurations minimales sont l’iPhone 15 Pro et l’iPhone 16, l’iPad mini (A17 Pro), iPad M1, MacBook Neo (A18 Pro), ou une Apple Watch Series 10, Ultra 2 ou SE (3e génération) pour peu que ces modèles de montres soient connectés à un iPhone compatible Apple Intelligence.

Il faudra cependant posséder une configuration musclée pour bénéficier du modèle IA embarqué le plus avancé, autrement dit un appareil équipé de 12 Go de mémoire. Cela comprend les iPhone 17 Pro ou iPhone Air (mais pas l’iPhone 17 qui se contente de 8 Go), un iPad avec puce M4 ou un Mac avec une puce M3 avec au moins cette enveloppe de mémoire, ou un Vision Pro M5. Les bienheureux propriétaires de ces terminaux auront droit à une voix plus expressive de Siri AI, la personnalisation et le débit de cette même voix, ainsi qu’une plus grande précision de la dictée partout dans le système.

Apple précise qu’il faudra posséder un abonnement iCloud+ payant pour obtenir un accès accru à certaines fonctions, comme la génération d’images dans l’app Image Playground.

Gemini sous le capot d’Apple Intelligence

Toutes ces nouveautés (et ces fonctions promises il y a deux ans) sont le résultat d’un travail de fond sur les Foundation Models d’Apple, dont l’architecture repose sur les modèles Gemini. Certaines fonctions tournent en local, d’autres sur des serveurs avec le système Private Cloud Compute. Ce dernier remonte à 2024 et au lancement d’Apple Intelligence (Google s’en est d’ailleurs inspiré pour son propre Private AI Compute).

• Apple détaille la sécurité de son architecture IA et veut séduire les chercheurs

L’idée générale est de protéger les données des utilisateurs qui transitent par ces serveurs ; elles ne sont « jamais stockées ni communiquées » à Apple ou à quiconque. Durant un « tech talk » inédit après la keynote, Craig Federighi, le grand manitou du logiciel chez le constructeur californien, a affirmé qu’Apple Intelligence n’utilise ni Google Assistant, ni l’app Gemini, ni la recherche Google. La collaboration avec Google porte uniquement sur certains modèles d’IA utilisés par Apple, intégrés dans son propre système et exécutés sur son infrastructure.

Un composant central, le System Orchestrator, analyse les requêtes et décide quelles ressources utiliser : applications, données personnelles indexées par Spotlight, contexte affiché à l’écran, etc. De nombreuses tâches sont traitées directement sur l’appareil, grâce à des modèles locaux (compréhension vocale, synthèse de la voix, analyse d’images et de texte). Les demandes plus complexes sont envoyées vers le nuage du Private Cloud Compute.

Les nouveaux modèles Apple Foundation Models (AFM) de troisième génération sont le fruit d’un partenariat avec Google. Les modèles AFM Core, Core Advanced, Cloud et Cloud Image sont des modèles Apple entraînés avec des données propriétaires et affinés à partir des modèles Gemini les plus avancés. Le modèle le plus puissant, AFM Cloud Pro, affiche selon Apple un niveau de qualité comparable aux modèles Gemini les plus avancés. Des GPU NVIDIA hébergés dans le cloud de Google sont utilisés pour l’inférence d’AFM Cloud Pro.

Enfin, quand une requête nécessite des informations d’actualité ou des connaissances générales, Apple s’appuie sur son propre service World Knowledge Service, pas sur la recherche Google.

Est-ce que c’est la bonne cette fois pour Siri et Apple Intelligence ? Impossible à dire pour l’instant, et puis les utilisateurs européens vont devoir prendre leur mal en patience. C’est cependant la dernière chance pour Apple de revenir dans le peloton de tête dans la course à l’IA avec son architecture maison.

Siri, take two

Pour présenter les nouveautés Apple Intelligence et Siri, Apple a rejoué la partition de la WWDC 2024. Deux ans après des débuts laborieux, le constructeur promet enfin de livrer l’assistant intelligent qu’il avait alors promis.

On efface tout, et on recommence. Il y a deux ans, Apple avait présenté sa « vision » de l’intelligence artificielle « pour le reste du monde ». Comprendre : une IA qui sert au quotidien pour faciliter la vie des utilisateurs, loin des discours exaltés des grands acteurs de l’IA. Malheureusement, les premiers pas d’Apple Intelligence n’ont guère été encourageants, sans compter la crise ouverte autour de Siri.

Siri AI arrive… mais pas pour tout le monde

En dehors des optimisations plutôt bienvenues pour ses systèmes d’exploitation en « 27 », Apple a donc levé le voile sur une batterie de nouveautés liées à sa plateforme d’IA… qui ressemblent furieusement à celles de 2024. Mais cette fois, grâce aux modèles de langage de Google, ça va aller beaucoup mieux… surtout du côté de Siri, où les promesses devraient finalement être tenues, du moins le constructeur l’espère.

Apple n’a cette fois pas joué au plus malin. Les démonstrations vues durant la keynote n’ont pas été coupées au montage : les temps de réflexion de Siri ont semblé bien réels, et plutôt longs. Bien sûr, il faudra voir sur pièce, ce qui ne risque pas d’arriver tout de suite ; les développeurs pourront tester immédiatement « Siri AI » (c’est le nouveau nom de l’assistant) via la première bêta d’iOS 27, iPadOS 27, macOS 27 et visionOS 27. Mais c’est sur liste d’attente.

Les utilisateurs attendront « plus tard dans l’année » de mettre les mains sur Siri AI, qui leur sera proposé en bêta. Est-ce à dire que le nouvel assistant ne sera pas disponible dès l’automne, en même temps que les versions finales des OS ? Par ailleurs, seul l’anglais sera pris en compte. D’autres langues suivront.

Pire encore, les utilisateurs européens d’iOS et d’iPadOS seront privés de Siri AI, le temps que le constructeur accorde ses violons avec l’Union européenne. « Apple œuvre sans relâche pour trouver une voie permettant de préserver la vie privée et la sécurité de ses utilisateurs », précise l’entreprise qui s’est même fendue d’un communiqué contre le DMA fourré à la rage froide. macOS 27 Golden Gate et watchOS 27 ne sont pas concernés par le règlement sur les marchés numériques.

Siri AI nécessite aussi une certaine puissance. Apple annonce une compatibilité à partir de l’iPhone 15 Pro et de l’iPhone 16e ; il faudra au minimum un iPad mini (A17 Pro), un iPad Air ou un iPad Pro M1 ; un Mac avec puce M1 ou plus ; une Apple Watch Series 10, une Ultra 2 ou une Apple Watch SE (3e génération).

Les mêmes promesses qu’en 2024

Ceci étant dit, à quoi ressemble ce nouveau Siri ? Apple le présente comme « plus utile, plus compétent et plus intelligent ». Il gagne en capacités conversationnelles, il peut aussi répondre à des questions relatives au contenu affiché à l’écran et piocher dans les données de l’utilisateur (photos, emails, messages…) pour comprendre le « contexte personnel ». Il sait enfin fureter sur le web pour répondre de la manière la plus pertinente possible.

Les exemples donnés par Apple sont convaincants, sur le papier. On peut ainsi demander à Siri les détails d’un concert à venir, obtenir des informations à son sujet (où acheter des tickets ?), créer un rappel pour l’ouverture de la billetterie, puis finalement écouter la nouvelle chanson du groupe. Tout cela dans une fenêtre qui se déroule depuis la Dynamic Island de l’iPhone. Et il est possible d’en discuter avec l’assistant.

L’« intelligence visuelle » est une des rares fonctions d’Apple Intelligence qui a su trouver son public rapidement : avec un iPhone compatible, des informations peuvent être obtenues à partir d’une photo (ChatGPT peut également être autorisé à scruter l’image). Apple l’étend franchement dans l’app Appareil photo avec un nouveau mode Siri qui sait par exemple afficher des infos nutritionnelles sur un plat ou diviser une addition entre amis avec Apple Cash (toujours pas dispo en France hélas).

Sur iPad et sur Mac, Siri AI vit maintenant dans Spotlight, il fait même partie des menus contextuels des systèmes (control + clic sur un fichier, une photo…). L’assistant est également présent sur Apple Watch, CarPlay et les AirPods. Une application dédiée à Siri complète le dispositif, afin de remettre la main sur une conversation passée, ou pour en entamer une nouvelle. L’intelligence visuelle fait son apparition sur ces deux plateformes : sur Mac, en passant par un raccourci clavier permettant d’entourer un objet ; sur iPad, via une capture d’écran.

Les outils d’aide à l’écriture sont toujours bien en place, ils s’améliorent en intégrant Siri qui peut rédiger un brouillon de texte au complet. Mieux encore (ou peut-être pas ?), l’assistant « comprend » le style d’écriture employé en fonction des correspondants : plus professionnel avec le boss, plus cool avec les amis. Les textes générés par Siri peuvent s’y adapter – ne pas oublier de relire, quand même.

Le constructeur a truffé ses apps de fonctions étiquetées « Apple Intelligence ». Impossible de toutes les énumérer ici, mais relevons :

• Spatial Reframing, qui va recomposer une photo en exploitant les données de profondeur et en générant les contenus manquants ;
• l’organisation des onglets par rubriques pertinentes et une fonction de création d’extension web dans Safari ;
• le changement automatique de mots par passe par lot, en cas de mots de passe faibles ou compromis ;
• la construction d’une automatisation dans l’app Raccourcis via une requête texte ;
• la recherche d’un événement dans une vidéo enregistrée par l’app Maison…

Pour bénéficier de ces fonctionnalités Apple Intelligence, les configurations minimales sont l’iPhone 15 Pro et l’iPhone 16, l’iPad mini (A17 Pro), iPad M1, MacBook Neo (A18 Pro), ou une Apple Watch Series 10, Ultra 2 ou SE (3e génération) pour peu que ces modèles de montres soient connectés à un iPhone compatible Apple Intelligence.

Il faudra cependant posséder une configuration musclée pour bénéficier du modèle IA embarqué le plus avancé, autrement dit un appareil équipé de 12 Go de mémoire. Cela comprend les iPhone 17 Pro ou iPhone Air (mais pas l’iPhone 17 qui se contente de 8 Go), un iPad avec puce M4 ou un Mac avec une puce M3 avec au moins cette enveloppe de mémoire, ou un Vision Pro M5. Les bienheureux propriétaires de ces terminaux auront droit à une voix plus expressive de Siri AI, la personnalisation et le débit de cette même voix, ainsi qu’une plus grande précision de la dictée partout dans le système.

Apple précise qu’il faudra posséder un abonnement iCloud+ payant pour obtenir un accès accru à certaines fonctions, comme la génération d’images dans l’app Image Playground.

Gemini sous le capot d’Apple Intelligence

Toutes ces nouveautés (et ces fonctions promises il y a deux ans) sont le résultat d’un travail de fond sur les Foundation Models d’Apple, dont l’architecture repose sur les modèles Gemini. Certaines fonctions tournent en local, d’autres sur des serveurs avec le système Private Cloud Compute. Ce dernier remonte à 2024 et au lancement d’Apple Intelligence (Google s’en est d’ailleurs inspiré pour son propre Private AI Compute).

• Apple détaille la sécurité de son architecture IA et veut séduire les chercheurs

L’idée générale est de protéger les données des utilisateurs qui transitent par ces serveurs ; elles ne sont « jamais stockées ni communiquées » à Apple ou à quiconque. Durant un « tech talk » inédit après la keynote, Craig Federighi, le grand manitou du logiciel chez le constructeur californien, a affirmé qu’Apple Intelligence n’utilise ni Google Assistant, ni l’app Gemini, ni la recherche Google. La collaboration avec Google porte uniquement sur certains modèles d’IA utilisés par Apple, intégrés dans son propre système et exécutés sur son infrastructure.

Un composant central, le System Orchestrator, analyse les requêtes et décide quelles ressources utiliser : applications, données personnelles indexées par Spotlight, contexte affiché à l’écran, etc. De nombreuses tâches sont traitées directement sur l’appareil, grâce à des modèles locaux (compréhension vocale, synthèse de la voix, analyse d’images et de texte). Les demandes plus complexes sont envoyées vers le nuage du Private Cloud Compute.

Les nouveaux modèles Apple Foundation Models (AFM) de troisième génération sont le fruit d’un partenariat avec Google. Les modèles AFM Core, Core Advanced, Cloud et Cloud Image sont des modèles Apple entraînés avec des données propriétaires et affinés à partir des modèles Gemini les plus avancés. Le modèle le plus puissant, AFM Cloud Pro, affiche selon Apple un niveau de qualité comparable aux modèles Gemini les plus avancés. Des GPU NVIDIA hébergés dans le cloud de Google sont utilisés pour l’inférence d’AFM Cloud Pro.

Enfin, quand une requête nécessite des informations d’actualité ou des connaissances générales, Apple s’appuie sur son propre service World Knowledge Service, pas sur la recherche Google.

Est-ce que c’est la bonne cette fois pour Siri et Apple Intelligence ? Impossible à dire pour l’instant, et puis les utilisateurs européens vont devoir prendre leur mal en patience. C’est cependant la dernière chance pour Apple de revenir dans le peloton de tête dans la course à l’IA avec son architecture maison.

En avril dernier, Canonical a fait part de ses ambitions concernant l’intelligence artificielle dans Ubuntu. Comme signalé notamment par XDA Developers, cette annonce a provoqué des inquiétudes. Jon Seager, vice-président de l’ingénierie chez Canonical, a détaillé la position de l’entreprise fin mai lors du dernier Ubuntu Summit.

La thématique centrale est la compatibilité de l’open source en général avec l’intelligence artificielle, en particulier les modèles. Pour Seager, connaitre les poids est une chose, mais c’est peu en comparaison du niveau de transparence auquel le monde du libre est habitué. L’accent de Canonical est donc mis à la fois sur le type de fonctions que l’IA pourrait amener ou faciliter dans le système, autant que sur la licence qui accompagne le modèle retenu.

Mais quelles fonctions ? Bien que Canonical emploie les éléments de langage courants du secteur, évoquant par exemple l’idée de faire d’Ubuntu un « système agentique », les prétentions de l’éditeur semblent pour l’instant modestes et axées sur l’accessibilité.

Jon Seager a expliqué en effet que le premier cas identifié d’utilisation concrète était la reconnaissance vocale pour interagir avec les champs texte, rapporte OMGUbuntu. Cet apport est prévu pour Ubuntu 26.10, comme toujours si les tests donnent satisfaction dans les temps. L’ingénieur doute que cette méthode puisse être appliquée à l’intégralité des champs, mais la fonction devrait pouvoir s’appliquer à une majorité d’entre eux, avec les bénéfices qu’on imagine en matière d’accessibilité.

La volonté de Canonical semble être de poser les bases pour faciliter l’utilisation des agents dans son système, tout en ajoutant des cas d’usage au compte-gouttes. Cette reconnaissance vocale sera assurée par un LLM local, selon l’éditeur, mais aucune précision n’a été donnée. Le responsable a donné deux autres exemples de fonctions « implicites » : l’amélioration de l’autofocus pour la webcam et de la qualité du son pour le microphone, là encore en local.

Autre point important, ces fonctions seront basées sur un paquet Snap qu’il suffira de supprimer si on ne souhaite pas cette fonction. Canonical n’aborde pas ce point, mais il serait intéressant que l’installeur d’Ubuntu pose la question, car un modèle local consomme souvent plusieurs Go et peut donc alourdir l’empreinte de stockage. Un panneau avec des cases à cocher pour chaque service de type IA serait bienvenu.

Le gouvernement américain voudrait sa part du gâteau du boom de l’IA générative. L’administration Trump envisagerait d’investir au capital des principales entreprises du secteur. Sam Altman milite depuis longtemps pour une telle initiative.

L’administration Trump n’hésite pas à investir directement dans les entreprises américaines. On l’a ainsi vu acquérir 9,9 % du capital d’Intel. Et demain, elle pourrait s’octroyer une part au capital des principaux labos IA. C’est du moins l’idée qui flotte à Washington, selon le Wall Street Journal.

Donald Trump, interrogé à bord d’Air Force One sur le sujet, n’a pas caché son intérêt sur le sujet. « Il existe des idées selon lesquelles des parts pourraient être attribuées au public américain, de sorte que les Américains deviennent en quelque sorte partenaires de ces entreprises (…) C’est quelque chose de très intéressant, car cela reviendrait presque à créer un partenariat avec le public américain. Nous allons examiner cette possibilité. »

Trump a ajouté : « L’idée est que le peuple américain puisse bénéficier du succès de l’IA (…) C’est quelque chose qui le rendrait riche », promet-il. En échange de ce soutien public, le gouvernement américain profiterait de la valorisation future de ces entreprises. Anthropic et OpenAI sont dans les starting-blocks, avec des IPO record en vue. Les dividendes pourraient ensuite être redistribués à la population, via un fonds souverain ou tout autre mécanisme.

Sam Altman pousse cette idée depuis des années, avant même le lancement de ChatGPT. Le fondateur et patron d’OpenAI cherche manifestement à obtenir le soutien le plus large possible pour ces investissements : il a rencontré le sénateur Bernie Sanders ce mercredi, qui sur l’échiquier politique américain se trouve à l’exact opposé de l’administration actuelle. Mais sur cette question, les extrêmes pourraient se retrouver. Bernie Sanders travaille ainsi sur une mesure radicale : transférer 50 % du capital des principales entreprises d’IA vers un fonds public.

En avril, OpenAI avait effectivement proposé la création d’un fonds public qui investirait dans les entreprises d’IA et surtout, qui distribuerait les gains directement aux citoyens américains. Un dispositif parmi d’autres, dans un catalogue de mesures très politiques visant à faire accepter l’IA par le grand public.

• Aux États-Unis, les forces de l’ordre alertent contre un « extrémisme anti-technologie »

Au vu de l’opposition actuelle de nombreux Américains — 71 % d’entre eux sont opposés à l’installation de datacenters IA — et aux menaces réelles ou supposées que cette technologie fait peser sur l’emploi, la création d’un mécanisme compensatoire n’est pas une idée complètement farfelue. Officiellement, rien n’a encore été décidé. Il faut aussi prendre en compte l’hypothèse impossible à écarter d’un éclatement de la bulle IA : ces investissements publics pourraient dès lors perdre énormément de leur valeur.

Mais sans parler de prise de participation, le gouvernement fédéral actuel a fait du soutien à l’IA un pilier de sa politique industrielle et économique, en dérégulant à tout va et en favorisant la construction de centres de données.

Donald Trump a signé ce mercredi 2 juin un décret présidentiel, certes édulcoré, pour contrôler d’un peu plus près les modèles IA avancés, via un processus d’évaluation volontaire. OpenAI a d’ailleurs confirmé sa participation.