Poids ouverts pour le poids lourd

Avec Muse Spark Open, Meta revient à ses premières amours, c’est à dire les modèles IA à poids ouverts. Et pour faire tourner ce poids lourd en local, l’entreprise s’est trouvé un partenaire inattendu : Apple.

Avec son ancienne famille de modèles Llama, Meta pensait avoir trouvé la botte secrète face aux LLM propriétaires d’OpenAI, d’Anthropic ou de Google : des modèles à poids ouverts, autrement dit qu’il est possible de télécharger et d’exploiter en local (sous certaines conditions). Patatras : la version 4 des modèles Llama livrée en avril 2025 a été entachée par des accusations de manipulation de benchmarks.

Derrière les modèles chinois

Piqué au vif, Mark Zuckerberg a décidé de tout remettre à plat et de créer de toutes pièces un nouveau labo dont les membres ont été débauchés à prix d’or partout dans la Silicon Valley et au-delà. Les premiers résultats sont apparus un an plus tard avec Muse Spark, un modèle… fermé.

L’idée des poids ouverts n’était cependant pas perdue. Alors que le débat autour des modèles ouverts battait son plein cet été, Meta livrait Muse Glimmer, un modèle déjà conséquent de 30 milliards de paramètres assorti d’une licence open source permissive (Apache 2.0). L’entreprise en rajoute une couche avec Muse Spark Open, « le modèle à poids ouverts américain le plus capable ».

Muse Spark Open est un modèle multimodal de 816 milliards de paramètres (42 milliards actifs pour chaque token utilisé selon une architecture Mixture of Experts) avec une fenêtre de contexte de 1 million de tokens, autrement dit la quantité d’informations qu’il peut prendre en compte durant une interaction. C’est désormais courant pour les modèles frontières, y compris Muse Wonder. Spark Open accepte du texte, des images, de la vidéo et de l’audio en entrée, mais il ne génère que du texte.

Meta présente Spark Open comme « conçu pour la programmation et les tâches agentiques », avec une prédilection pour « les travaux de longue haleine, le développement logiciel complexe et le raisonnement en plusieurs étapes. » Face à des modèles à poids ouverts concurrents, il figure en tête dans deux des trois benchmarks sur les tâches agentiques (JobBench et MCP-Atlas). Sur GDPval-AA v2 en revanche, il est dépassé par trois modèles chinois et Mistral Large 4.

En matière de programmation, Spark Open n’occupe aucune première place du podium : il est derrière quatre rivaux sur Terminal-Bench 2.1, et il se trouve dans la moyenne sur DeepSWE. Le modèle affiche de bons résultats sur les tests de connaissances et de raisonnement, et il se montre solide sur le multimodal. En tout, sur onze benchs, Meta décroche six premières places. Il manque également au tableau ses comparaisons avec les modèles fermés d’OpenAI et d’Anthropic.

Deux Mac Studio pour un modèle poids lourd

Le modèle donnera la pleine mesure de son talent sur le Mac Studio avec puce M5 Ultra, et même deux. Meta et Apple ont en effet travaillé ensemble pour que Spark Open exploite à plein le GPU intégré au silicium Apple, sa mémoire unifiée et la bande passante de la puce (jusqu’à 1,2 To/s).

Connecter deux Mac Studio dotés de 512 Go de mémoire permet de répartir le modèle entre les deux machines, qui disposent ainsi d’un téraoctet de mémoire au total : les 816 milliards de paramètres , stockés dans une version quantifiée en 4 bits, restent ainsi disponibles en mémoire (même si 42 milliards sont réellement mobilisés pour chaque token traité).

On parle d’une configuration qui devrait aisément dépasser les 30 000 euros pour deux Mac Studio M5 Ultra, Apple n’ayant pas encore annoncé le prix de l’option mémoire de 512 Go… Et Meta a indiqué qu’on pouvait même monter à quatre Mac Studio. Le tout est réalisable grâce à MLX, un framework d’Apple qui répartit l’exécution de modèles à poids ouverts entre plusieurs Mac reliés en Thunderbolt 5.

La haine recuite entre les deux entreprises est oubliée : l’IA rapproche donc même les pires ennemis ! « On est ravis que papa et maman s’entendent à nouveau », s’est amusé Alexandr Wang, le patron de l’IA chez Meta, auprès d’Axios. Les deux entreprises ont bûché pendant plusieurs mois pour cette annonce, mais cela ne les empêchera pas de conserver leur rivalité sur d’autres terrains. « Quand il est pertinent de collaborer et de nouer des partenariats, nous voulons pouvoir le faire », ajoute le dirigeant.

Les poids de Muse Spark Open sont disponibles sur Hugging Face. La licence Muse Model n’est pas aussi permissive que celle de Glimmer, même s’il est autorisé de modifier le modèle, de le distiller, de le redistribuer et même d’en vendre des copies sous réserve de respecter la licence et d’afficher une attribution. Certains usages militaires, la création de logiciels malveillants et le contournement des restrictions ou mesures de sécurité sont prohibés. Meta ne revendique aucun droit de propriété sur les sorties du modèle.

Poids ouverts pour le poids lourd

Avec Muse Spark Open, Meta revient à ses premières amours, c’est à dire les modèles IA à poids ouverts. Et pour faire tourner ce poids lourd en local, l’entreprise s’est trouvé un partenaire inattendu : Apple.

Avec son ancienne famille de modèles Llama, Meta pensait avoir trouvé la botte secrète face aux LLM propriétaires d’OpenAI, d’Anthropic ou de Google : des modèles à poids ouverts, autrement dit qu’il est possible de télécharger et d’exploiter en local (sous certaines conditions). Patatras : la version 4 des modèles Llama livrée en avril 2025 a été entachée par des accusations de manipulation de benchmarks.

Derrière les modèles chinois

Piqué au vif, Mark Zuckerberg a décidé de tout remettre à plat et de créer de toutes pièces un nouveau labo dont les membres ont été débauchés à prix d’or partout dans la Silicon Valley et au-delà. Les premiers résultats sont apparus un an plus tard avec Muse Spark, un modèle… fermé.

L’idée des poids ouverts n’était cependant pas perdue. Alors que le débat autour des modèles ouverts battait son plein cet été, Meta livrait Muse Glimmer, un modèle déjà conséquent de 30 milliards de paramètres assorti d’une licence open source permissive (Apache 2.0). L’entreprise en rajoute une couche avec Muse Spark Open, « le modèle à poids ouverts américain le plus capable ».

Muse Spark Open est un modèle multimodal de 816 milliards de paramètres (42 milliards actifs pour chaque token utilisé selon une architecture Mixture of Experts) avec une fenêtre de contexte de 1 million de tokens, autrement dit la quantité d’informations qu’il peut prendre en compte durant une interaction. C’est désormais courant pour les modèles frontières, y compris Muse Wonder. Spark Open accepte du texte, des images, de la vidéo et de l’audio en entrée, mais il ne génère que du texte.

Meta présente Spark Open comme « conçu pour la programmation et les tâches agentiques », avec une prédilection pour « les travaux de longue haleine, le développement logiciel complexe et le raisonnement en plusieurs étapes. » Face à des modèles à poids ouverts concurrents, il figure en tête dans deux des trois benchmarks sur les tâches agentiques (JobBench et MCP-Atlas). Sur GDPval-AA v2 en revanche, il est dépassé par trois modèles chinois et Mistral Large 4.

En matière de programmation, Spark Open n’occupe aucune première place du podium : il est derrière quatre rivaux sur Terminal-Bench 2.1, et il se trouve dans la moyenne sur DeepSWE. Le modèle affiche de bons résultats sur les tests de connaissances et de raisonnement, et il se montre solide sur le multimodal. En tout, sur onze benchs, Meta décroche six premières places. Il manque également au tableau ses comparaisons avec les modèles fermés d’OpenAI et d’Anthropic.

Deux Mac Studio pour un modèle poids lourd

Le modèle donnera la pleine mesure de son talent sur le Mac Studio avec puce M5 Ultra, et même deux. Meta et Apple ont en effet travaillé ensemble pour que Spark Open exploite à plein le GPU intégré au silicium Apple, sa mémoire unifiée et la bande passante de la puce (jusqu’à 1,2 To/s).

Connecter deux Mac Studio dotés de 512 Go de mémoire permet de répartir le modèle entre les deux machines, qui disposent ainsi d’un téraoctet de mémoire au total : les 816 milliards de paramètres , stockés dans une version quantifiée en 4 bits, restent ainsi disponibles en mémoire (même si 42 milliards sont réellement mobilisés pour chaque token traité).

On parle d’une configuration qui devrait aisément dépasser les 30 000 euros pour deux Mac Studio M5 Ultra, Apple n’ayant pas encore annoncé le prix de l’option mémoire de 512 Go… Et Meta a indiqué qu’on pouvait même monter à quatre Mac Studio. Le tout est réalisable grâce à MLX, un framework d’Apple qui répartit l’exécution de modèles à poids ouverts entre plusieurs Mac reliés en Thunderbolt 5.

La haine recuite entre les deux entreprises est oubliée : l’IA rapproche donc même les pires ennemis ! « On est ravis que papa et maman s’entendent à nouveau », s’est amusé Alexandr Wang, le patron de l’IA chez Meta, auprès d’Axios. Les deux entreprises ont bûché pendant plusieurs mois pour cette annonce, mais cela ne les empêchera pas de conserver leur rivalité sur d’autres terrains. « Quand il est pertinent de collaborer et de nouer des partenariats, nous voulons pouvoir le faire », ajoute le dirigeant.

Les poids de Muse Spark Open sont disponibles sur Hugging Face. La licence Muse Model n’est pas aussi permissive que celle de Glimmer, même s’il est autorisé de modifier le modèle, de le distiller, de le redistribuer et même d’en vendre des copies sous réserve de respecter la licence et d’afficher une attribution. Certains usages militaires, la création de logiciels malveillants et le contournement des restrictions ou mesures de sécurité sont prohibés. Meta ne revendique aucun droit de propriété sur les sorties du modèle.