Montrer l’index Cacher l’index
La présentation de Llama 4 par Meta avait de quoi susciter l’enthousiasme, promettant de révolutionner le monde de l’intelligence artificielle avec ses modèles multimodaux. Cependant, les premiers tests révèlent un écart frappant entre les discours enflammés et la réalité des performances. Des limites flagrantes se dessinent, des critiques fusent, et les utilisateurs s’interrogent sur la véracité des benchmarks présentés. L’illusion s’effrite, et la compétition s’intensifie alors que les attentes rencontrent la dure réalité.
Le lancement de Llama 4 par Meta promettait des avancées spectaculaires dans l’univers de l’intelligence artificielle, mais la réalité semble se heurter aux attentes. Alors que les modèles multimodaux tels que Scout et Maverick faisaient des vagues à travers le monde technologique, de récentes analyses et tests soulèvent des questions sur leur véritable efficacité. Contrairement aux promesses de performance, les résultats actuels révèlent des limites techniques notoires et des incohérences déroutantes.
Une ambition multimodale
Lors de son lancement, Llama 4 était présenté comme capable de révolutionner la manière dont nous interagissons avec les machines. Avec une ambition touchant à la multimodalité, Scout et Maverick cherchaient à établir une norme de performance inédite sur le marché. Le Llama 4 Behemoth, avec ses 2000 milliards de paramètres, était censé rivaliser avec les géants tels que GPT-4o et Gemini 2.5. Pourtant, les premiers benchmarks soulèvent des suspicions quant à ces grandes déclarations. Cela pose la question : sont-ils réellement à la hauteur des attentes ?
Des performances qui défient la réalité
L’un des points forts annoncés de Scout était sa fenêtre de contexte de 10 millions de jetons. Pourtant, les tests s’accumulent pour révéler une toute autre facette. Par exemple, exécuter un contexte de 1,4 million de jetons nécessite pas moins de huit GPU Nvidia H100, une configuration que peu d’utilisateurs peuvent se permettre. Pendant ce temps, des services comme Groq plafonnent à 128 000 jetons, tandis que Together AI ne fournit que 328 000. Cet écart entre les annonces et la réalité d’utilisation intensifie le scepticisme et la frustration parmi les développeurs et utilisateurs.
Les critiques sans relâche
Les critiques sur Llama 4 affluent, notamment sur les réseaux sociaux où les utilisateurs partagent leurs expériences souvent décevantes. Les résultats des tests de Scout sur des tâches avancées, comme résumer 20 000 jetons, montrent une incohérence alarmante. Des voix comme celle d’Andriy Burkov s’élèvent contre les modèles monolithiques, en proposant un raisonnement basé sur l’apprentissage par renforcement. Simultanément, des utilisateurs sur Reddit relèvent des faiblesses dans le codage de Llama 4 par rapport à des concurrents comme DeepSeek ou Qwen. Ce décalage entre les prédictions et la réalité entache l’image initiale de Llama 4.
Ouverture relative et benchmarks
Bien que Meta qualifie Llama 4 de modèle open source, des restrictions de licence laissent planer un doute sur cette déclaration. Il serait peut-être plus juste d’utiliser le terme « poids ouvert » pour caractériser cette accessibilité. De plus, des études comparatives montrent que les performances de Mavericks dépassent parfois celles de GPT-4o, se classant même à la deuxième place sur Chatbot Arena avec un score ELO de 1417. Cependant, cela ne signifie pas que les résultats soient représentatifs de l’utilisation quotidienne, car des distinctions apparaissent entre les variantes optimisées pour les tests et les modèles accessibles au public. Un manque important de transparence émerge donc, suscitant des interrogations sur les véritables performances de Llama 4.
Des explications contestées
Dans une tentative de transparence, Ahmad Al-Dahle de Meta attribue les écarts de performance observés à des instabilités techniques, niant toute manipulation délibérée des résultats. Ce type d’argumentation rappelle les controverses sur les benchmarks biaisés des smartphones. En tout état de cause, Al-Dahle défend les progrès réalisés par Llama 4, tout en admettant qu’il reste des bugs à corriger. Cela soulève une question cruciale : la communauté est-elle prête à faire confiance à Meta pour résoudre ces problèmes et offrir un produit valable ?
