afficher indice cacher indice
La fondation ARC Prize a récemment dévoilé une version revue et corrigée de son test ARC-AGI, destiné à évaluer l’avancée de l’intelligence artificielle générale. Conçu pour être relativement simple pour les humains, ce test met à l’épreuve les capacités des modèles d’IA avec des puzzles visuels qui évitent les réponses basées sur la force brute. Tandis que les humains obtiennent en moyenne un score de 60 %, les machines peinent à dépasser 1 %, soulignant ainsi les défis que pose la création d’une intelligence artificielle capable de rivaliser avec l’intelligence humaine. Ce test met également l’accent sur l’efficacité et le coût d’acquisition de compétences par les IA, éléments cruciaux pour définir leur intelligence.
La fondation ARC Prize a récemment dévoilé une version corrigée de son test ARC-AGI pour mesurer l’intelligence artificielle générale (IAG). Conceptualisé pour défier les IA en évaluation et en efficacité, ce test recourt à des puzzles visuels que même les modèles comme OpenAI o3 trouvent difficiles. Il offre une démarche novatrice pour examiner le potentiel des IA à atteindre ou surpasser l’intelligence humaine, créant ainsi un abri pour l’exploration continue de ce domaine prometteur.
Le développement du test ARC-AGI
La fondation ARC Prize poursuit, depuis plusieurs années, le développement d’un test capable de mesurer l’intelligence artificielle générale. Avec ce nouveau test ARC-AGI-2, l’objectif est d’évaluer des IA avec des critères complexes que ne peuvent pas comprendre facilement des algorithmes traditionnels tels que les chatbots.
Le premier test ARC-AGI a été lancé en début d’année dernière. Bien qu’il ait permis d’établir une base de mesure, son système avait des lacunes. Le modèle OpenAI o3, par exemple, avait réussi à obtenir un score de 75,7 %, indiquant des failles exploitables par les IA.
Une nouvelle approche avec ARC-AGI-2
La nouvelle version, ARC-AGI-2, adopte une approche différente avec des puzzles visuels plutôt que des questionnaires de connaissances. Cette méthode vise à empêcher les IA de s’appuyer sur des techniques de force brute pour identifier les réponses. Elle cherche également à évaluer l’efficacité avec laquelle les solutions sont trouvées, un aspect crucial selon la fondation ARC Prize.
Importance de l’efficacité dans l’évaluation des IA
D’après Greg Kamradt, cofondateur de la fondation ARC Prize, la notion d’intelligence ne repose pas uniquement sur la résolution de problèmes ou les scores élevés. L’efficacité avec laquelle une IA apprend et déploie ses capacités pour résoudre une tâche est tout aussi importante. La question centrale est de savoir si une IA peut acquérir une compétence et à quel coût elle le fait.
Comparaison avec les tests humains
Sur un échantillon de 400 humains, le score moyen obtenu lors du test ARC-AGI-2 était de 60 %. En revanche, la plupart des modèles d’IA ne dépassent pas 1 %, même l’OpenAI o3 n’atteignant que 4 % sur ce nouveau test. Cela illustre clairement la différence significative entre l’apprentissage humain et celui des IA actuelles.
Lire Le gouvernement efface discrètement les preuves de ses accords avec xAI, Google et Microsoft
La compétition et les enjeux financiers
Pour stimuler l’innovation, la fondation ARC Prize a annoncé une compétition avec un grand prix de 700 000 dollars. L’IA doit atteindre un score de 85 % tout en maintenant le coût de son fonctionnement à moins de 0,42 dollar par tâche. Cela représente un défi considérable, spécialement en comparant à OpenAI o3 qui a coûté 200 dollars par tâche pour un score de seulement 4 %.
Les résultats de ce concours, promettant des avancées significatives, seront annoncés le 5 décembre 2025. En attendant, les tâches du test ARC-AGI-2 sont accessibles aux humains sur le site de la fondation ARC Prize, permettant une comparaison directe des méthodes de résolution des problèmes.
