Montrer l’index Cacher l’index
Les systèmes basés sur l’intelligence artificielle générative, tels que ChatGPT, sont de plus en plus présents dans nos vies, promettant des performances exceptionnelles dans de nombreux domaines. Cependant, une analyse approfondie menée par une équipe d’ingénieurs d’Apple met en lumière des limites notables dans leurs capacités. Ces chercheurs ont entrepris de tester les compétences des modèles de langage avancés face à des problèmes mathématiques fondamentaux, révélant des failles significatives dans leur raisonnement logico-mathématique. Les résultats montrent que, malgré leur capacité apparente à résoudre efficacement certains types de problèmes, ces IA peinent à s’adapter à des variations mineures dans les énoncés, soulignant ainsi une dépendance problématique au traitement des informations sans pertinence logique.
Alors que les intelligences artificielles, telles que les modèles génératifs de type ChatGPT, sont devenues omniprésentes dans notre quotidien, une étude récente menée par une équipe d’ingénieurs chez Apple a révélé des lacunes surprenantes dans leur capacité à résoudre des problèmes mathématiques simples. En mettant à l’épreuve ces modèles avec des exercices de mathématiques de base, les chercheurs ont démontré que ces systèmes, bien qu’ils aient une apparence de machine sophistiquée, sont en réalité limités par un manque de raisonnement logique.
La puissance apparente des modèles génératifs
Les IA génératives, comme ChatGPT, ont impressionné par leur capacité à fournir des réponses instantanées et contextuelles à une variété de questions. Leur base gigantesque de données d’entraînement leur permet de résoudre avec brio de nombreux problèmes qui leur sont familiers. Une question simple, telle qu’un problème de calcul sur le nombre de kiwis cueillis sur plusieurs jours, s’avère être à leur portée, leur permettant d’atteindre des taux de réussite élevés.
Les failles révélées par des variantes insignifiantes
Néanmoins, l’étude menée par Apple a exposé une faiblesse intrigante : lorsque des informations non pertinentes sont ajoutées à l’énoncé d’un problème, ces IA révèlent des lacunes critiques dans leur compréhension conceptuelle. Par exemple, en mentionnant que « 5 des kiwis étaient un peu plus petits », les algorithmes d’IA ont été induits en erreur, s’engageant à tort dans une opération de soustraction qui n’était pas demandée.
L’explication technique des défaillances
Ces modèles d’IA fonctionnent essentiellement comme des systèmes de correspondance de modèles, plutôt que de machines de raisonnement authentique. Lorsqu’ils sont confrontés à des exercices appris pendant leur entraînement, leur performance est remarquable. Cependant, l’introduction d’une simple variable ou d’un changement de contexte, tel qu’un nom différent dans l’énoncé, peut grandement diminuer leur taux de réussite, soulignant leur incapacité à effectuer un raisonnement logique indépendant.
Implications et perspectives futures
Les conclusions des ingénieurs d’Apple soulignent la nécessité de redéfinir les ambitions des modèles d’IA actuels. Bien qu’ils soient extrêmement compétents dans l’exécution de tâches basées sur des données d’entraînement, leur capacité à comprendre et à manipuler des concepts complexes reste limitée. Cette étude encourage les chercheurs à explorer des approches plus sophistiquées pour améliorer la compréhension et le raisonnement logique dans les systèmes d’IA futurs.
