Au-delà des benchmarks : Gemini 2.5 Pro est probablement le meilleur modèle de raisonnement à ce jour
Une avancée dans le raisonnement pratique
Gemini 1.5 Pro, publié par Google DeepMind plus tôt cette année, a été largement salué pour ses résultats exceptionnels sur les benchmarks d’IA.
Récemment, des tests non officiels de la version Gemini 2.5 Pro publiés dans une analyse par Glaive montrent qu’il dépasse désormais les modèles concurrents en matière de raisonnement conversationnel et de qualité de génération.
Les tests menés par Glaive evaluaient la qualité du raisonnement dans des tâches d’assistant IA, utilisant des paires de prompts-requêtes générés par des utilisateurs réels sur des plateformes de crowdsourcing.
Ces tests visaient à mettre en évidence les limites pratiques des modèles de langage à grande échelle, en particulier sur des cas concrets au-delà des benchmarks standards tels que MMLU ou HumanEval.
Une nouvelle méthodologie d’évaluation conversationnelle
Glaive a mené une expérience avec deux ensembles distincts :
- Ensemble de prompts 1 : 300 prompts demandant un raisonnement complexe
- Ensemble de prompts 2 : prompts générés à partir de chats utilisateurs via un plugin GPT
Pour chaque prompt, les performances de GPT-4 Turbo, Claude 3 Opus, Gemini 1.5 Pro et Gemini 2.5 Pro ont été comparées.
Les résultats montrent que Gemini 2.5 Pro bat GPT-4 Turbo et Claude 3 Opus en scores de préférence humains sur les deux ensembles de données.
Des résultats chiffrés significatifs
Dans l’étude de Glaive, les taux de préférence ont été les suivants sur l’ensemble des 300 prompts complexes :
- Gemini 2.5 Pro : 48 %
- GPT-4 Turbo : 23 %
- Claude 3 Opus : 26 %
Sur un autre ensemble de prompts réels, Gemini 2.5 Pro a également battu ses concurrents à une marge plus serrée, mais constante.
Un exemple d’échange sur un scénario hypothétique a illustré la capacité du modèle de Google à mieux structurer des recommandations en contextes complexes.
Conditions de test et limites méthodologiques
Les tests ont été réalisés avec un système d’évaluation de préférence binaire, accompagné de procédures de vote humain à l’aveugle.
Les réponses des modèles étaient vérifiées par des annotateurs ne connaissant pas l’identité du modèle derrière chaque réponse.
Les auteurs de l’évaluation reconnaissent toutefois certaines limitations :
- Petites tailles d’échantillon (n=300)
- Utilisation de données crowdsourcées modérément diversifiées
- Besoin d’évaluations plus rigoureuses et normalisées à l’échelle du secteur
Défis persistants et observations de Glaive
Glaive considère que malgré l’avancée décisive de Gemini 2.5 Pro, les modèles LLM peinent encore dans certaines situations :
- Erreurs de déduction dans des scénarios triviaux
- Inconsistances dans les chaînes de raisonnement multipartites
- Déficiences dans la mémorisation d’informations antérieures au sein du contexte
Néanmoins, l’étude souligne que Gemini 2.5 Pro fait preuve de meilleures capacités de déduction que les itérations précédentes.
Perspectives pour l’avenir de l’évaluation LLM
La critique centrale émise dans le rapport est que les benchmarks standards saturés comme HumanEval ou GSM8K ne révèlent plus suffisamment les différences de performance entre les modèles les plus récents.
Glaive préconise des tests orientés assistant IA qui capturent mieux les interactions réalistes et les tâches concrètes effectuées par les utilisateurs.
Le groupe souligne qu’en réalisant des évaluations via le plugin API de Glaive, il est possible d’extraire des données plus adaptées à l’évolution rapide du domaine de l’IA générative.
Auteur : Ben Dickson
