Alors que l’intelligence artificielle s’immisce toujours davantage dans les systèmes d’évaluation automatisée, une récente publication interroge la fiabilité des modèles de raisonnement face au biais de position. L’idée reçue selon laquelle « réfléchir plus » réduirait les raccourcis cognitifs ne résiste pas à l’analyse : l’étude, menée sur des modèles tels que DeepSeek-R1 et ses variantes, démontre que la longueur du raisonnement aggrave en réalité ce genre de biais.

Le biais de position est ce phénomène où un modèle, lors d’un questionnaire à choix multiple, tend à favoriser certaines options en fonction de leur emplacement dans la liste. Les chercheurs ont examiné treize configurations de modèles capables de raisonnement, incluant des versions distillées de R1 (7 à 8 milliards de paramètres), des modèles de base sollicités via des prompts de type « chain-of-thought » (CoT), ainsi que DeepSeek-R1 dans sa version massive à 671 milliards de paramètres. L’analyse s’est appuyée sur trois jeux de données exigeants : MMLU, ARC-Challenge et GPQA.

La longueur du raisonnement, un facteur aggravant (biais de position)

Dans douze des treize configurations testées, une corrélation partielle positive a été observée entre la longueur du cheminement logique et le score de biais de position (Position Bias Score, PBS), avec des coefficients allant de 0,11 à 0,41, tous statistiquement significatifs. Autrement dit, plus la « chaîne de pensée » d’un modèle s’étire, plus il a tendance à s’orienter vers certaines réponses selon leur position dans la liste, indépendamment de la justesse de la réponse. Ce phénomène s’est révélé particulièrement robuste dans les configurations à poids ouverts (open-weight), où le biais s’accroît régulièrement d’un quartile de longueur à l’autre.

Pour éprouver la causalité du phénomène, les chercheurs ont mené une expérience de « troncature » : en interrompant la génération de texte à différents stades du raisonnement, puis en la reprenant, ils ont constaté que plus la reprise avait lieu tard, plus l’IA se tournait vers les réponses privilégiées par le biais de position. Chez R1-Qwen-7B, par exemple, cette propension grimpait de 16 % à 32 % selon l’avancée dans la trajectoire logique.

Des géants un peu moins vulnérables, mais pas immunisés

Chez DeepSeek-R1 dans sa version la plus massive (671 milliards de paramètres), le biais de position global chute à 0,019 – un niveau beaucoup plus faible que pour les modèles compacts. Pourtant, même ici, l’effet de la longueur du raisonnement se maintient dans le quartile supérieur, avec un PBS de 0,071. Cela suggère que l’augmentation de l’exactitude du modèle ne fait que limiter l’expression visible du biais, sans en éliminer le mécanisme sous-jacent.

L’étude distingue aussi le biais de position lié à la réponse directe (sans raisonnement intermédiaire) du biais accumulé par la chaîne de raisonnement. Chez certains modèles comme Llama-Instruct-direct, le biais de position direct est fort, tandis qu’il s’avère faible chez Qwen-Instruct-direct – et, surtout, il n’est pas corrélé à la longueur du raisonnement. Ce sont les modèles sollicités en mode « chain-of-thought » qui voient leur biais de position augmenter à mesure que la réflexion s’allonge.

Les auteurs proposent enfin un ensemble d’outils pour diagnostiquer et auditer ce biais, parmi lesquels le Position Bias Score, l’analyse du point de changement d’engagement, des tests de commutation effective et des sondages de troncature.

Ce travail, disponible sur arXiv, met en garde contre une confiance excessive dans la robustesse des IA de raisonnement lors des évaluations automatisées. Allonger la réflexion ne suffit pas à neutraliser les biais structurels, qui s’expriment parfois de façon plus subtile à mesure que la machine « pense » davantage.

Source originale : More Thinking, More Bias: Length-Driven Position Bias in Reasoning Models via arxiv.org (11/05/2026)

Credit photo: Kindel Media (Licence Pexels) – source image