En analysant des milliers de prévisions générées par des modèles de langage, des chercheurs ont mis en lumière un paradoxe : plus un modèle est puissant, plus il se trompe dans les scénarios où l’incertitude est maximale. Cette tendance s’est confirmée lors de tests sur des séries temporelles marquées par une forte croissance et un risque de changement brutal de régime, des situations fréquentes dans la finance et l’épidémiologie.
Le projet, mené à partir du benchmark ForecastBench-Sim (FBSim), met en cause les modèles de langage (LLM) les plus récents. Les tests ont porté sur la prévision de dynamiques synthétiques d’épidémies (modèle SIR) et sur des données réelles, allant de la pandémie de COVID-19 à la rougeole, en passant par les marchés immobiliers et des épisodes d’hyperinflation.
Des erreurs amplifiées dans la queue supérieure (modèles de langage)
Contrairement à ce que l’on pourrait attendre, la montée en puissance des modèles de langage ne garantit pas de meilleures prévisions, tout particulièrement lorsque l’enjeu porte sur des événements rares et extrêmes. L’étude révèle que ces modèles ont tendance à surestimer la probabilité d’occurrence de scénarios de croissance extrêmes. Cette dérive se concentre sur la queue supérieure des distributions : les modèles les plus avancés décalent leurs prévisions vers le haut, suivant des extrapolations agressives, tandis que la queue inférieure reste stable.
Les conséquences sont notables pour les domaines où la capacité à anticiper les pics ou les changements de régime est cruciale. Par exemple, une mauvaise estimation de la propagation d’une épidémie ou de la flambée soudaine d’un marché pourrait induire des décisions publiques ou économiques inadaptées.
Un effet indépendant de la taille et de l’entraînement
Pour affiner leur diagnostic, les chercheurs ont mené une étude comparative au sein de la famille de modèles Llama-3.1. Ils ont observé que l’ampleur du phénomène ne dépendait pas uniquement de la taille du modèle, mais aussi de l’étape finale d’apprentissage (post-training). Même en intégrant des connaissances spécifiques au domaine, les modèles échouaient à corriger ces biais de calibration.
Autre constat frappant : l’inversement du lien entre puissance et précision ne transparaît pas dans les évaluations classiques, qui se limitent à des points de seuil binaires. Ce n’est qu’en adoptant des métriques continues et ouvertes, capables de saisir l’intégralité de la distribution des prévisions, que ce biais devient évident. Les méthodes d’évaluation traditionnelles, en se focalisant sur des seuils arbitraires, masquent donc le coût d’erreur dans la queue supérieure.
Ce travail pose la question de la fiabilité des modèles de langage dans l’anticipation d’événements extrêmes et invite à repenser en profondeur les méthodes d’évaluation de leurs performances. Pour la recherche comme pour les décideurs, l’enjeu est crucial : dans les domaines où l’incertitude et le risque de rupture sont la norme, la puissance brute des modèles ne protège pas contre des erreurs coûteuses.
Source originale : Is Capability a Liability? More Capable Language Models Make Worse Forecasts When It Matters Most via arxiv.org (25/05/2026)