Dans la salle d’observation d’un laboratoire d’intelligence artificielle, une équipe scrute l’écran : des agents virtuels interagissent, chacun analysant des images complexes, échangeant informations et stratégies. Mais à mesure que le nombre d’agents croît, la scène se brouille : la collaboration, censée être un atout, vire à la cacophonie, la performance s’effondre, et la facture informatique explose.

Ce phénomène, baptisé le « scaling wall », hante le domaine des Visual Multi-Agent Systems (VMAS). Plus les agents sont nombreux, plus ils doivent communiquer — et chaque échange, converti en texte, multiplie les données à traiter. Le paradoxe ? Au lieu d’améliorer les performances, l’ajout d’agents finit par les dégrader, tout en consommant davantage de ressources. La cause principale : un goulot d’étranglement informationnel. Les perceptions visuelles et les raisonnements des agents, traduits en langage naturel pour communiquer, perdent au passage une partie de leur richesse sémantique.

Du texte à la mémoire latente : une nouvelle voie (Visual Multi-Agent Systems)

Pour contourner cette impasse, des chercheurs proposent un changement radical. Leur solution, baptisée L2-VMAS, repose sur l’introduction d’une « double mémoire latente », une architecture qui permet aux agents de stocker et d’accéder à deux types de souvenirs internes : l’un issu de leur perception (ce qu’ils voient), l’autre de leur réflexion (ce qu’ils déduisent ou planifient). Plutôt que de traduire systématiquement chaque information en texte, les agents puisent dans ces mémoires pour collaborer de façon plus efficace.

L’approche se distingue par sa capacité à dissocier la perception du raisonnement, tout en synthétisant dynamiquement les deux formes de mémoire. Cette séparation permet d’éviter la dilution d’information qui survient lors de la conversion vers le texte. Les agents communiquent moins, mais de manière plus ciblée, réduisant ainsi la charge informatique sans compromettre la compréhension collective.

Un déclenchement proactif pour des échanges allégés

Autre innovation clé : l’intégration d’un mécanisme de déclenchement proactif, fondé sur l’entropie. Plutôt que de transmettre passivement des informations à chaque tour de jeu, les agents n’échangent des données que lorsque cela est vraiment utile, en fonction de l’incertitude ou de la nouveauté de la situation. Ce système « à la demande » évite la surenchère de messages, tout en maintenant la pertinence des échanges.

Les expériences menées sur diverses architectures et tailles d’agents sont sans appel : L2-VMAS parvient à franchir le fameux scaling wall. Les performances moyennes progressent de 2,7 à 5,4 %, alors que l’usage de tokens — l’unité de mesure de la communication entre agents — diminue de 21,3 à 44,8 %. Autrement dit, la collaboration devient à la fois plus efficace et plus économe.

Ce modèle, présenté comme « agnostique » — il peut s’adapter à différents systèmes d’agents et types de tâches — ouvre de nouvelles perspectives pour la coordination de systèmes complexes, qu’il s’agisse de robots coopératifs, de surveillance automatisée ou de jeux stratégiques à grande échelle.

En s’attaquant au cœur du problème, la perte d’information liée à la communication textuelle, les Visual Multi-Agent Systems pourraient enfin tenir leur promesse : multiplier les intelligences, sans sacrifier l’efficacité ni la clarté des échanges.


Source originale : Dual Latent Memory for Visual Multi-agent System via arxiv.org (08/06/2026)