En analysant 30 000 chemins d’activation issus de 3 000 enregistrements, la méthode Predictive Memory Localization (PML) propose une nouvelle façon d’intervenir sélectivement sur la mémoire interne des réseaux de neurones. Cette approche, testée sur neuf jeux de données couvrant quatorze domaines différents, vise à prédire avec précision où et comment agir sur les représentations internes pour influer sur le comportement du modèle sans provoquer de dégâts collatéraux majeurs.

PML part d’un constat : si la localisation des activations permet d’identifier des zones d’intérêt dans les réseaux, elle ne garantit pas que les modifications appliquées dans ces directions aient des effets ciblés et sûrs. L’équipe, à l’origine de cette étude publiée sur arXiv le 17 août 2026, cherche ainsi à transformer la mémoire localisée en une véritable prévision des résultats d’intervention, en tenant compte des risques et des marges d’efficacité.

Des interventions mesurées et prédictibles (Predictive Memory Localization)

Au cœur de Predictive Memory Localization, l’idée est de considérer le chemin d’intervention comme un objet prédictif à part entière. En séparant les mouvements aléatoires calibrés, les voisins sémantiques et les dommages potentiels sur les capacités du modèle, PML compare différentes stratégies : une localisation statique, une géométrie supervisée, et une réponse causale à faible dose, chacune testée sur des directions et intensités variées.

Les expériences menées montrent que, par exemple, à la couche 7 du modèle, une direction déduite géométriquement (dite RFM/AGOP) atteint un taux de succès de 13,1 % sur les cibles générales et 12,3 % sur les cibles « propres », soit une amélioration de plus de trois points par rapport au hasard selon le bootstrap appliqué aux paires d’enregistrements. Cette performance, bien que modeste en valeur absolue, se distingue par sa robustesse sur des ensembles de données et de domaines très variés.

Les réponses du modèle à de faibles intensités d’intervention (|α| = 0,1) constituent les signaux les plus fiables pour prédire les effets d’interventions plus marquées (|α| de 0,25 à 0,5), ce qui permet d’anticiper l’efficacité sans avoir à explorer systématiquement toutes les intensités, réduisant ainsi les risques de dommages imprévus.

Un sélecteur prédictif pour limiter les risques

Autre avancée notable : grâce à un sélecteur guidé par prédiction, il devient possible de choisir automatiquement l’intensité d’intervention ou de s’abstenir lorsque le risque de dommage sémantique est trop élevé. Cette démarche améliore l’utilité globale de la méthode par rapport à une politique de réglage fixe, tout en évitant de nombreux essais inutiles lors des analyses denses.

Testée sur trois modèles de base équivalents en norme résiduelle, la méthode conserve ses gains de sélectivité : les directions apprises offrent un score AUROC macro allant de 0,801 à 0,828 sur des données jamais vues lors de l’entraînement. Ainsi, Predictive Memory Localization transforme la problématique de la localisation de la mémoire en une prévision falsifiable des résultats sélectifs, tout en intégrant une gestion consciente des risques lors des interventions dans les réseaux de neurones.

Cette étude, en ouvrant la voie à des modifications plus sûres et plus ciblées dans les modèles d’IA, pose les bases d’une utilisation plus fine et plus responsable de l’activation steering dans le domaine de l’intelligence artificielle.


Source originale : Predictive Memory Localization: Forecasting Selective Intervention Paths from Internal Signals via arxiv.org (17/08/2026)