Usurpation de rôle : quand la sortie d'un outil se fait passer pour l'utilisateur

Qu’est-ce que c’est ?

Le 29 octobre 2026, Ezra Edelman, Benjamin Edelman, Surbhi Goel et Eran Malach ont publié « Understanding and Mitigating Role Spoofing in LLMs » (arXiv, cs.CR). L’article étudie une forme d’injection de prompt dans laquelle un texte malveillant, présent dans la sortie d’un outil (page web, e-mail lu par un agent), se fait passer pour l’utilisateur au lieu de simplement donner des ordres.

Il prolonge la « confusion de rôle » (ICML 2026, arXiv:2603.12277) : les modèles déduisent l’auteur d’un texte d’après son style plutôt que sa source étiquetée. Nous avions traité ce travail dans un article précédent ; celui-ci en apporte la moitié structurelle.

Il s’agit d’une recherche académique sur une faiblesse de conception, non d’une faille divulguée dans un produit précis.

Comment ça fonctionne

Les auteurs constatent que les modèles décident « qui a dit quoi » à partir de deux types d’indices : les indices de contenu (formulation, ton, sémantique) et les indices de structure (mise en forme, marqueurs imitant le gabarit de conversation). Chaque modèle dose ces indices différemment.

L’usurpation de rôle combine les deux : un texte qui ressemble à l’utilisateur, habillé d’une fausse structure imitant le format de la conversation. Les vrais jetons de contrôle ne peuvent pas figurer dans un contenu ; l’imitation est donc du texte ordinaire que le tokenizer traite comme des jetons normaux, mais qui peut tout de même modifier la croyance du modèle sur l’interlocuteur. Aucune charge opérationnelle n’est nécessaire ici, et cet article n’en reproduit aucune.

Résultats rapportés par les auteurs :

• Sur un banc d’essai d’utilisation d’outils sur mesure, le succès de l’injection atteint 100 % pour GPT-5.4, Claude Opus 4.8 et Claude Opus 5, 98,8 % pour Claude Sonnet 5, 98,5 % pour Gemini 3.5 Flash et 72,5 % pour Gemini 3.1 Pro.
• Sur une suite AgentDojo (espace de travail) modifiée, les ratios injection/contrôle vont de 63,1 % à 103,6 %. Les auteurs précisent que le harnais a été rendu plus permissif ; les chiffres ne sont donc pas comparables aux réglages par défaut.
• Dans un cadre jouet, l’entraînement adversarial contre les injections de contenu corrige cette faiblesse mais laisse l’usurpation structurelle fonctionner ; l’affinage de Qwen3.5-27B contre un type d’injection se transfère peu à l’autre.

Pourquoi c’est important

Les modèles de pointe résistent à de nombreuses injections classiques ; une défense efficace contre les textes du type « ignore les instructions précédentes » peut donc créer une fausse confiance. Ce résultat suggère qu’entraîner contre une famille d’indices laisse l’autre ouverte. Comme le texte injecté revendique l’autorité de l’utilisateur, l’agent peut lui accorder des permissions refusées à un résultat d’outil. Tout agent qui lit des pages, e-mails ou documents non fiables dans le même contexte que les demandes de l’utilisateur est concerné.

Défenses

Les auteurs proposent une détection par sondes linéaires sur les activations du modèle, entraînées sur des conversations synthétiques sans injection pour prédire le rôle réel de chaque segment. Un segment que le modèle attribue en interne à un rôle contradictoire est signalé. Ils rapportent une séparation quasi parfaite sur des tests hors entraînement et de meilleurs taux de vrais positifs à 0–1 % de faux positifs que les références comparées.

Mesures pratiques pour les concepteurs :

• Ne pas compter sur un seul correctif d’entraînement. Tester l’usurpation par le contenu et par la structure.
• Assainir et délimiter le contenu non fiable. Supprimer ou échapper les imitations de marqueurs de rôle dans les sorties d’outils et signaler la provenance hors du canal textuel.
• Conditionner les actions sensibles à une confirmation hors bande. Exiger l’accord explicite de l’utilisateur pour les appels d’outils à fort impact plutôt que de se fier à l’interlocuteur apparent.
• Appliquer le moindre privilège. Limiter ce que l’agent peut faire après lecture de contenu non fiable.
• Évaluer les sondes avant de s’y fier. L’article indique qu’elles ne détectent que l’usurpation de rôle, pas les autres injections, et qu’elles sont sensibles à la formulation de la requête.

Statut

Élément	Détail
Source	arXiv:2610.40396 v1, soumis le 29 octobre 2026
Nature	Étude académique sur plusieurs modèles commerciaux et à poids ouverts
Correctif éditeur	Sans objet ; faiblesse de conception. La détection par sondes est une proposition de recherche
Limites	Les sondes ne couvrent que l’usurpation de rôle ; résultats obtenus avec une variante permissive d’AgentDojo