角色欺骗：当工具输出冒充用户

这是什么？

2026年10月29日，Ezra Edelman、Benjamin Edelman、Surbhi Goel 和 Eran Malach 在 arXiv（cs.CR）发布了《Understanding and Mitigating Role Spoofing in LLMs》。论文研究一种提示注入：工具输出（例如智能体读取的网页或邮件）中的恶意文本不再只是下达命令，而是冒充用户。

该研究建立在”角色混淆”（ICML 2026，arXiv:2603.12277）之上：模型依据文本风格而非其标注来源来推断谁在说话。我们此前的文章已介绍过该工作，本文补充其”结构”这一半。

这是关于设计层面弱点的学术研究，并非针对某个具体产品披露的漏洞。

工作原理

作者发现，模型判断”谁说了什么”依赖两类线索：内容线索（措辞、语气、语义）和结构线索（格式以及模仿对话模板的标记）。不同模型对两者的依赖程度不同。

角色欺骗同时利用两者：文本读起来像用户，并披上模仿对话格式的伪造结构。真正的控制标记无法出现在内容中，因此这种模仿只是被分词器当作普通标记处理的普通文本，却仍可能改变模型对说话者的判断。论文无需任何可用载荷，本文也不复现任何载荷。

作者报告的结果：

• 在自建的工具调用测试平台上，GPT-5.4、Claude Opus 4.8 和 Claude Opus 5 的注入成功率为 100%，Claude Sonnet 5 为 98.8%，Gemini 3.5 Flash 为 98.5%，Gemini 3.1 Pro 为 72.5%。
• 在经修改的 AgentDojo 工作区套件上，注入与控制比值介于 63.1% 到 103.6%。作者说明测试框架被放宽，因此数字不能与默认设置直接比较。
• 在玩具设置中，针对内容型注入的对抗训练修复了该弱点，但结构型欺骗依然有效；针对某一类注入微调 Qwen3.5-27B，对另一类的迁移很有限。

为什么重要

前沿模型能抵御许多经典注入，因此对”忽略之前的指令”这类文本有效的防御可能带来虚假的安全感。该结果表明，针对一类线索的训练会让另一类线索继续敞开。由于注入文本声称拥有用户的权限，智能体可能授予它本应拒绝工具结果的权限。凡是在与用户请求相同的上下文中读取不可信网页、邮件或文档的智能体，都在影响范围之内。

防御措施

作者提出用线性探针读取模型激活来检测：探针在不含注入的合成对话上训练，用于预测每个片段的真实角色；模型内部归属于冲突角色的片段会被标记。他们报告在留出测试上分离近乎完美，且在 0–1% 假阳性率下，真阳性率优于所比较的基线。

给构建者的实用措施：

• 不要依赖单一的训练修复。 同时测试内容型和结构型欺骗。
• 净化并隔离不可信内容。 去除或转义工具输出中类似角色标记的内容，并在文本通道之外标注来源。
• 敏感操作需带外确认。 对高影响的工具调用要求用户明确批准，而不是相信表面上的说话者。
• 最小权限。 限制智能体读取不可信内容之后能做的事。
• 使用探针前先评估。 论文指出探针只检测角色欺骗，不覆盖其他注入类型，且对查询措辞敏感。

状态

项目	详情
来源	arXiv:2610.40396 v1，2026年10月29日提交
性质	涵盖多个商业与开放权重模型的学术研究
厂商补丁	不适用；属设计层面弱点。探针检测是研究提案
局限	探针仅覆盖角色欺骗；结果基于较宽松的 AgentDojo 变体