别再只用攻击成功率来评估越狱防御

这是什么？

一个”拦截 95% 攻击”的越狱防御，仅凭这一点几乎说明不了什么有用的信息。这个单一数字——攻击成功率（ASR，attack success rate）——是大多数越狱论文报告的指标，而一项新的系统化研究指出，用它来决定部署哪种防御是错误的视角。

2026 年 5 月 6 日，Feiyue Xu、Hongsheng Hu、Chaoxiang He、Bin Benjamin Zhu、Dawu Gu、Shuo Wang 及其合作者发布了 SoK: Robustness in Large Language Models against Jailbreak Attacks（arXiv:2605.05058），该文将发表于 第 47 届 IEEE 安全与隐私研讨会（IEEE S&P，2026 年 5 月 18–20 日）。论文构建了越狱攻击与防御的分类体系，并提出 Security Cube——一个多维评估框架。其面向从业者的核心观点是：该领域的评估实践不充分，因为它依赖于狭窄的指标，“无法捕捉 LLM 安全的多维本质”。

Security Cube 如何运作？

Security Cube 将越狱防御重新定义为需要在多个维度上同时衡量的对象，而非一个简单的通过／失败分数。论文在分类体系之外，对 13 种代表性攻击和 5 种防御以及自动评判器进行了基准研究，以勾勒当前格局。

这一转变之所以重要，是因为 ASR 把若干独立的问题压缩成了一个数字：

• 跨攻击家族的鲁棒性。 针对某一攻击类型（例如角色扮演提示）调优的防御，平均得分可能很高，却对另一类（编码技巧、多轮升级）完全敞开。单一的综合 ASR 掩盖了这个缺口。
• 可用性代价。 一个会拒绝”接近边界但无害”请求的护栏，可能拿到很高的 ASR，却悄悄削弱了产品。安全与有用性相互权衡，而单一数字只显示其中一面。
• 对评判器的依赖。 “成功”由自动评判器判定，而评判器之间会有分歧。ASR 的可信度不会超过产生它的那个评判器——论文对此有直接研究。
• 成本与延迟。 两个 ASR 相同的防御，其算力开销可能相差几个数量级。更昂贵的那个在生产中或许根本无法上线。

这与早先的系统化工作相呼应。PandaGuard 框架（Shen 等，arXiv:2505.13862）将越狱安全建模为攻击者—防御者—评判器之间的交互，覆盖 49 个模型，并从基准一侧得出了相同的教训：防御的成本—性能权衡与评判器的一致性，只有在你停止报告单一综合数字时才会显现。

为何重要

对任何选择越狱防御的人来说，厂商的头条 ASR 并不是采购依据。两个都宣称”99% 拦截率”的产品，一旦追问哪些攻击、以多大可用性代价、如何评判、多大延迟，其表现可能完全不同。Security Cube 本质上是一份以结构化方式提出这些问题的清单。

它还解释了一种反复出现的失望：在基准上表现出色的防御，在生产中往往表现不佳。公布的 ASR 常常是针对固定攻击集测得的，而真实对手会自适应——我们对多轮越狱基准和输出过滤研究的报道已多次展示这一动态。

防御建议

无需读完整篇论文，你也可以应用它的思路。在评估越狱防御时：

1. 要求按攻击家族给出结果，而非平均值。 索取按不同类别的分项数据——编码、说服、多样本越狱、数学编码、多轮。平均 ASR 可能掩盖某一家族上的彻底失败。
2. 衡量可用性税。 让防御跑一遍良性工作负载，跟踪过度拒绝和质量损失。一个你不得不在生产中关闭的防御什么也保护不了。
3. 锁定评判器。 弄清楚是什么判定了”成功”。用第二个评判器对样本重新打分；若结论改变，那个头条数字就不牢靠。
4. 对自适应攻击者进行测试。 静态集上的 ASR 是下限，而非保证。在固定提示下能守住的防御，常会败给针对它优化的攻击者。
5. 把成本和延迟当作一等维度来预算。 将算力和新增延迟视为评估的一部分，而非事后才考虑。
6. 分层防御；不要押注于单一数字。 结合输入检查、基于表征的检测和独立的输出过滤，使任何单一指标都不构成你的全部安全。

状态

项目	参考	日期	备注
SoK：越狱攻击鲁棒性（Security Cube）	arXiv:2605.05058	2026-05-06	将发表于 IEEE S&P 2026；评估 13 种攻击／5 种防御；多维评估
PandaGuard / PandaBench	arXiv:2505.13862	2025-05	攻击者—防御者—评判器框架；49 个模型；成本／评判器权衡

要点既不是一种新攻击，也不是一种新防御，而是一次度量上的纠正：越狱防御是一个多维对象，任何把它简化为单一百分比的评估——或销售说辞——都隐藏了你最需要知道的大部分内容。