系统：运行中
EN FR ES ZH
⌕
← 返回所有攻击
RED TEAM MEDIUM NEW

智能体化红队：一名操作员三小时内发起 674 次攻击

Dreadnode 在 2026 年 5 月发表的论文，把 AI 红队工具箱封装进一个能自主选择攻击、执行并评分的智能体——把数周压缩为数小时。真正值得关注的，是它对您评估体系的影响。

2026-06-01 // 7 min affects: llama-scout

这是什么？

2026 年 5 月 5 日，研究者 Raja Sekhar Rao Dheekonda、Will Pearce 与 Nick Landers 发表了 Redefining AI Red Teaming in the Agentic Era: From Weeks to Hours（arXiv:2605.04019）。论文描述了一个基于开源 Dreadnode SDK 构建的 AI 红队智能体，它把自然语言目标转化为实际执行的对抗性测试——人类操作员只需描述要测什么，而无需实现怎么测。

案例研究中的数字成了标题。针对 Meta 的 Llama Scout，据作者称，该智能体在约三小时的实际时间内，在约 681 次评估、7727 次试验中执行了 674 次攻击，达到 85% 的攻击成功率，且「没有一行由人类编写的代码」。Help Net Security 于 2026 年 5 月 21 日报道了该工作，并附有作者的直接评论。这是一个关于研究与工具的故事，而非一种新攻击：智能体所用的每一项技术都已公开。新的是叠加在其上的编排层，以及它对对抗性测试经济性的改变。

工作原理

该智能体封装了一个目录，论文将其规模列为超过 45 种对抗性攻击、超过 450 种变换（transform）和超过 130 种评分器（scorer）。操作员通过终端界面用清晰语言陈述一个目标；随后智能体接管了过去由人类手工拼装的循环：

操作员：「针对目标 X 探测有害内容与偏见方面的缺陷。」
   |
   v
智能体 -> 选择攻击策略（多轮、人格设定、对提示词的图/树搜索）
       -> 组合变换（编码、翻译为低资源语言、角色扮演包装）
       -> 对目标执行
       -> 用 LLM 充当裁判为每个结果评分
       -> 将发现映射到 OWASP LLM Top 10 / MITRE ATLAS / NIST AI RMF
       -> 输出结构化发现 + 合规标签

在 Llama Scout 研究中，作者指出，Crescendo 等多轮技术以及一种名为 Graph of Attacks with Pruning 的搜索方法达到了 100% 的成功率，「人格」/「skeleton-key」包装也达到 100%，而简单的 Base64 编码变换则较低，约为 75%。编排模型是 Moonshot AI 的 Kimi 2.5，同时充当攻击者与裁判——这是一个有意的选择，因为高度对齐的前沿模型常常拒绝编排进攻性工作流，把操作员合法的红队目标误判为有害请求。

此处不复现任何 payload。值得内化的要点是结构性的：这与别处观察到的、向自主能力阶梯的转变如出一辙——变化发生在编排，而非发明。

为何重要

在反应之前，请仔细阅读这个吞吐数字。论文自身的局限部分以及作者对 Help Net Security 的评论中，列出了若干前提：

  • 三小时只覆盖了一个聚焦的切片。作者指出，覆盖所有攻击与危害类别的全面评估，更接近数天。
  • Llama Scout 是一个中等规模的开放模型（170 亿参数，2025 年 4 月发布）。在它上面取得 85% 的成功率，并不能说明当前前沿系统的情况。
  • 作者确认，他们在公开逐字输出之前未与 Meta 协调披露，也未核实 Llama Scout 的后续版本是否已缓解所发现的具体组合。
  • 据合著者 Dheekonda 所述，在长程推理、情境化社会工程和新颖的利用链方面，人类仍占优势。

因此，其意义并非「AI 比人类更会黑」。而是可及性与规模。过去需要脚本编写专长的组合工作，如今以低得多的开销即可运行，这同时为防御者和恶意行为者降低了门槛。正如作者所言，真正的问题不再是这些技术是否公开存在——它们确实存在——而是防御者能否在对手之前持续探测自己的系统。Dreadnode 的博文把同一次运行概括为「3 小时内发现 232 个严重漏洞，零代码」。

防御

防御要点关乎您的体系，而非某个补丁。

  1. 采用持续评估，但要掌控分诊。 当一名操作员能在一个下午发起数百次攻击时，按年或按季的红队项目便不再反映现实。稀缺技能向上移动——从工作流工程转向判断：在数百条自动发现中，哪一条在您的部署情境中才是真实风险。

  2. 警惕原始发现计数。 一个报告「232 个严重发现」并带有自动合规标签的仪表盘，很容易被误当成安全。请建立明确流程：哪些要修复、哪些作为已知风险接受、哪些只是评分器的伪报而非真正漏洞。LLM 充当裁判的评分有其自身的误报率。

  3. 按目标的真实度对结果分级。 对中等规模开放模型的高成功率，并不能证明您那经过加固、由前沿模型支撑的生产栈如何。请针对您实际交付的模型、版本与系统提示配置重跑——并为每次观察标注日期，因为行为会在版本间漂移。

  4. 为智能体化红队流量建立检测。 智能体化评估与智能体化攻击者活动高度相似。针对这一模式的检测工具——成批的变换提示、类似 Crescendo 的多轮升级、自动重试——仍不成熟。请立即为您自己的 LLM 端点埋点。

  5. 优先应对得分最高的技术。 研究表明，多轮与人格类攻击的泛化比编码类技巧更可靠。各类防御——输入/输出分类器、受限的工具访问、感知多轮的护栏——应专门针对这些族系评估，而不仅是单次 payload。

  6. 在防御侧复刻该工作流。 同样的编排可以持续地对您自己的资产运行——部署前关卡、模型升级后的回归测试、映射到 OWASP LLM Top 10 与 MITRE ATLAS 的覆盖。把智能体化红队当作一项蓝队能力，而不只是一种威胁。

状态

项目来源日期备注
论文发表（arXiv:2605.04019）arXiv2026-05-0539 页；cs.AI / cs.CR
Dreadnode 研究博文Dreadnode2026-05-06「3 小时内 232 个严重漏洞，零代码」
媒体报道 + 作者评论Help Net Security2026-05-21确认未与 Meta 协调披露
目标模型Meta Llama Scout2025-04 发布170 亿参数；研究中成功率 85%
编排模型Moonshot AI Kimi 2.5—同时充当攻击者与裁判，以规避拒绝

正确的视角不是「一个智能体在三小时内攻破了一个 LLM」——这个标题已属寻常。而是对抗性测试的运营成本正在崩塌，对双方皆然；那些仍把红队当作偶发事件的防御者，即将被把它当作持续实践的人甩在身后。

Sources