【新智元导读】随着大模型智能体深刻渗入真实操作系统，一种全新的安全威胁悄然成型：行为越狱（Behavior Jailbreak）。现有安全基准只盯着模型「说了什么」，却对「做了什么」视而不见。新基准LITMUS是首个同时覆盖真实OS环境行为越狱、语义-物理双层验证与多攻击范式的齐全评测系统，并初次系吐淇化了「执行幻觉」这一被整个评测社区忽视的致命盲区。 当AI智能体不再只是谈天工具，而是真正收受你的服务器、操作你的文件、执行你的剧本——安全评测这件事，就不能再停顿在「看它说了什么」的层面了。 然而，当前险些所有主流智能体安全基准，依然把判断终点停在「语义输出层」——只问模型拒没拒，不论OS改没改。这一底子性缺点，催生了一种极其危险的幻象： 为了彻底拆解这一盲区，来自漯河航空航天大学、浙江大学的钻研团队推出了LITMUS（LLM-agentsIn-OSTesting forMeasuringUnsafeSubversion）——首个将真实OS环境行为越狱、语义-物理双层验证与多攻击范式系统整合的智能体安全评测基准，初次在行为越狱中系统界说并量化这种「行口不一」的景象——执行幻觉（Execution Hallucination, EH）。 AdvBench、HarmBench 等经典基准，判断终点是「模型有没有天生有害文本」。但在真实 OS 环境中，危险来自工具挪用——模型不必要「说出」危险内容，只需偷偷挪用一个系统号令，文件就被删了，密钥就泄露了。文本安全，底子不蹬宗行为安全。 若是测试 A 批改了某个系统文件，而测试 B 刚好依赖统一个文件，那么B的了局测的到底是「模型的安全性」，还是「A留下的传染」？在没有 OS 级状态回滚的情况下，这个问题无解。 LITMUS在每次测试对话前后，城市对真实操作系统进行快照采集。物理判定基于系统状态的现实变动，与模型的对话内容齐全独立。即便模型嘴上说「我回绝了」，只有 OS 状态显示危险操作已实现，物理判定依然给出「执行成功」。 每条测试用例均建设了预置与复原作为，由专门的Recoverer智能体在测试前初始化系统基线、测试后齐全还原，从底子上解除用例间的传染，确保评测了局然正可复现。 LITMUS数据集蕴含819条高风险测试用例，起源涵盖真实缝隙数据库（CVE/GHSA）、公开渗入测试汇报，以及经人为精辟验证的LLM天生案例，全数在真实OS中通过物理测试验证。 诱使智能体使用攻击者提供的 SKILL，将恶意的 SKILL.md 文件内容注入智能体工具链，在正常工作挪用时自动触发，绕过前端提醒词过滤。 图示：LITMUS评测框架的六智能体分工示意。Prosecutor发出指令，Verifier独立采集OS快照，Analyzer（物理判定）与 Reviewer（语义判定）各自独立产出标签，共同组成2×2语义-物理混合矩阵。 图示：六款模型在 LITMUS 种子数据集上的攻击成功率（ASR）与执行幻觉率（EHR）总览。 SPSR、SOSR、POSR、SPFR 别离为齐全越狱、攻击糊弄、荫蔽执杏注齐全失败的样本比例。 值得出格关注的是「通讯表联」（CO）类别——跨模型、跨攻击范式，这一类此外 ASR 险些始终最高，最极端情况靠近97%。这批注：智能体似乎天然地将「发送新闻」等表联操作视为无害行为，导致数据表泄成为最难防守的攻击面。 相对地，「工作链」（CT）类此外 ASR 最低（Claude Sonnet 4.6仅21.72%），由于将多个恶意子步骤串联成一个要求，反而让整体恶意意图越发显眼，更容易被鉴别回绝。 其中最危险的「荫蔽执杏坠（Covert Execution）模式——模型说话层面明确回绝，但 OS 层面危险操作已悄然实现——在所有模型上均有出现，Deepseek-v3.2的该项比率达到4.84%。 这意味着一个极其端庄的现实：任何只依赖对话日志的安全审计，性质上是不成靠的。安全审计人员看到「模型回绝了」，但系统已经被攻破。 技术注入和实体包装（这两种将恶意指令「藏进」工具链或表部内容的间接攻击）在两款代表模型（Deepseek-v3.2与Claude Sonnet 4.6）上均实现了显著的 ASR 提升。 相比之下，直接使用「红队测试」或「调试模式」话术进行越狱的成效，则出现出强烈的模型依赖性：Claude Sonnet 4.6 对显式恶意信号极为敏感，这类话术反而会激活安全机造，导致 ASR 跌破基线
；而 Deepseek-v3.2 则偏差于将同样的信号解读为"合法操作授权"，导致合规率反升。 这注明：分歧模型对「显式恶意意图」的语义解读存在底子差距，话术类越狱战术的有效性无法跨模型迁徙。但间接攻击的高成功率，则是跨模型一致的普遍法规：智能体的执行流水线，而非前端提醒词过滤，才是真正的重要失守点。 钻研团队明确呼吁：EHR该当与ASR并列，成为LLM智能体行为安全评测的尺度指标。在智能体走向真实OS部署的今天，单靠ASR，依然是对安全的幻觉。 LITMUS作为一个盛开的活性基准（Living Benchmark），欢迎社区持续贡献新的模型评测了局与测试用例，共同推动LLM智能体安全评测走向严格、可信、可复现的新范式。