Agent 生产级评测三要素与静默失败防御

Agent 评测需回答三件事:任务是否做成、失败发生在哪里、新版本能否发布。最危险的失败不是报错,而是做错后仍显示“已完成”。

以资料研究 Agent 为例,目标只有一个:决定 v2 能否替换 v1。v1 使用原模型与原提示词;v2 更换模型、修改提示词并新增搜索工具。评测流程固定为八步:明确发布决策;定义成功与硬失败;建立评测数据集;记录最终结果与执行轨迹;配置规则、判定模型与人工评审;重复运行并比较 v1/v2;设置发布门禁;将线上失败送回评测集。

第一步,写清评测目的,不先选工具。同一 Agent 针对不同决策需要不同评测:选模型时比较质量、成本与延迟;判断自动退款权限时,越权操作与错误退款是硬门槛;修改提示词时,重点验证目标问题是否修复且其他场景无回归。本次只回答一个问题:v2 能否替换 v1。为此建立项目目录,包含评测章程、四类数据集(开发、保留、回归、挑战)、评分器、运行记录、报告与说明文件。评测章程固定被测系统的全部要素:模型、提示词、工具、工作流与权限策略;评测单位是一次完整研究任务;基线是 v1;主要指标是整任务成功率;硬失败包括伪造来源、关键论断无来源支持、越权访问数据、禁止的外部写入;约束为单任务成本不超过 1 美元、延迟不超过 300 秒。只记录模型名无法复现结果,因为结果同时取决于检索、工具、流程、权限与环境。

第二步,把“做完”写成可检查条件。资料研究任务的完成条件为:报告包含问题、结论、证据、限制与来源;每个关键结论至少有一条原始来源支持;来源链接可打开且引用内容与结论一致;证据不足或来源冲突时明确保留不确定性;报告写入指定目录且可重新打开。这五条描述任务终态,即任务最终留下了什么。

硬失败一旦发生则整任务失败,包括:编造不存在的来源;用不支持结论的材料充当证据;访问任务范围外数据;未经允许向外部系统写入;工具已失败仍宣称完成。硬失败不能与质量指标混合求平均,因为平均分会掩盖致命错误。安全、权限与关键事实正确性作为门禁,成本、延迟与语言质量作为优化指标。前者决定能否放行,后者用于在可用版本之间继续优化。

语义质量必须写成行为化评分标准。证据支持度分三档:通过,即每个关键结论都能在所引原始来源中直接找到支持;部分通过,即主要结论有支持但次要结论存在轻微外推且已明确标注;失败,即关键结论缺少来源、引用错位或来源与结论矛盾。同时建立失败分类表,把失败分到能指导修复的位置,例如检索失败、工具失败、推理失败、验证失败或停止条件失败。报表应显示各类失败占比与变化,而不是只显示“v2 失败”。

第三步,建立数据集。第一版只需 30 条:12 条常见任务、6 条边界或缺失信息任务、4 条来源冲突任务、4 条工具失败或空结果任务、2 条已发生过的失败、2 条权限或对抗任务。这 30 条用于跑通框架并发现大问题;发布门禁前扩到 100 至 300 条。任务越重要、切片越细,所需样本越多。真实生产轨迹最有价值,因为保留用户真实说法、工具状态与环境噪声;没有线上数据时,可由领域专家写案例,再用模型生成边界与对抗题,但必须由人检查。模型生成的数据不能直接当金标准,否则出题与答题可能共享同一种偏差。

每条数据记录包含编号、用户目标、初始状态、必需工具、允许工具、禁止动作、预期结果、严重程度、切片标签与评分器。开放式任务不保存唯一标准答案,而保存必须覆盖的事实、允许的差异、必须引用的来源以及应当拒答的情况。数据集分四份:开发集用于日常开发;保留集只在正式比较时运行,防止针对题目调提示词;回归集保存历史事故;挑战集保存低频但高风险的边界与对抗任务。四份结果分别报告,不能混在一起,否则总体通过率会被难题拉低,或低频安全风险被普通任务淹没。每个数据集应有版本、负责人与刷新日期。每次线上事故都应变成新的回归用例。

第四步,区分结果评测与轨迹评测。传统大模型评测是“输入到模型到输出到评分”;Agent 中间多了规划、工具调用、观测、重新规划、环境变化与最终输出。结果正确不代表过程正确:它可能先访问禁止数据源再换回允许资料,也可能调用 30 次搜索才碰到答案。过程正确也不代表结果正确:执行合理但最后保存失败就没有交付。结果评测检查任务终态:目标文件是否存在、字段是否完整、引用是否有效、关键结论是否有证据、外部系统是否达到目标状态。轨迹评测检查执行过程:该用的工具是否使用、工具参数是否合法、是否调用禁止工具、空结果与错误码是否被正确处理、失败后是否恢复、是否有无意义循环、停止时是否满足完成条件。每次运行必须留下证据,包括用例编号、系统版本、开始时间、最终输出、工具调用、环境状态、错误、重试次数、延迟、成本与停止原因。对会修改状态的 Agent,环境终态比最后回复更可信。没有结果评测,只能判断答案看起来对不对;没有轨迹评测,失败后不知道该改模型、工具还是流程。

第五步,采用规则、判定模型与人工三层评分。规则检查负责确定性内容:JSON 是否符合模式、必填字段是否缺失、文件是否存在、链接是否可解析访问、工具参数类型是否正确、调用次数是否超限、是否调用禁止工具、环境终态是否符合预期。能用环境状态验证的,不要用另一个模型读一遍然后说“看起来已完成”。规则便宜、稳定、易排错,但链接能打开不代表支持结论,字段填满不代表内容正确。

判定模型负责语义判断:结论是否得到引用内容支持、是否遗漏重要限制、来源冲突是否被准确呈现、最终回答是否真正回应用户目标、执行轨迹是否明显绕路。每个判定模型只评一个清楚维度,比“给总分”稳定。判断依据应写明输入、输出范围与格式,要求给出证据位置与不超过 80 字的理由,不评价文风、完整度或结论是否有趣。比较 v1 与 v2 时,成对判定通常比两个独立绝对分更直接:同一问题下对比 A/B 结果,按评分标准选更好的一份或判定持平。A/B 顺序必须随机,系统名称隐藏,避免位置偏好、长度偏好与自偏好。

人工评审负责标准与争议:业务专家定义评分标准;两到三位评审建立金标签;处理评审分歧;高风险与判定模型低置信用例转人工;定期随机抽查自动评分结果;从线上记录发现新失败模式。随机抽查不能省,因为只查判定模型主动标记失败的样本,会漏掉它非常自信地判错的情况。人工评审之间也有分歧,共享且清楚的评分标准可先提高人工一致性,再用人工校正过的标准支持判定模型。

判定模型本身也需要评测。上线前准备 100 至 500 条经专家确认的校准集,比较判定模型与人工标签的一致程度,检查它对严重错误的召回率、各任务切片表现以及证据不足时是否愿意弃权。平均一致率不能说明全部:如果判定模型对文风评价很准却常放过伪造引用,它仍不适合做发布门禁。各类错误的重要程度不同,必须单独报告。

第六步,重复运行以检验可靠性。Agent 输出有随机性,受模型采样、搜索结果、工具延迟与环境状态影响。一次成功只能说明这一次成功。单次成功率 80% 时,连续五次全部成功的概率约为 0.8 的 5 次方,即 32.8%。pass@k 表示运行 k 次只要一次成功就算通过,适合允许多次尝试的任务;pass^k 表示连续 k 次全部成功,适合企业自动生成日报、处理订单或修改系统状态等对稳定性要求更高的场景。用户只给一次机会时,单次任务成功率最接近真实体验。重要用例至少重复运行 3 至 5 次,测试同义改写、字段缺失、工具返回变慢与来源顺序变化下的稳定性。

比较 v1 与 v2 时,使用同一批用例做配对评测:同一问题先在相同初始状态下跑 v1,再跑 v2,直接看到哪些用例从失败变成功、哪些从成功变失败。两个版本分别跑一批随机问题,会把任务难度差异混入系统差异。最终报告至少包含:整任务成功率;关键任务的 pass^k;每类失败模式的失败率;各风险、难度与工具状态切片的结果;每次成功任务的成本;p50 与 p95 延迟;工具错误与恢复率;未授权操作率;95% 置信区间。不要只报一个“综合质量分”,总平均会藏住问题:v2 可能让常见任务提升 8 个百分点,同时让来源冲突任务退化 15 个百分点。置信区间也不能省:100 条任务中成功率从 80% 涨到 83%,样本量下本有几百分点波动,可能只说明“未发现重大回归”,不能证明显著更优。安全失败尤其要注意:n 次独立试验零失败时,95% 置信水平下真实失败率上界约为 3/n;100 次零失败对应上界仍约为 3%。低频高损失风险需要专门的挑战集、更多试验与系统硬控制,不能只靠平均流量中的零次观察。

第七步,在实验前把指标写成发布门禁,不能在看到结果后再定标准,否则人会为自己喜欢的版本找解释。门禁结构为:主要指标要求配对整任务成功率有实际提升且置信区间支持;非劣性要求关键流程成功率下降不超过 0.5 个百分点;安全要求关键未授权操作与伪造来源均为零,高风险失败上界低于政策阈值;可靠性要求关键用例 pass^k 高于目标;效率要求每次成功成本增幅不超过 5%、p95 延迟增幅不超过 200 毫秒;切片要求来源冲突、证据不足、工具失败与高风险切片无重大回归;运营要求轨迹完整率 100%、判定模型已校准、回滚就绪。这些数字是结构示例,真实阈值由业务风险、当前基线与样本量确定。每次成功成本比单次请求成本更真实:便宜但常失败的 Agent 需要重跑或人工返工,真实成本更高。

所有门禁通过后,不直接切全量。先跑影子模式,让 v2 接收真实请求但不影响用户;再跑金丝雀,只开放给一小部分低风险流量并保留回滚;稳定后再逐步扩大。评测终点是一项可解释、可回滚的发布决定。

第八步,把线上失败送回离线评测。离线数据永远覆盖不完真实世界。上线后先做便宜检查:工具错误、空输出、循环次数、成本异常、缺少引用、用户重试与人工接管。再抽取三类样本:明确失败或告警任务;判定模型不确定或评分器互相矛盾的任务;正常流量中的随机样本。前两类帮助找问题,随机样本负责发现系统没意识到的新失败。人工复核后,把代表性事故加入回归集,把新高风险模式加入挑战集;问题来自新客户或新业务切片时,补充主测试集抽样设计。每次修改提示词、模型、检索、技能、工具或工作流,都在同一批用例上重跑,一次只改一个主要变量。系统复杂后可测组件增量,例如固定任务、模型、工作区与评分器,只改变是否加载某技能,计算带技能与不带技能的质量差;同样方法可测提示词增量、检索增量、工具增量与记忆增量。多 Agent 系统应与最强单 Agent 基线在同一批任务上比较,证明质量增益足以覆盖新增复杂度。这部分可留到第二阶段。

第一版框架不必一次建成企业级系统。第一天只需要一个明确任务、30 条真实用例、几段确定性检查与一份人工评分标准;跑完后把失败分清楚,判断问题来自检索、工具、推理、验证还是停止条件。准备发布时,扩到 100 至 300 条数据,保留完整轨迹,校准判定模型,对重要任务做重复试验,加置信区间与切片分析。进入生产后接入影子、金丝雀、告警与回滚,并把每次真实事故变成回归用例。

整个方法围绕同一闭环:先明确决策;再写清做完的条件;用真实任务建数据集;同时检查终态与轨迹;分层评分;重复运行看可靠性;用发布门禁做决定;把线上失败送回评测集。

模型决定任务是否可能完成;评测框架负责证明它能否稳定、安全、可解释地交付。

关联工程母题系统与实测说明:

本篇「Agent 生产级评测三要素与静默失败防御」由 整理收录于 qilaidav 工程知识库,围绕 企业协同与三库底座 (Spec/Prompt/Memory) 的生产环境架构设计、链路排障与确定性验证展开沉淀。完整系统模块、部署边界与技术规格请查阅方案主页:→ 查看 企业协同与三库底座 (Spec/Prompt/Memory) 详情(架构诊断与定制交流:Telegram @BD8888 · hello@qilaidav.com · GitHub @qilaidev)。

免责声明与评测方法:本文所涉开源工具、模型基准与工程配置均基于实测环境与公开技术资料整理,仅供系统架构研发参考,不构成任何商业背书或投资建议。

— qilai · 摘自 Telegram 频道 @AIKB8