记录 Execution Trajectory
保留计划、Context、模型与工具调用、状态、人工判断和最终结果，形成完整运行证据。
返回技术总览
企业级智能体基础 · Agent Reliability & Evaluation
智能体可靠性与评测
让每一次运行可观察、可评测，也推动下一次改进。
围绕完整任务记录计划、Context、模型与工具调用、状态变化、人工判断和业务结果，从真实失败中形成评测维度、黄金样例与回归门槛，再把验证后的改进带回模型、Context、Skills 和运行策略。
运行机制
从真实运行中的失败，建立可重复的改进闭环。
评测维度不应只由预设基准产生，也要从完整 Execution Trajectory 中持续发现新失败，再由领域专家建立判据并校准自动评估。
归纳失败分类
从真实运行记录中发现异常，合并为失败维度，并由领域专家建立判据与黄金样例。
校准 Evaluator
用人工判定的黄金样例对齐自动评估，对机器无法稳定判断的新型或主观失败保留人工复核。
设置回归门槛
模型、Context、Skills 或系统变更后重跑关键任务，只有通过门槛的改进才能进入生产。
技术工件 · Evaluation System
Trajectory 让问题可定位，评测集让改进可验证。
可靠性不是一个总分，而是一组相互连接的工件：运行轨迹提供证据，失败分类定义问题，黄金样例校准判断，回归门槛控制变更。
Execution Trajectory
记录一次任务完整经过，而不是只保留最终回答。
Failure Taxonomy
从真实异常中形成可复现、可归因的失败维度。
Golden Set + Evaluator
以领域专家判例对齐自动评估，并持续吸收新型失败。
Regression Gate
在基础模型、Skills 或系统变化后保护已经验证的能力。
生产中的作用
在真实任务中，它负责什么。
在上线前定义可验证门槛
把关键任务、失败条件与人工复核标准转化为可重复的上线检查，而不是依赖演示效果。
快速定位问题发生在哪一层
通过 Execution Trajectory 区分模型、Context、Harness、Skill、工具或流程问题，缩短排查与修复路径。
让升级不牺牲既有能力
基础模型、Skills 或系统变化后回归关键任务，确认改进不是以其他能力退化为代价。
验证与边界
评测本身，也必须被持续校准。
自动评测可以扩大覆盖，但新的失败类型、主观质量和高风险结果仍需要领域专家定义标准、校准 Evaluator 并保留责任边界。业务结果用于验证评测是否真正代表价值，而不是替代专业判断。
衡量方式
01
任务级成功率
02
Evaluator 与人工一致性
03
关键任务回归通过率
04
失败恢复成功率
边界与护栏
明确评测范围
区分模型输出、步骤正确性、任务完成与业务结果，避免单一指标替代完整判断。
人工校准与复核
由领域专家建立黄金样例、处理新失败类型，并复核高风险或主观结果。
区分当前能力与演进方向
清楚区分已运行的数据回流与人工迭代，以及仍在持续工程化的自动评测能力。
协同技术
每一项技术，都在同一套系统中工作。
模型、Context、运行时与企业级基础彼此连接，才让智能体从理解走向可靠行动。
技术问题
理解它的机制、边界与生产要求。
01
离线评测与线上业务结果如何配合？
离线评测用于稳定复现关键任务与已知失败，线上结果则检验系统在真实环境中的完成质量和业务影响。两者需要通过同一任务定义与运行记录关联，避免离线分数提高却没有带来真实改进。
02
新的生产失败如何进入评测集？
先基于完整运行记录确认失败原因和责任边界，再由领域专家整理为可复现任务、期望行为与判定标准。案例应按场景和版本管理，进入后续模型、Skills、Context 与流程变更的回归测试。
03
不同模型或 Skills 版本如何公平比较？
需要固定任务定义、Context 快照、工具环境和判定标准，并同时记录质量、成本、时延、人工介入与失败恢复。只有在相同条件下完成多次运行，才能区分稳定改进与偶然成功。