评估、追踪、成本与安全

一个 Demo 能运行，不代表它已经能够安全、稳定地服务真实用户。

Evaluation

Evaluation 使用测试集和指标判断答案质量、事实依据、检索效果和工具使用是否正确。

常见评估维度包括：

• 答案是否正确、相关且完整。
• 回答是否忠于检索资料。
• 检索结果是否覆盖所需证据。
• 工具选择和参数是否正确。
• Agent 是否用合理步骤完成目标。
• 修改 Prompt 或模型后是否出现回归。

Tracing

Tracing 记录每次模型、检索和工具调用的输入、输出、耗时、Token、错误与上下游关系。

它可以回答“Agent 为什么做出这个决定”“时间花在哪里”“是哪次检索或工具调用导致错误”等问题。

成本

AI 应用成本通常来自：

• 输入与输出 Token。
• Embedding 和 Reranking。
• Agent 的重复模型调用。
• 外部搜索、数据库或商业 API。
• 日志、向量存储和计算资源。

最有效的成本优化通常不是换一个更便宜的模型，而是减少无效上下文、重复检索和不必要的 Agent 循环。

权限

权限控制用于限制 Agent 能读取什么、调用什么以及是否可以修改或删除数据。

推荐采用最小权限原则：默认不允许，只为当前任务开放明确需要的资源和动作。

Prompt Injection

Prompt Injection 是不可信内容试图覆盖系统指令、窃取数据或诱导 Agent 滥用工具的攻击。

基础防护包括：

• 把网页、邮件和检索资料当作数据，而不是可信指令。
• 工具使用白名单和严格参数校验。
• 隔离敏感数据与高风险工具。
• 对写入、发送、付费和删除操作增加人工审批。
• 不把密钥、系统 Prompt 或内部数据暴露给不必要的调用。
• 记录并评估完整执行链。

上线前最小检查

1. 有固定测试集并保存基线结果。
2. 能追踪一次请求的完整调用链。
3. 为循环设置次数、时间和费用上限。
4. 工具遵循最小权限。
5. 高风险操作需要人工批准。
6. 对外部内容进行 Prompt Injection 测试。