参考资料
故障排查
在不丢失原始评估证据的前提下,诊断常见的待测目标连接、执行、评分和结果问题。
从最早发生故障的阶段开始检查。待测目标连接、测试用例生成和评分问题可能在最终视图中表现出相似症状,但需要采用不同的修复方法。
按照诊断顺序排查
确定发生故障的阶段
判断运行是在待测目标验证、测试用例准备、待测目标执行、评估器评分还是聚合阶段失败。
查看范围最具体的错误
相比笼统的评估状态,应优先查看测试用例级或阶段级错误消息。记录显示的时间以及请求或测试用例标识符。
检查发生了哪些变化
将待测目标版本、凭据、端点、部署状态、速率限制、数据集和评估设置与上一次成功运行进行比较。
测试最小且安全的单元
再次启动完整评估之前,先验证待测目标连接,或进行有限范围的重试。
创建可追溯的重试
测试基础设施修复时,应保持方法和证据不变。如果待测目标或方法发生变化,请将该次重试视为新的受测范围。
待测目标连接问题
| 症状 | 可能原因 | 检查项 |
|---|---|---|
| 身份验证失败或未授权错误 | 凭据缺失、已过期或权限范围不正确 | 凭据有效性、请求头格式、密钥权限范围和待测目标提供商 |
| 找不到待测目标 | 模型、部署、路由或 Base URL 不正确 | 准确的部署名称和最终请求 URL |
| 连接超时 | 待测目标不可用、存在私有网络边界或超时时间过短 | 服务健康状况、网络访问、响应延迟和超时设置 |
| 响应为空或无法读取 | 响应结构与配置的映射不同 | 原始响应结构和预期响应字段 |
| 手动客户端可用,但 AIDX 不可用 | 请求头、代理、TLS、来源或网络路径不同 | 在不暴露凭据的情况下比较完整请求路径 |
执行问题
| 症状 | 说明 | 建议操作 |
|---|---|---|
| 评估一直处于 Awaiting Trigger | 尚未提交待测目标响应 | 确认 Evaluation Trigger 或 API 集成已开始提交响应。 |
| 部分测试用例完成后进度停止 | 反复出现的待测目标错误或速率限制可能阻塞执行 | 重试前检查最近失败的测试用例和待测目标服务限制。 |
| 大量测试用例超时 | 待测目标延迟超出执行时间窗口,或服务过载 | 先稳定待测目标,再检查速率和超时设置,然后创建受控重试。 |
| 速率限制错误 | 待测目标拒绝当前评估请求速率 | 在支持的情况下降低并发量或请求速率,或提高待测目标配额。 |
| 响应出现非预期差异 | 待测目标具有随机性,或在运行期间发生变化 | 确认模型、版本和采样设置;不要合并来自不同待测目标版本的证据。 |
评分与结果问题
待测目标执行完成时,评估评分仍可能尚未完成。请区分缺少响应和缺少评估器结果这两种情况。
| 症状 | 首先检查 | 为何重要 |
|---|---|---|
| 没有汇总评分 | 所有必需测试用例和评估器任务是否均已完成 | 聚合可能需要等待所有必需结果完成。 |
| 评分低于预期 | 指标方向、纳入的测试用例,以及表现最弱的主要类别 | 即使聚合计算有效,结果仍可能主要由某个集中的风险领域决定。 |
| 重试后评分发生变化 | 待测目标版本、采样、数据集、方法和排除项 | 只有两次运行的范围相同时,二者才具有可比性。 |
| 测试用例标记为未评分 | 响应是否可读以及评估器是否可用 | 不应在没有说明的情况下把未评分测试用例视为安全结果。 |
何时联系 AIDX
如果待测目标连接成功,但平台处理反复失败;已完成的运行无法评分;或显示的证据内部不一致,请联系 AIDX。
请提供以下非机密信息:
| 请提供 | 请勿提供 |
|---|---|
| 工作区或组织名称 | 密码、API 密钥、访问令牌或完整密钥值 |
| 评估名称或标识符 | 未经批准的支持渠道中的敏感客户提示词 |
| 待测目标类型和声明的版本 | 未经遮盖的个人数据或受监管数据 |
| 故障阶段、状态、时间戳和错误文本 | 请求示例或截图中嵌入的凭据 |
| 重试是否产生了相同结果 | 将经过编辑的结果数据当作原始证据提供 |