参考资料

故障排查

在不丢失原始评估证据的前提下,诊断常见的待测目标连接、执行、评分和结果问题。

从最早发生故障的阶段开始检查。待测目标连接、测试用例生成和评分问题可能在最终视图中表现出相似症状,但需要采用不同的修复方法。

按照诊断顺序排查

  1. 确定发生故障的阶段

    判断运行是在待测目标验证、测试用例准备、待测目标执行、评估器评分还是聚合阶段失败。

  2. 查看范围最具体的错误

    相比笼统的评估状态,应优先查看测试用例级或阶段级错误消息。记录显示的时间以及请求或测试用例标识符。

  3. 检查发生了哪些变化

    将待测目标版本、凭据、端点、部署状态、速率限制、数据集和评估设置与上一次成功运行进行比较。

  4. 测试最小且安全的单元

    再次启动完整评估之前,先验证待测目标连接,或进行有限范围的重试。

  5. 创建可追溯的重试

    测试基础设施修复时,应保持方法和证据不变。如果待测目标或方法发生变化,请将该次重试视为新的受测范围。

待测目标连接问题

症状可能原因检查项
身份验证失败或未授权错误凭据缺失、已过期或权限范围不正确凭据有效性、请求头格式、密钥权限范围和待测目标提供商
找不到待测目标模型、部署、路由或 Base URL 不正确准确的部署名称和最终请求 URL
连接超时待测目标不可用、存在私有网络边界或超时时间过短服务健康状况、网络访问、响应延迟和超时设置
响应为空或无法读取响应结构与配置的映射不同原始响应结构和预期响应字段
手动客户端可用,但 AIDX 不可用请求头、代理、TLS、来源或网络路径不同在不暴露凭据的情况下比较完整请求路径

执行问题

症状说明建议操作
评估一直处于 Awaiting Trigger尚未提交待测目标响应确认 Evaluation Trigger 或 API 集成已开始提交响应。
部分测试用例完成后进度停止反复出现的待测目标错误或速率限制可能阻塞执行重试前检查最近失败的测试用例和待测目标服务限制。
大量测试用例超时待测目标延迟超出执行时间窗口,或服务过载先稳定待测目标,再检查速率和超时设置,然后创建受控重试。
速率限制错误待测目标拒绝当前评估请求速率在支持的情况下降低并发量或请求速率,或提高待测目标配额。
响应出现非预期差异待测目标具有随机性,或在运行期间发生变化确认模型、版本和采样设置;不要合并来自不同待测目标版本的证据。

评分与结果问题

待测目标执行完成时,评估评分仍可能尚未完成。请区分缺少响应和缺少评估器结果这两种情况。

症状首先检查为何重要
没有汇总评分所有必需测试用例和评估器任务是否均已完成聚合可能需要等待所有必需结果完成。
评分低于预期指标方向、纳入的测试用例,以及表现最弱的主要类别即使聚合计算有效,结果仍可能主要由某个集中的风险领域决定。
重试后评分发生变化待测目标版本、采样、数据集、方法和排除项只有两次运行的范围相同时,二者才具有可比性。
测试用例标记为未评分响应是否可读以及评估器是否可用不应在没有说明的情况下把未评分测试用例视为安全结果。

何时联系 AIDX

如果待测目标连接成功,但平台处理反复失败;已完成的运行无法评分;或显示的证据内部不一致,请联系 AIDX。

请提供以下非机密信息:

请提供请勿提供
工作区或组织名称密码、API 密钥、访问令牌或完整密钥值
评估名称或标识符未经批准的支持渠道中的敏感客户提示词
待测目标类型和声明的版本未经遮盖的个人数据或受监管数据
故障阶段、状态、时间戳和错误文本请求示例或截图中嵌入的凭据
重试是否产生了相同结果将经过编辑的结果数据当作原始证据提供