开始使用

AIDX 简介

AIDX 将 AI 安全测试转化为结构化工作流:从清晰定义待测系统,到获得可追溯的发现、评分与报告。

AIDX 是一个自动化评估平台,用于测试 AI 系统的安全性、鲁棒性、可靠性和政策对齐情况。它可以通过明确的接口,在定义好的测试范围内评估模型、聊天机器人和 AI 应用。

平台将可重复的测试方法与结构化证据相结合。AIDX 不会把评分视为孤立的数字,而是将待测目标、版本、测试用例、方法、响应、评分逻辑和报告关联起来,让团队了解测试了什么,以及为何会产生该结果。

评估流程待测目标 → 报告
  1. 01确定范围明确待测目标及其版本
  2. 02配置选择方法与证据
  3. 03执行生成并运行测试用例
  4. 04评分汇总结果与风险
  5. 05报告审阅可追溯的发现

AIDX 的测试对象

AIDX 面向黑盒评估而设计:系统会通过真实用户或集成应用所使用的同类接口接受测试。待测目标可以是基础模型端点、企业聊天机器人,也可以是包含检索、护栏、工具和业务逻辑的应用。

模型
通过 API 兼容端点访问的托管语言模型或多模态模型。
聊天机器人
其行为由提示词、检索、政策和应用逻辑共同决定的对话系统。
AI 应用
向用户或下游系统提供 AI 能力的端到端产品或工作流。

评估模块

从团队需要回答的风险问题出发。AIDX 的每个评估模块采用不同的测试证据,也会对系统行为给出不同角度的解读。

评估如何运行

  1. 定义测试范围

    确定系统、版本、接口、预期用途和部署边界。评估结果只对实际测试过的范围有意义。

  2. 配置待测目标

    提供 AIDX 发送测试输入和接收待测目标响应所需的端点与连接设置。在启动大型评估前,先验证连接是否正常。

  3. 选择评估方法

    选择与风险问题匹配的方法,再选择或提供该方法所需的数据集、政策、场景、主题、攻击方法或其他证据。

  4. 执行与评分

    AIDX 生成或加载测试用例,将其发送给待测目标,记录响应,运行评估器,并将用例级结果汇总为分类和总体指标。

  5. 审查证据与报告

    先查看核心指标,再检查维度、分类和具有代表性的失败用例。使用报告沟通测试范围、发现和修复优先级。

下一步