开始使用
AIDX 简介
AIDX 将 AI 安全测试转化为结构化工作流:从清晰定义待测系统,到获得可追溯的发现、评分与报告。
AIDX 是一个自动化评估平台,用于测试 AI 系统的安全性、鲁棒性、可靠性和政策对齐情况。它可以通过明确的接口,在定义好的测试范围内评估模型、聊天机器人和 AI 应用。
平台将可重复的测试方法与结构化证据相结合。AIDX 不会把评分视为孤立的数字,而是将待测目标、版本、测试用例、方法、响应、评分逻辑和报告关联起来,让团队了解测试了什么,以及为何会产生该结果。
评估流程
待测目标 → 报告- 01确定范围明确待测目标及其版本
- 02配置选择方法与证据
- 03执行生成并运行测试用例
- 04评分汇总结果与风险
- 05报告审阅可追溯的发现
AIDX 的测试对象
AIDX 面向黑盒评估而设计:系统会通过真实用户或集成应用所使用的同类接口接受测试。待测目标可以是基础模型端点、企业聊天机器人,也可以是包含检索、护栏、工具和业务逻辑的应用。
- 模型
- 通过 API 兼容端点访问的托管语言模型或多模态模型。
- 聊天机器人
- 其行为由提示词、检索、政策和应用逻辑共同决定的对话系统。
- AI 应用
- 向用户或下游系统提供 AI 能力的端到端产品或工作流。
评估模块
从团队需要回答的风险问题出发。AIDX 的每个评估模块采用不同的测试证据,也会对系统行为给出不同角度的解读。
评估如何运行
定义测试范围
确定系统、版本、接口、预期用途和部署边界。评估结果只对实际测试过的范围有意义。
配置待测目标
提供 AIDX 发送测试输入和接收待测目标响应所需的端点与连接设置。在启动大型评估前,先验证连接是否正常。
选择评估方法
选择与风险问题匹配的方法,再选择或提供该方法所需的数据集、政策、场景、主题、攻击方法或其他证据。
执行与评分
AIDX 生成或加载测试用例,将其发送给待测目标,记录响应,运行评估器,并将用例级结果汇总为分类和总体指标。
审查证据与报告
先查看核心指标,再检查维度、分类和具有代表性的失败用例。使用报告沟通测试范围、发现和修复优先级。