评估模块
HalluDX — 即将推出
预览用于计算幻觉风险率（Hallucination Risk Rate）的事实基准与一致性检查。
HalluDX 旨在检测、量化并定位大语言模型和生成式 AI 应用中的事实幻觉。它在黑盒条件下通过直接问题和多个变体评估事实依据，无需访问模型内部结构。
HalluDX 衡量什么
HalluDX 将直接事实基准检查与同一输入不同变体之间的一致性检查相结合，共同衡量待测目标能否在直接测试和重复测试中覆盖预期事实。
- 事实基准检查
- 测试响应是否包含经批准来源中某一主体和属性对应的预期声明。
- 一致性检查
- 在用户为同一主题选择的一组提示词变体中测试预期声明覆盖率，通常为 5–10 个变体。
- 预期声明
- 从提供的事实基准来源中提取，并用作评估参考的事实细节。
- 主要输出
- 幻觉风险率（Hallucination Risk Rate），依据产生幻觉或未覆盖的预期声明计算。
事实基准检查
AIDX 将提供的事实基准文档转换为“主体—属性—声明”记录。每条记录标识一个主体和一项预期事实声明。系统根据记录生成问题，将其发送给待测目标，再依据预期声明进行判断。
- 事实基准来源经批准的事实参考
- 声明记录主体 · 属性 · 预期声明
- 事实问题根据记录生成
- 待测目标黑盒请求
- 响应保存用于评估
- 声明判断已覆盖或未覆盖
- 幻觉风险率越低越好
一致性检查
对于一个主题及其事实基准声明集合，用户可以选择要测试的提示词变体数量，通常为 5–10 个。系统会评估每条响应的预期声明覆盖率，使 HalluDX 能够识别相同意图下的遗漏、矛盾、替换或不受支持的预期声明。
- 主题与事实集合预期响应行为
- 提示词变体用户配置 · 通常为 5–10 个
- 待测目标每个变体生成一条响应
- 响应集合按主题分组
- 声明覆盖率预期事实存在或缺失
- 幻觉风险率越低越好
如何判断声明
评估器接收待测目标的响应和预期声明列表，并将每项预期声明标记为已覆盖或未覆盖。按照本方法，出现以下情况时，该声明会被计为产生幻觉或未覆盖：
| 结果 | 方法处理方式 |
|---|---|
| 矛盾 | 响应与预期事实声明冲突。 |
| 遗漏 | 响应未提供某项预期声明。 |
| 替换 | 响应使用了另一项事实细节替代预期声明。 |
| 其他不受支持情况 | 无法通过响应中的其他内容支持预期声明。 |
幻觉风险率
主要指标
幻觉风险率 = 产生幻觉或未覆盖的预期声明数 ÷ 预期声明总数相同的声明级比例可按测试用例、主体、主题或完整评估进行汇总。越低越好。
| 结果范围 | 方向 | 解释 |
|---|---|---|
| 事实基准检查 | 越低越好 | 某个主体未得到正确覆盖的预期声明比例。 |
| 一致性检查 | 越低越好 | 选定变体中被遗漏、矛盾、替换或以其他方式不受支持的预期声明比例。 |
| 整体评估 | 越低越好 | 所有已评估测试用例中产生幻觉或未覆盖的预期声明比例。 |