# AI 可见性报告里最容易骗人的三个数字

> 「我们上个月 AI 提及率 0%，这个月 12%，涨了 12 倍！」——这类结论往往站不住脚。本文拆解三个最容易让人做错决策的读数：把"没测"当"0%"、把分母藏起来的百分比、以及没有基准期的环比。每个都给出可执行的核对方法。

## 为什么专门写一篇文章拆自己的报表

在 AI 可见性这个还很新的领域里，**报表面临的最大风险不是"没有数据"，而是"数据看起来很有结论"。**

一个百分比、一条上升曲线、一句"环比增长 300%"，看上去是硬邦邦的事实。但读过统计的人都知道：**同一批数据，口径不同可以得出完全相反的结论。**

更麻烦的是，错误的读数会直接导致错误的行动：

- 把"没测过"读成"表现差"→ 花预算去优化一个本来没问题的引擎；
- 把噪声读成涨跌 → 在无意义的波动上调整策略；
- 把单次快照读成趋势 → 基于偶然现象做长期决定。

所以这篇文章的目的很直白：**在我们自己的报表里，指出三个最容易被误读的地方，并给出核对方法。** 如果你在其他工具里看到同样的数字，也用得上。

## 陷阱一：把"没测到"显示成 0%

这是最严重的一个，因为它把"未知"伪装成了"已知的坏消息"。

### 长什么样

一张按引擎分列的表：

| 引擎 | 提及率 |
|---|---|
| 引擎 A | 45% |
| 引擎 B | 22% |
| 引擎 C | **0%** |
| 引擎 D | **0%** |

看到这张表，自然的推论是："引擎 C 和 D 完全不推荐我们，得重点优化。"

### 真相可能是什么

那两个 0% 背后的实际状态可能是：

- **该引擎压根没配置**（没有 API Key、没有可用的调用通道）→ 我们一次都没问过；
- **该引擎本次采样失败**（超时、限流、返回异常）→ 问了但没拿到有效回答；
- **该引擎确实问了，一条都没提到你**（真 0%）——这才是需要行动的那一种。

三种情况的含义完全不同，但在这张表里长得一模一样。

### 为什么会这样

因为"0"是一个太方便的值。很多系统的数据模型是"没有记录 → 默认 0"，图表渲染时也习惯把空值填成 0。于是**"缺失"在链路上被静默地转换成了"零"**。

### 正确的做法

**分母为 0 时显示"暂无数据"，绝不显示 0%。**

更进一步，应该把抽样状态也讲清楚：这个引擎是"未配置"、"本次失败"还是"已采样 N 条，命中 0 条"。

### 怎么核对

看那份报表时问三个问题：

1. 这个 0% 的分母是多少？（有效样本数）
2. 如果分母是 0，报告写的是"0%"还是"暂无数据"？
3. 有没有区分"未配置/失败"与"确实零命中"？

**如果一份报告在这些问题上含糊，那么它所有为 0 的格子都不可信——包括那些"看起来不太重要"的。**

## 陷阱二：不给分母的百分比

第二个陷阱没那么显眼，但它让所有小样本结论都变得危险。

### 长什么样

"本品牌在引擎 X 的提及率为 33%。"

33% 听起来是个"三分之一"的事实。但它的分母可能是 3，也可能是 300。

### 为什么重要

**小样本的百分比极不稳定。** 分母是 3 时，多命中一次，比率就从 33% 跳到 67%。这时候你看到的不是"趋势"，是**随机波动**。

在 AI 可见性监测里，这个问题尤其突出，因为：

- 每个引擎对同一问题的回答本身就有随机性（同一问题问两次，措辞和提及都可能不同）；
- 问题集通常不会很大（10-50 个问题是常见规模）；
- 引擎数量有限（通常 5-10 个）。

三者相乘，意味着**任何一个格子里的样本量都不会很大**。所以分母不是"专业细节"，它是判断这个数字能不能用的前提。

### 正确的做法

**所有比率都带分母**，并且对小样本给出明确提示。

我们的做法是给采样结果分置信度：有效样本数达到一定量级才标为高置信度，样本偏少时如实标注为低置信度并提示"结论仅供参考"。

**「低置信度下的 60%」和「高置信度下的 60%」不是同一个东西**，只报数字不报置信度，等于把不确定性藏起来。

### 怎么核对

- 每个百分比旁边有没有样本数？
- 有没有对样本量偏小的格子做标注？
- 报告有没有给出"这次总共采了多少次、成功多少次"的总账？

## 陷阱三：没有可比基准期的环比

第三个陷阱最讨人喜欢，因为它总能讲出好故事。

### 长什么样

"AI 提及率环比提升 300%！"

### 真相可能是什么

环比的基准不同，同一批数据可以是"暴涨"也可以是"持平"：

- 上期采了 10 条，命中 1 条（10%）；本期采了 100 条，命中 40 条（40%）→ 看起来涨了 4 倍。
  **但这可能只是因为本期采样量变大了**，覆盖到了更多问题场景。
- 上期某个引擎没配好，数据是 0；本期配好了 → 环比"从 0 到 22%"，这是**数据完整性的改善**，不是品牌表现的改善。
- 上期问题集里有 20 个问题，本期改成 12 个（更聚焦）→ 分母结构变了，两者不可比。

**只要分母的构成变了，前后两期的比率就没有可比性。**

### 正确的做法

**变化率只在分母、问题集、引擎集合都一致时才有意义。**

所以我们的测量设计是：**同一批问题、同一批引擎、同一套采样规则**，只有时间在变。任何一次调整（加问题、换引擎、改采样档位）都会开启一个新的基线，而不是接着上一期比。

还有一个更隐蔽的配套问题：**基准期本身可能是空的。**

如果上期压根没有有效采样（比如刚接入、还没跑过），那"从上期到本期"的变化率根本不该被计算——否则"从没测到"会被渲染成"提升了 N 个百分点"这种凭空出现的成效。

### 怎么核对

- 报告有没有说明"两期的口径是否一致"？
- 如果本期加了新引擎或新问题，它是**单独列出**还是混进了环比？
- 基准期没有有效样本时，变化率那一栏显示的是"不适用"还是硬算出来的数字？

## 一份可信的 AI 可见性报表，应该长什么样

把上面三个陷阱反过来，就是一份合格的报表该有的样子：

| 要求 | 为什么 |
|---|---|
| 分母为 0 → 显示「暂无数据」 | "没测到"与"测到 0"是完全相反的两件事 |
| 区分「未配置 / 采样失败 / 零命中」 | 三种情况的行动方向不同 |
| 每个比率带样本数 | 小样本的百分比是噪声不是趋势 |
| 样本量偏小时标注置信度 | 把不确定性交给读者判断 |
| 环比只在口径一致时给出 | 分母结构变了就不可比 |
| 基准期无样本时不计算变化率 | 否则"没测"会被写成"提升" |
| 表明"这些问题是谁选的" | 问题集决定了一切结论的边界 |

这份清单看起来像是给自己找麻烦。但我们的判断是：**在一个所有玩家都还年轻的领域里，"数据可信"比"数据好看"更稀缺，也更值钱。**

如果你正在评估任何一家 AI 可见性工具，把上面这张表拿过去问一遍。能答上来的不多。

## 一个引申：这也是我们不做效果承诺的原因之一

常有人问：你们能不能保证我们的提及率提升到多少？

不能。而且任何一个在这个领域里给出确定性数字的人，都应该被要求解释他打算怎么处理上面这三个陷阱。

我们承诺的是另一套东西：

- **口径公开**：采样规则、评分维度、置信度分级全部写在《测量方法论》页面，随时可核对；
- **过程可复现**：同一批问题、同一批引擎、同样的采样档位，任何人都可以重跑；
- **结论带边界**：每个数字旁边标明样本量与适用范围，并明确写出"不能据此推出什么"。

**测量的价值不在于给你一个好看的数字，而在于让你能基于真实的数字做决定。**