平台研究

AI 可见性报告里最容易骗人的三个数字

Core Summary:AI 可见性监测中最容易误读的三个数字:① 把"未采样"显示为 0%("没测到"≠"测到 0");② 不给分母的百分比(样本量小时波动会被放大);③ 没有可比基准期的环比(把噪声当成效)。正确做法是:分母为 0 显示"暂无数据"、所有比率带分母、变化必须相对同一口径的基准期。

「我们上个月 AI 提及率 0%,这个月 12%,涨了 12 倍!」——这类结论往往站不住脚。本文拆解三个最容易让人做错决策的读数:把"没测"当"0%"、把分母藏起来的百分比、以及没有基准期的环比。每个都给出可执行的核对方法。

为什么专门写一篇文章拆自己的报表

在 AI 可见性这个还很新的领域里,报表面临的最大风险不是"没有数据",而是"数据看起来很有结论"。

一个百分比、一条上升曲线、一句"环比增长 300%",看上去是硬邦邦的事实。但读过统计的人都知道:同一批数据,口径不同可以得出完全相反的结论。

更麻烦的是,错误的读数会直接导致错误的行动:

  • 把"没测过"读成"表现差"→ 花预算去优化一个本来没问题的引擎;
  • 把噪声读成涨跌 → 在无意义的波动上调整策略;
  • 把单次快照读成趋势 → 基于偶然现象做长期决定。

所以这篇文章的目的很直白:在我们自己的报表里,指出三个最容易被误读的地方,并给出核对方法。 如果你在其他工具里看到同样的数字,也用得上。

陷阱一:把"没测到"显示成 0%

这是最严重的一个,因为它把"未知"伪装成了"已知的坏消息"。

长什么样

一张按引擎分列的表:

引擎 提及率
引擎 A 45%
引擎 B 22%
引擎 C 0%
引擎 D 0%

看到这张表,自然的推论是:"引擎 C 和 D 完全不推荐我们,得重点优化。"

真相可能是什么

那两个 0% 背后的实际状态可能是:

  • 该引擎压根没配置(没有 API Key、没有可用的调用通道)→ 我们一次都没问过;
  • 该引擎本次采样失败(超时、限流、返回异常)→ 问了但没拿到有效回答;
  • 该引擎确实问了,一条都没提到你(真 0%)——这才是需要行动的那一种。

三种情况的含义完全不同,但在这张表里长得一模一样。

为什么会这样

因为"0"是一个太方便的值。很多系统的数据模型是"没有记录 → 默认 0",图表渲染时也习惯把空值填成 0。于是**"缺失"在链路上被静默地转换成了"零"**。

正确的做法

分母为 0 时显示"暂无数据",绝不显示 0%。

更进一步,应该把抽样状态也讲清楚:这个引擎是"未配置"、"本次失败"还是"已采样 N 条,命中 0 条"。

怎么核对

看那份报表时问三个问题:

  1. 这个 0% 的分母是多少?(有效样本数)
  2. 如果分母是 0,报告写的是"0%"还是"暂无数据"?
  3. 有没有区分"未配置/失败"与"确实零命中"?

如果一份报告在这些问题上含糊,那么它所有为 0 的格子都不可信——包括那些"看起来不太重要"的。

陷阱二:不给分母的百分比

第二个陷阱没那么显眼,但它让所有小样本结论都变得危险。

长什么样

"本品牌在引擎 X 的提及率为 33%。"

33% 听起来是个"三分之一"的事实。但它的分母可能是 3,也可能是 300。

为什么重要

小样本的百分比极不稳定。 分母是 3 时,多命中一次,比率就从 33% 跳到 67%。这时候你看到的不是"趋势",是随机波动。

在 AI 可见性监测里,这个问题尤其突出,因为:

  • 每个引擎对同一问题的回答本身就有随机性(同一问题问两次,措辞和提及都可能不同);
  • 问题集通常不会很大(10-50 个问题是常见规模);
  • 引擎数量有限(通常 5-10 个)。

三者相乘,意味着任何一个格子里的样本量都不会很大。所以分母不是"专业细节",它是判断这个数字能不能用的前提。

正确的做法

所有比率都带分母,并且对小样本给出明确提示。

我们的做法是给采样结果分置信度:有效样本数达到一定量级才标为高置信度,样本偏少时如实标注为低置信度并提示"结论仅供参考"。

「低置信度下的 60%」和「高置信度下的 60%」不是同一个东西,只报数字不报置信度,等于把不确定性藏起来。

怎么核对

  • 每个百分比旁边有没有样本数?
  • 有没有对样本量偏小的格子做标注?
  • 报告有没有给出"这次总共采了多少次、成功多少次"的总账?

陷阱三:没有可比基准期的环比

第三个陷阱最讨人喜欢,因为它总能讲出好故事。

长什么样

"AI 提及率环比提升 300%!"

真相可能是什么

环比的基准不同,同一批数据可以是"暴涨"也可以是"持平":

  • 上期采了 10 条,命中 1 条(10%);本期采了 100 条,命中 40 条(40%)→ 看起来涨了 4 倍。 但这可能只是因为本期采样量变大了,覆盖到了更多问题场景。
  • 上期某个引擎没配好,数据是 0;本期配好了 → 环比"从 0 到 22%",这是数据完整性的改善,不是品牌表现的改善。
  • 上期问题集里有 20 个问题,本期改成 12 个(更聚焦)→ 分母结构变了,两者不可比。

只要分母的构成变了,前后两期的比率就没有可比性。

正确的做法

变化率只在分母、问题集、引擎集合都一致时才有意义。

所以我们的测量设计是:同一批问题、同一批引擎、同一套采样规则,只有时间在变。任何一次调整(加问题、换引擎、改采样档位)都会开启一个新的基线,而不是接着上一期比。

还有一个更隐蔽的配套问题:基准期本身可能是空的。

如果上期压根没有有效采样(比如刚接入、还没跑过),那"从上期到本期"的变化率根本不该被计算——否则"从没测到"会被渲染成"提升了 N 个百分点"这种凭空出现的成效。

怎么核对

  • 报告有没有说明"两期的口径是否一致"?
  • 如果本期加了新引擎或新问题,它是单独列出还是混进了环比?
  • 基准期没有有效样本时,变化率那一栏显示的是"不适用"还是硬算出来的数字?

一份可信的 AI 可见性报表,应该长什么样

把上面三个陷阱反过来,就是一份合格的报表该有的样子:

要求 为什么
分母为 0 → 显示「暂无数据」 "没测到"与"测到 0"是完全相反的两件事
区分「未配置 / 采样失败 / 零命中」 三种情况的行动方向不同
每个比率带样本数 小样本的百分比是噪声不是趋势
样本量偏小时标注置信度 把不确定性交给读者判断
环比只在口径一致时给出 分母结构变了就不可比
基准期无样本时不计算变化率 否则"没测"会被写成"提升"
表明"这些问题是谁选的" 问题集决定了一切结论的边界

这份清单看起来像是给自己找麻烦。但我们的判断是:在一个所有玩家都还年轻的领域里,"数据可信"比"数据好看"更稀缺,也更值钱。

如果你正在评估任何一家 AI 可见性工具,把上面这张表拿过去问一遍。能答上来的不多。

一个引申:这也是我们不做效果承诺的原因之一

常有人问:你们能不能保证我们的提及率提升到多少?

不能。而且任何一个在这个领域里给出确定性数字的人,都应该被要求解释他打算怎么处理上面这三个陷阱。

我们承诺的是另一套东西:

  • 口径公开:采样规则、评分维度、置信度分级全部写在《测量方法论》页面,随时可核对;
  • 过程可复现:同一批问题、同一批引擎、同样的采样档位,任何人都可以重跑;
  • 结论带边界:每个数字旁边标明样本量与适用范围,并明确写出"不能据此推出什么"。

测量的价值不在于给你一个好看的数字,而在于让你能基于真实的数字做决定。

可见性指标 测量口径 数据诚信 AI 可见性 提及率 被引率 监测口径 数据可信 统计陷阱

Related articles