平台研究

五种「假提升」:为什么很多 GEO 报告的数字经不起复核

数字都算对了,但不该拿来比——这类问题不会报错,报告照样漂亮。本文拆解前后两次测量条件不一致时最常见的五种假提升(问题变容易、平台集合缩水、竞品集合变化、只统计出现不查准确性、没有原始回答),并给出一份拿两份报告就能做完的自检清单。

先说一个不太舒服的事实

GEO 报告里最容易出现的问题,不是数字算错了,而是数字都算对了,但不该拿来比。

两次测量之间的条件如果发生了变化,那么“从 32% 涨到 58%”这个结论在数学上成立,在业务上无效。更麻烦的是:这种无效不会报错、不会触发任何告警,报告照样排版精美、图表照样向上走。客户不会质疑,因为他看到的是一张漂亮的上升曲线。

我们用这个行业里最常见的手法,把这类问题归纳成五种假提升,全部来自「前后两次测量条件不一致却直接对比」。这五种都不是技术难题,是口径问题——但正因为它是口径问题,它最容易被有意无意地制造出来。

平台把五种假提升做成了自动检查,在出报告时逐条核验并在交付物上留下复测元数据。下面讲清楚每一种是怎么发生的、怎么识别、以及我们怎么处理。

第一种:问题变容易了

怎么发生:基线期问的是“这个行业哪家服务好”(品类题,竞争者众多),本期问的是“XX 品牌怎么样”(品牌词题,答案里几乎必然出现你的名字)。

为什么算假提升:难度本身降低了。品类题要跟所有同行抢,品牌词题只要描述清楚就有提及。把这类问题的可见率混在一起算总提升,等于把“换了一道更简单的题”包装成“优化见效”。

怎么识别:看问题集里指名题(brand_recognition)的占比。如果本期指名题占比明显高于基线期,整体分数上涨就要打折看。

我们怎么处理:报告会计算两期指名题占比,出现上升时打风险标记,并在报告里写出具体数字——“本期指名题占比较基线上升 X 个百分点”。不阻断出报告,但读者必须看得到这个前提。

第二种:只展示表现最好的平台

怎么发生:基线期测了 8 个引擎,本期因为某个引擎调不通、额度不够或者干脆忘了配,只测了 5 个——而那 3 个恰好是表现最差的。

为什么算假提升:分母悄悄缩水了。整体可见率是各引擎的汇总,去掉拖后腿的部分,平均数自然上升。

怎么识别:核对两期的引擎集合是否完全一致。这是最容易被忽略的一项,因为报告里通常只呈现“本期”的引擎列表,基线那一份要回去翻。

我们怎么处理:检查两期的平台集合差异,出现漂移时明确写出“本期引擎集合与基线不一致”以及具体缺了哪几个。这种情况下,跨期对比的数字会标注为不可直接比较。

第三种:竞品集合变了

怎么发生:基线期只跟 3 个直接竞品比,本期加入了一个强势品牌。

为什么算假提升:SOV(声量份额)和“推荐占比”的分母是竞品集合。分母变了,同一个分子算出来的占比就变了。更隐蔽的情况是反向操作:本期悄悄去掉一个强势竞品,占比立刻好看。

怎么识别:核对两期的竞品列表。这一项在报告里往往不被单列,需要主动索取。

我们怎么处理:检测竞品集合漂移,漂移时标注“竞品集合变化,占比类指标不可直接对比”,并列出变化明细。

第四种:只统计“出现了”,不检查“说得对不对”

怎么发生:品牌被提到了,但 AI 把你的产品参数说错了、把 A 产品线的规格安到 B 产品上、或者把你的资质说成了别人的。

为什么算假提升:提及率涨了,描述准确率没查。客户的真实体验是“AI 说的不是我”,而报告显示“我们进步了”。这种情况比没有提及更危险——错误的描述会直接误导采购决策。

怎么识别:看报告里有没有事实准确率区块。只有提及率、没有准确性检查的报告,第四种假提升在结构上就是允许的。

我们怎么处理:检测报告是否缺失事实准确率检查,缺失时打风险标记。同时,描述准确率是我们所有报告里的标准指标之一,与提及率并列展示。

第五种:没有原始回答

怎么发生:报告里只有汇总数字和趋势图,没有任何一条 AI 的原始回答。

为什么算假提升:所有结论都不可追溯。数字变了,没人能回答“是因为哪个引擎、哪个问题、哪条回答变了”。这种情况下,任何解释都可以编出来——而这正是“假提升”最舒服的生存环境。

怎么识别:翻报告附录,看有没有逐条原文。没有就是缺。

我们怎么处理:检测报告是否包含原始回答明细,缺失时打风险标记。平台默认保留每条采样回答的引擎、问题词、时间戳与原文,可逐条回溯——这是数据诚信的第一条底线,不是可选项。

五种之外:测量条件快照

除了逐条检查这五种,出报告时还会留一份测量条件快照,至少包含四项:

  • 问题集(这一期用了哪些问题)
  • 平台集合(测了哪几个引擎)
  • 采样窗口(什么时间段采的)
  • 评分口径(用的哪套评分规则与权重)

这份快照的作用是:换一个人拿着报告,能重新做出同样的诊断。如果两个月的快照完全一致,那么数字的变化就是真实变化;如果不一致,变化里就混了条件变更的成分。

这是我们认为复测报告应有的最低标准:不是“证明我变好了”,而是“说明这次和上次的条件差在哪”。

为什么这些检查不阻断出报告

这是一个刻意的设计选择。

把五种假提升做成硬拦截,结果会是:只要有任何一项条件变化,报告就出不来。但现实里条件变化是常态——客户换了问题集、某个引擎下线、竞品名单调整,这些都是合理的业务变化。

所以我们的做法是只记日志 + 在报告中如实披露,不阻断。风险项必须带具体数字(哪几个平台、占比多少、缺了哪一项),否则运营看到一条“存在复测风险”的提示也无法行动。

这也和我们对报告质量门的整体口径一致:能做的是让问题被看见,不是替客户判断结论。客户有权在条件变化的情况下继续对比,但他必须知道自己在对比什么。

一个可以直接用的自检清单

不需要任何工具,拿两份报告对照就能做完:

  1. 两期的问题集是否一致?指名题占比有没有变化?(对应第一种)
  2. 两期的引擎列表是否一致?缺了哪些?(第二种)
  3. 两期的竞品名单是否一致?(第三种)
  4. 两期都检查了描述准确率吗?(第四种)
  5. 两期都有原始回答明细吗?(第五种)
  6. 两期的采样窗口长度是否相同?

六条里有任何一条“否”,那份“提升”就要在结论里加一句限定。这不是给报告找麻烦,而是让报告经得起别人复核——而能被复核,本来就是 GEO 报告最稀缺的品质。

相關閱讀