智库 数据诚信

数字可以难看,但不能失真

GEO 行业最容易做的是把数字做好看。这一页写我们产品里已经落实的四条原则,每一条都让数字可能变得不那么好看。

四条原则

这四条,我们选择了更麻烦的做法

灰色小字写的是「省事的做法」,以及为什么我们不那么做。

零样本显示「暂无」,不显示 0%

某个引擎本期没有采到有效样本时,报告显示「本期暂无有效采样」,而不是 0%。「没测到」和「测到 0」是两件相反的事:前者是缺数据,后者是真实的负面发现。

更省事的做法:直接显示 0%——表格整齐、图表好看,客户却会误读成「这个引擎完全不提我」,而真相是我们根本没测。

每个指标都带分母与样本量

所有对外数字都标明分子与分母(如提及率 = 提及样本 / 有效样本)与样本量。样本不足时如实标注,不出结论。

更省事的做法:只给一个百分比——无法复核、无法比较,出问题时也无从解释。

不同采集方式的数据不合并进同一条趋势线

官方 API、界面仿真、人工录入与第三方数据源,各自记录、分段呈现。把两种口径平均出来的线看起来完全正常,却是一条现实中不存在的线。

更省事的做法:混在一张图里画一条平滑的线——视觉上更"完整",但那个趋势在现实中不存在。

「假提升」自检:变化必须能被解释

复测时披露测量条件快照(问题集、平台集合、竞品集合、采样窗口)。换了模型、换了问题集导致数字变化,会明确标注不可直接对比——不把口径变更包装成优化成果。

更省事的做法:不披露口径变更——数字涨了就是"优化见效",跌了就归因于"模型波动"。

采集方式与可复现性

每种数据来源,都说清它能证明什么、不能证明什么

本表与客户报告附录同源(同一份口径定义)——公开页与交付物不可能说不一致。

采集方式 可否复现 能证明什么 不能证明什么
官方 API 可复现 我们向引擎官方接口发出了真实请求,回答原文完整留存;同样的输入可复现同样的输出。 不能证明普通用户在 App/网页里会看到同样的答案——官方接口与消费端产品在检索策略与个性化上可能不同。
授权第三方数据源 不可复现 通过授权渠道取得第三方采集结果,可说明其口径与采集时间。 不能证明第三方口径与我们自有采样一致——不同口径的数字不可直接比较或合并。
UI 模拟(浏览器操作) 不可复现 以真实浏览器完成与用户相同的操作路径,可覆盖没有公开 API 的引擎。 不能复现:页面结构、灰度实验、登录态都会改变结果,不保证每次得到相同回答。
人工录入 不可复现 由人工在引擎中实测并录入,适用于无法自动化的场景或补充核验。 不可复现:提问措辞、账号状态、时间点无法逐一还原,不应用作趋势主序列。

可复现 = 相同条件下重跑能得到一致结果。不可复现的采集方式(如界面仿真,受页面改版影响)单独标注,不与其他来源合并统计。

已知边界

四、本方法的已知边界

  • 小样本不给排行
    信源矩阵的样本量低于 10 条时,我们只提示、不给排行——几个样本得出的「Top 信源」是噪音,照它做决策会白花钱。
  • 不同采集方式不合并
    官方 API、第三方、UI 模拟、人工录入的可复现性不同,不合并进同一条趋势线。合并平均会得到一个不存在的混合口径,而且它看起来完全正常。
  • 点名题单独分池
    问题词里含品牌名时(如「XX 怎么样」),AI 几乎必然复述品牌名——这类样本不计入提及率的分子分母,避免假阳性撑高指标。
  • 未覆盖的市场不填数
    某市场还没做过本地语言采样时,该市场显示「本市场未覆盖」,不用英语采样填数字——否则会系统性高估客户在该市场的可见度。
  • 出口区域会影响结果
    从国内出口与从海外出口访问同一引擎,可能召回不同的检索结果(区域化排序)。两种出口的样本不可直接合并比较,报告会分别标注。
  • 趋势比单点可靠
    单次采样存在波动(这是概率采样的特性):实测同一批问题同日重跑,引用信源的重叠度只有 0.32–0.43,单次结果几乎没有信息量。判断效果请看连续数周的趋势,并注意:换过采集方式的那一段涨跌,可能来自方式切换而非品牌表现。
  • 无法控制引擎侧的采样参数
    我们无法控制各引擎内部的采样参数——同行评审研究实测,即便把 temperature 设为 0,重复运行仍会有 9–28% 的判定改变。这意味着任何单次快照都应按分布来读,本报告的重复采样与置信区间即为此设计。
  • 跨引擎(及跨端)数字不可直接比较
    各引擎的检索来源与训练语料不同(研究实测中文引擎与国际引擎的品牌提及率系统性相差 30 个百分点以上),同一平台的 App 与网页端信源集合也不同。引擎间只做趋势对照,不做跨引擎排名;本报告的引擎矩阵分别标注。
  • 内容质量评分不预测被引概率
    大规模中文引用数据研究显示,页面「综合质量分」不是任何引用结果的领先预测因子。本平台的文章 GEO 评分用于内容工程改进,不构成「提高评分就会提高被引概率」的承诺。
  • 单个 AI 回答会天然波动(这不是效果退步)
    AI 每次都重新检索并交叉验证,同一个问题今天和明天得到的回答与引用来源可能不同——外部研究实测相邻两日的引用信源约 65% 会被更换。因此「某个问题上周提到你、这周没提到」多数属机制性波动,判断真实趋势要看多期整体比例(本平台以多轮采样与置信区间呈现)。
  • 交易型与知识型提问的引用规则不同
    涉及本地生活、电商、商品选购的"交易型提问",部分引擎的答案直接来自自家生态(商家库、商品卡片、地图点位),不引用外部网页;而行业知识、B2B 方案、品牌口碑等"知识型提问",外部信源仍是主要依据。因此同一引擎在不同提问类型下的引用数不可相互比较——某类问题引用少,可能只是该场景走了生态闭环,不代表你的内容质量差。本平台按提问类型分别呈现,不做跨类型合并。
  • 搜索排名不等于被 AI 引用
    大数据研究显示:ChatGPT 约 88.46% 的引用 URL 来自其搜索检索路径(先被索引才有资格被引用),但 Google AI Overview 的引用来源里自然结果前 10 位只占约 37.9%,其余来自第 11–100 位及 100 名之外(Ahrefs 2026 年 3 月对 400 万 URL 的分析;该机构 2025 年同类分析为约 76%,一年多内变化逾一倍,说明这类比例本身也需带时点阅读)。所以"排名第一"既不是被引用的必要条件也不是充分条件。本平台只统计 AI 回答里实际出现的引用,不把搜索排名当代理指标。
不能推出什么

五、这些数字不能推出什么

  • API 采样结果 ≠ 大众端所见(接口与消费端产品的策略可能不同)
  • 本次未出现 ≠ 不存在(可能只是我们还没采到,或该引擎没检索到)
  • 被 AI 引用 ≠ 带来转化(从「被提到」到「下单」中间还有落地页、价格、销售等环节)
  • 趋势上升 ≠ 是我们的功劳(竞品变化、引擎版本更新都会影响结果)
  • 跨市场数字不可直接比较(同一「可见率」在不同市场含义不同,须带口径一起看)

以上边界与推导限制,在每份客户报告的附录里都会原文列出——不是只写在官网上的姿态。完整方法论见测量方法论页。

先看数据可信度,再看数据本身