平台研究

标准为什么反复强调"别把没测到说成 0":谈谈测量诚信的三条底线

两套 GEO 团标里,出现频率最高的要求不是某个指标,而是"数据得真实"——不得伪造、不得篡改、不得选择性呈现。听起来是常识,但在 AI 监测这个领域,"没采样到"和"采样了但没提及"在界面上长得一模一样。本文讲我们为此设的三条底线与具体做法。

一个真实的行业陷阱

先看一个问题。

某个品牌的 GEO 监测报告上,15 个 AI 引擎里有 6 个显示品牌提及率「0.0%」。如果你是品牌负责人,你的第一反应是什么?

大概率是:"这 6 个 AI 完全不提我们。"

但真相可能是另一个:这 6 个引擎根本没测过——样本为 0,什么都没采到。

这两种情况在界面上长得一模一样,都是「0.0%」。而它们的管理含义完全相反:一个是"表现不好需要优化",另一个是"数据缺失需要补采"。如果报告把后者显示成前者,客户就会拿着错误的结论去做决策。

两套 GEO 团体标准都注意到了这类问题。翻遍中广协和商广协的标准文本,「真实性」是出现频率最高的原则之一:

中广协 047 §5.1:监测与验证应基于真实查询与真实回答,如实记录、统计与呈现,不应伪造、篡改、挑选或美化数据……并应客观呈现波动与负面结果。

商广协 003 §5.3.1:系统中的数据应真实、可溯源,不得伪造、篡改或选择性呈现数据结果。

这不是老生常谈,而是有具体技术含义的。下面是我们为此设的三条底线。

底线一:分母为零,不显示 0%

每条比率都带分母是我们报告里的硬性规则,由质量门强制——

  • 显示「23.5%」时必须同时能看到「分母 68」;
  • 分母为 0 时显示「无采样」而不是「0%」;
  • 报告里明确写着:分母是"可判定的回答数",未得到回答的问法不计入分母,也不当作未提及。

这条规则的关键在于双向:不仅要防"把没测到显示成 0%",也要防反过来——把真实的 0%(确实采样了,确实一次都没提及)显示成"无采样"。这两种错误同样严重:前者是虚假的坏消息,后者是虚假的好消息。

这是我们在实现时踩过的坑:守卫测试必须两个方向都断言,否则修掉一个方向的缺陷时,很容易制造出反方向的缺陷。

底线二:原始记录不可篡改,且可自证未被篡改

标准要求「原始记录不应被覆盖、篡改或选择性删除;修改应留痕」。落到技术上,我们做了三件事:

① 每次采样生成快照文件——包含回答原文、引用信源清单、请求与响应摘要。这是"那天那个时刻,那个 AI 确实这么回答了"的直接证据。

② 快照带 HMAC-SHA256 签名——签名基于内容本身计算。任何人(包括我们自己)改动了快照内容,签名校验都会失败。报告系统读取快照时会自动验签,签名不匹配的记录会被标记为不可信,而不是静默使用。

③ 请求与响应各自留哈希摘要——用于独立复核采集链路是否完整,而不是只有加工后的结论。

这三件事合起来,回答的是客户最常问但很难回答的问题:"我怎么知道你们的数据没被改过?"——不是靠承诺,是靠可校验的签名。

底线三:不把全部变化归因于 GEO 服务

标准在这一点上措辞非常一致:

中广协 046 §7.5.5:GEO 服务主体不宜将全部效果变化简单归因于 GEO 服务。涉及平台机制变化、模型更新、委托主体外部内容变化、竞争主体行为变化或者公共舆论变化等因素的,应在报告中作出必要说明。

这条要求的本质是区分"相关"与"因果"。AI 回答的可见性受很多因素影响:模型版本更新、检索源变化、竞品动作、行业热点。如果忽视这些变量,把所有涨跌都算成"我们的优化效果",短期看是好的销售话术,长期看是搬起石头砸自己的脚——客户迟早会发现归因站不住。

我们的做法:

  • 报告里固定包含归因边界声明(哪些结论能得出、哪些不能);
  • 记录引擎变更事件(模型升级、检索策略调整的时间线),并在报告里标注为可能的影响因素;
  • 稳定性指标明确区分「真实波动」与「样本不足」——样本不够时,结论是"数据不足以下结论",而不是"表现不稳定"。

为什么这些"常识"值得写进标准

有人会问:不造假、留原始记录,不是做数据行业的基本职业道德吗?

是。但 GEO 测量的特殊性让这些"常识"变成了技术难题:

  • AI 回答有随机性——同一个问题问三次可能得到三个不同答案,"采样"天然需要重复与统计,而重复次数直接关联成本;
  • "提及"需要判定——品牌别名、产品名、商标变体,"算不算提到"本身就有判定空间;
  • 链路长——从提问、采集、解析、判定到聚合,每个环节都可能引入失真,而任何一处失真都不会报错。

**标准把这些难题变成显式要求,恰恰是行业成熟的标志。**对我们这种把技术平台作为核心产品的团队来说,这也是一个检验点:标准里写"不得伪造、篡改或选择性呈现"——你能不能在架构层面证明自己做不到这件事?

不能据此推出什么

  • 有签名和快照,不等于数据一定正确——它们保证的是"记录未被篡改",不保证"采集方法无偏差";
  • 分母披露解决的是可解释性,不解决样本量不足的问题——分母很小的时候,比率波动会很大,报告里会标注但不美化;
  • 归因边界声明不等于免责——我们仍然要为测量本身的准确性负责。

小结

测量诚信在这个行业不是道德问题,是工程问题。它依赖的不是"我们承诺不造假",而是若干具体的架构决定:

要求 实现
不把"没测到"当"0%" 分母为 0 显示「无采样」;双向守卫测试
原始记录不可篡改 快照 + HMAC-SHA256 签名 + 请求/响应哈希
不选择性呈现 报告强制披露分母、无效样本剔除规则与局限性
不夸大归因 固定归因边界声明 + 引擎变更事件时间线

这些机制大多不在客户的日常视线里——它们的存在方式是当客户质疑时,能拿得出、验得了。这才是"数据可追溯"的真实含义。

可见性指标 数据诚信 行业标准 测量诚信 数据真实性 GEO 监测 零样本 分母 归因边界

Related articles