测量方法论
测量方法论
这一页说明我们的数字是怎么来的、能证明什么、以及不能证明什么。它同时以「数据来源附录」的形式附在每份报告末尾——公开说明与报告内容出自同一套定义,不另立标准。
为什么公开方法论
客户拿到的报告里每个数字都应当可以被追问来源。把方法公开、把边界写明,比任何「保证排名」的说法都更有价值——因为它是可核验的。
一、数据是怎么采到的
同一份报告里可能混有多种采集方式。它们的可复现性不同,因此不会合并成同一条趋势线。
| 采集方式 | 可否复现 | 能证明什么 | 不能证明什么 |
|---|---|---|---|
| 官方 API | 可复现 | 我们向引擎官方接口发出了真实请求,回答原文完整留存;同样的输入可复现同样的输出。 | 不能证明普通用户在 App/网页里会看到同样的答案——官方接口与消费端产品在检索策略与个性化上可能不同。 |
| 授权第三方数据源 | 不可复现 | 通过授权渠道取得第三方采集结果,可说明其口径与采集时间。 | 不能证明第三方口径与我们自有采样一致——不同口径的数字不可直接比较或合并。 |
| UI 模拟(浏览器操作) | 不可复现 | 以真实浏览器完成与用户相同的操作路径,可覆盖没有公开 API 的引擎。 | 不能复现:页面结构、灰度实验、登录态都会改变结果,不保证每次得到相同回答。 |
| 人工录入 | 不可复现 | 由人工在引擎中实测并录入,适用于无法自动化的场景或补充核验。 | 不可复现:提问措辞、账号状态、时间点无法逐一还原,不应用作趋势主序列。 |
二、指标的四层口径
只看前两层是自欺欺人:被提到不等于被信任,被信任不等于有转化。
曝光层 · AI 可见度
AI 回答中提及你品牌的问题占比
回答「AI 知不知道你」。分母只收已判定的样本;表述不清或未取到的样本单列披露、不进分母。
认知层 · 引用率
AI 以你为信息来源的比例
回答「提到你 ≠ 信你」。被引用才说明内容被当作依据。
信任层 · 首推率
AI 把你排在第一顺位的问题占比
回答「推不推荐你」。这是四层里最接近推荐的一层,但仍不等于客户会下单。
转化层 · 有效询盘
近期有效询盘数(含来自 AI 的线索)
回答「客户找不找你」。这一层的数字来自你自己的线索渠道,不由采样得出。
三、当前覆盖的引擎
清单取自平台实际接入配置(不是宣传口径),并按采集通道分组——可自动采样的、经第三方接口的、需要人工的、以及已登记尚未接入的,各自如实列出。不同市场的引擎生态不同,未覆盖的市场会明确标注「本市场未覆盖」,不用其他语言的数据填数字。
其中 15 个可自动采样(官方 API 真机 14 个 + 服务端界面采集 1 个;平台共登记 19 个引擎)。本页把全部登记项一并列出,便于逐条核对。
官方 API 真机采样 (14)
可复现:相同条件下重跑能得到一致结果。
服务端界面采集 (1)
自动执行但不可复现(受登录态/灰度/页面版本影响):平台自备账号在服务器上模拟真实界面提问。该引擎无官方 API,故不归入上方的「官方 API 真机采样」。
人工录入通道 (3)
该引擎无可编程访问通道,由人工整理录入,标注来源、不冒充自动采样。
已登记、尚未接入 (1)
已列入观察名单但尚无可靠数据源或调用通道——不计入任何覆盖数字,接入后再纳入统计。
四、本方法的已知边界
-
小样本不给排行
信源矩阵的样本量低于 10 条时,我们只提示、不给排行——几个样本得出的「Top 信源」是噪音,照它做决策会白花钱。
-
不同采集方式不合并
官方 API、第三方、UI 模拟、人工录入的可复现性不同,不合并进同一条趋势线。合并平均会得到一个不存在的混合口径,而且它看起来完全正常。
-
点名题单独分池
问题词里含品牌名时(如「XX 怎么样」),AI 几乎必然复述品牌名——这类样本不计入提及率的分子分母,避免假阳性撑高指标。
-
未覆盖的市场不填数
某市场还没做过本地语言采样时,该市场显示「本市场未覆盖」,不用英语采样填数字——否则会系统性高估客户在该市场的可见度。
-
出口区域会影响结果
从国内出口与从海外出口访问同一引擎,可能召回不同的检索结果(区域化排序)。两种出口的样本不可直接合并比较,报告会分别标注。
-
趋势比单点可靠
单次采样存在波动(这是概率采样的特性):实测同一批问题同日重跑,引用信源的重叠度只有 0.32–0.43,单次结果几乎没有信息量。判断效果请看连续数周的趋势,并注意:换过采集方式的那一段涨跌,可能来自方式切换而非品牌表现。
-
无法控制引擎侧的采样参数
我们无法控制各引擎内部的采样参数——同行评审研究实测,即便把 temperature 设为 0,重复运行仍会有 9–28% 的判定改变。这意味着任何单次快照都应按分布来读,本报告的重复采样与置信区间即为此设计。
-
跨引擎(及跨端)数字不可直接比较
各引擎的检索来源与训练语料不同(研究实测中文引擎与国际引擎的品牌提及率系统性相差 30 个百分点以上),同一平台的 App 与网页端信源集合也不同。引擎间只做趋势对照,不做跨引擎排名;本报告的引擎矩阵分别标注。
-
内容质量评分不预测被引概率
大规模中文引用数据研究显示,页面「综合质量分」不是任何引用结果的领先预测因子。本平台的文章 GEO 评分用于内容工程改进,不构成「提高评分就会提高被引概率」的承诺。
-
单个 AI 回答会天然波动(这不是效果退步)
AI 每次都重新检索并交叉验证,同一个问题今天和明天得到的回答与引用来源可能不同——外部研究实测相邻两日的引用信源约 65% 会被更换。因此「某个问题上周提到你、这周没提到」多数属机制性波动,判断真实趋势要看多期整体比例(本平台以多轮采样与置信区间呈现)。
-
交易型与知识型提问的引用规则不同
涉及本地生活、电商、商品选购的"交易型提问",部分引擎的答案直接来自自家生态(商家库、商品卡片、地图点位),不引用外部网页;而行业知识、B2B 方案、品牌口碑等"知识型提问",外部信源仍是主要依据。因此同一引擎在不同提问类型下的引用数不可相互比较——某类问题引用少,可能只是该场景走了生态闭环,不代表你的内容质量差。本平台按提问类型分别呈现,不做跨类型合并。
-
搜索排名不等于被 AI 引用
大数据研究显示:ChatGPT 约 88.46% 的引用 URL 来自其搜索检索路径(先被索引才有资格被引用),但 Google AI Overview 的引用来源里自然结果前 10 位只占约 37.9%,其余来自第 11–100 位及 100 名之外(Ahrefs 2026 年 3 月对 400 万 URL 的分析;该机构 2025 年同类分析为约 76%,一年多内变化逾一倍,说明这类比例本身也需带时点阅读)。所以"排名第一"既不是被引用的必要条件也不是充分条件。本平台只统计 AI 回答里实际出现的引用,不把搜索排名当代理指标。
五、这些数字不能推出什么
- API 采样结果 ≠ 大众端所见(接口与消费端产品的策略可能不同)
- 本次未出现 ≠ 不存在(可能只是我们还没采到,或该引擎没检索到)
- 被 AI 引用 ≠ 带来转化(从「被提到」到「下单」中间还有落地页、价格、销售等环节)
- 趋势上升 ≠ 是我们的功劳(竞品变化、引擎版本更新都会影响结果)
- 跨市场数字不可直接比较(同一「可见率」在不同市场含义不同,须带口径一起看)
六、我们不做哪些事
把不做的事写清楚,比把能做的事写满更有用——以下每一条都在系统里有对应的实现约束,不是声明。
-
不保存你在任何平台的登录密码
不保存、不索取、不代持。需要保存密码才能发布的平台,我们宁可停用整条通道(如 Reddit 改为桌面端本机发布),也不降低这条标准。可撤销的 OAuth 授权令牌不在此列——撤销权始终在你手上。
-
不为 UGC 平台出「去哪里说什么」的行动清单
对社区平台我们只做监测与自有资产纠错。清单式功能在功能上等于规模化部署手册,即使每个动作都由人工执行也不改变这个性质。
-
不承诺排名、不承诺被引用
AI 的回答是每次现算的概率结果,不存在可被锁定的位置。任何「保证做到第一/保证被引用」的说法都不符合技术事实,也不符合反不正当竞争法的要求。报告质量门会自动检查正文是否出现这类绝对化承诺。
-
不暗示「加了结构化数据就会被 AI 引用」
Google 官方明确无需为此创建特殊 schema。结构化数据的作用是如实描述页面上的事实,被引用的原因是内容本身可被抓取且可信——不是某个标签的功劳。我们也不会替你声明我们并不知道的事(例如库存状态)。
-
不由 AI 生成技术事实与合规结论
适配参数、认证编号、法规适用性这类客户会照着执行的信息,只能来自你的源数据或可核验的官方来源;AI 只负责包装与翻译。市场禁忌条目必须带来源、复核人与复核日期三者齐全才能录入——LLM 无法伪造这个组合。
-
不提供没有出处的合规规则
每一条市场禁忌与监管节点都必须可追溯到具体来源并注明复核人。没有来源的规则不作为拦截依据——宁可少拦,也不拿不明来源的规则挡住你的正常内容。