零样本显示「暂无」,不显示 0%
某个引擎本期没有采到有效样本时,报告显示「本期暂无有效采样」,而不是 0%。「没测到」和「测到 0」是两件相反的事:前者是缺数据,后者是真实的负面发现。
更省事的做法:直接显示 0%——表格整齐、图表好看,客户却会误读成「这个引擎完全不提我」,而真相是我们根本没测。
灰色小字写的是「省事的做法」,以及为什么我们不那么做。
某个引擎本期没有采到有效样本时,报告显示「本期暂无有效采样」,而不是 0%。「没测到」和「测到 0」是两件相反的事:前者是缺数据,后者是真实的负面发现。
更省事的做法:直接显示 0%——表格整齐、图表好看,客户却会误读成「这个引擎完全不提我」,而真相是我们根本没测。
所有对外数字都标明分子与分母(如提及率 = 提及样本 / 有效样本)与样本量。样本不足时如实标注,不出结论。
更省事的做法:只给一个百分比——无法复核、无法比较,出问题时也无从解释。
官方 API、界面仿真、人工录入与第三方数据源,各自记录、分段呈现。把两种口径平均出来的线看起来完全正常,却是一条现实中不存在的线。
更省事的做法:混在一张图里画一条平滑的线——视觉上更"完整",但那个趋势在现实中不存在。
复测时披露测量条件快照(问题集、平台集合、竞品集合、采样窗口)。换了模型、换了问题集导致数字变化,会明确标注不可直接对比——不把口径变更包装成优化成果。
更省事的做法:不披露口径变更——数字涨了就是"优化见效",跌了就归因于"模型波动"。
本表与客户报告附录同源(同一份口径定义)——公开页与交付物不可能说不一致。
| 采集方式 | 可否复现 | 能证明什么 | 不能证明什么 |
|---|---|---|---|
| 官方 API | 可复现 | 我们向引擎官方接口发出了真实请求,回答原文完整留存;同样的输入可复现同样的输出。 | 不能证明普通用户在 App/网页里会看到同样的答案——官方接口与消费端产品在检索策略与个性化上可能不同。 |
| 授权第三方数据源 | 不可复现 | 通过授权渠道取得第三方采集结果,可说明其口径与采集时间。 | 不能证明第三方口径与我们自有采样一致——不同口径的数字不可直接比较或合并。 |
| UI 模拟(浏览器操作) | 不可复现 | 以真实浏览器完成与用户相同的操作路径,可覆盖没有公开 API 的引擎。 | 不能复现:页面结构、灰度实验、登录态都会改变结果,不保证每次得到相同回答。 |
| 人工录入 | 不可复现 | 由人工在引擎中实测并录入,适用于无法自动化的场景或补充核验。 | 不可复现:提问措辞、账号状态、时间点无法逐一还原,不应用作趋势主序列。 |
可复现 = 相同条件下重跑能得到一致结果。不可复现的采集方式(如界面仿真,受页面改版影响)单独标注,不与其他来源合并统计。
以上边界与推导限制,在每份客户报告的附录里都会原文列出——不是只写在官网上的姿态。完整方法论见测量方法论页。