零樣本顯示「暫無」,不顯示 0%
某個引擎本期沒有采到有效樣本時,報告顯示「本期暫無有效取樣」,而不是 0%。「沒測到」和「測到 0」是兩件相反的事:前者是缺資料,後者是真實的負面發現。
更省事的做法:直接顯示 0%——表格整齊、圖表好看,客戶卻會誤讀成「這個引擎完全不提我」,而真相是我們根本沒測。
灰色小字寫的是「省事的做法」,以及為什麼我們不那麼做。
某個引擎本期沒有采到有效樣本時,報告顯示「本期暫無有效取樣」,而不是 0%。「沒測到」和「測到 0」是兩件相反的事:前者是缺資料,後者是真實的負面發現。
更省事的做法:直接顯示 0%——表格整齊、圖表好看,客戶卻會誤讀成「這個引擎完全不提我」,而真相是我們根本沒測。
所有對外數字都標明分子與分母(如提及率 = 提及樣本 / 有效樣本)與樣本量。樣本不足時如實標註,不出結論。
更省事的做法:只給一個百分比——無法複核、無法比較,出問題時也無從解釋。
官方 API、介面模擬、人工錄入與第三方資料來源,各自記錄、分段呈現。把兩種口徑平均出來的線看起來完全正常,卻是一條現實中不存在的線。
更省事的做法:混在一張圖裡畫一條平滑的線——視覺上更"完整",但那個趨勢在現實中不存在。
複測時披露測量條件快照(問題集、平台集合、競品集合、取樣視窗)。換了模型、換了問題集導致數字變化,會明確標註不可直接對比——不把口徑變更包裝成優化成果。
更省事的做法:不披露口徑變更——數字漲了就是"優化見效",跌了就歸因於"模型波動"。
本表與客戶報告附錄同源(同一份口徑定義)——公開頁與交付物不可能說不一致。
| 採集方式 | 可否復現 | 能證明什麼 | 不能證明什麼 |
|---|---|---|---|
| 官方 API | 可復現 | 我們向引擎官方介面發出了真實請求,回答原文完整留存;同樣的輸入可復現同樣的輸出。 | 不能證明普通用戶在 App/網頁裡會看到同樣的答案——官方介面與消費端產品在檢索策略與個性化上可能不同。 |
| 授權第三方資料來源 | 不可復現 | 透過授權渠道取得第三方採集結果,可說明其口徑與採集時間。 | 不能證明第三方口徑與我們自有采樣一致——不同口徑的數字不可直接比較或合併。 |
| UI 模擬(瀏覽器操作) | 不可復現 | 以真實瀏覽器完成與用戶相同的操作路徑,可覆蓋沒有公開 API 的引擎。 | 不能復現:頁面結構、灰度實驗、登入態都會改變結果,不保證每次得到相同回答。 |
| 人工錄入 | 不可復現 | 由人工在引擎中實測並錄入,適用於無法自動化的場景或補充核驗。 | 不可復現:提問措辭、賬號狀態、時間點無法逐一還原,不應用作趨勢主序列。 |
可復現 = 相同條件下重跑能得到一致結果。不可復現的採集方式(如介面模擬,受頁面改版影響)單獨標註,不與其他來源合併統計。
以上邊界與推導限制,在每份客戶報告的附錄裡都會原文列出——不是只寫在官網上的姿態。完整方法論見測量方法論頁。