智庫 資料誠信

數字可以難看,但不能失真

GEO 行業最容易做的是把數字做好看。這一頁寫我們產品裡已經落實的四條原則,每一條都讓數字可能變得不那麼好看。

四條原則

這四條,我們選擇了更麻煩的做法

灰色小字寫的是「省事的做法」,以及為什麼我們不那麼做。

零樣本顯示「暫無」,不顯示 0%

某個引擎本期沒有采到有效樣本時,報告顯示「本期暫無有效取樣」,而不是 0%。「沒測到」和「測到 0」是兩件相反的事:前者是缺資料,後者是真實的負面發現。

更省事的做法:直接顯示 0%——表格整齊、圖表好看,客戶卻會誤讀成「這個引擎完全不提我」,而真相是我們根本沒測。

每個指標都帶分母與樣本量

所有對外數字都標明分子與分母(如提及率 = 提及樣本 / 有效樣本)與樣本量。樣本不足時如實標註,不出結論。

更省事的做法:只給一個百分比——無法複核、無法比較,出問題時也無從解釋。

不同採集方式的資料不合並進同一條趨勢線

官方 API、介面模擬、人工錄入與第三方資料來源,各自記錄、分段呈現。把兩種口徑平均出來的線看起來完全正常,卻是一條現實中不存在的線。

更省事的做法:混在一張圖裡畫一條平滑的線——視覺上更"完整",但那個趨勢在現實中不存在。

「假提升」自檢:變化必須能被解釋

複測時披露測量條件快照(問題集、平台集合、競品集合、取樣視窗)。換了模型、換了問題集導致數字變化,會明確標註不可直接對比——不把口徑變更包裝成優化成果。

更省事的做法:不披露口徑變更——數字漲了就是"優化見效",跌了就歸因於"模型波動"。

採集方式與可復現性

每種資料來源,都說清它能證明什麼、不能證明什麼

本表與客戶報告附錄同源(同一份口徑定義)——公開頁與交付物不可能說不一致。

採集方式 可否復現 能證明什麼 不能證明什麼
官方 API 可復現 我們向引擎官方介面發出了真實請求,回答原文完整留存;同樣的輸入可復現同樣的輸出。 不能證明普通用戶在 App/網頁裡會看到同樣的答案——官方介面與消費端產品在檢索策略與個性化上可能不同。
授權第三方資料來源 不可復現 透過授權渠道取得第三方採集結果,可說明其口徑與採集時間。 不能證明第三方口徑與我們自有采樣一致——不同口徑的數字不可直接比較或合併。
UI 模擬(瀏覽器操作) 不可復現 以真實瀏覽器完成與用戶相同的操作路徑,可覆蓋沒有公開 API 的引擎。 不能復現:頁面結構、灰度實驗、登入態都會改變結果,不保證每次得到相同回答。
人工錄入 不可復現 由人工在引擎中實測並錄入,適用於無法自動化的場景或補充核驗。 不可復現:提問措辭、賬號狀態、時間點無法逐一還原,不應用作趨勢主序列。

可復現 = 相同條件下重跑能得到一致結果。不可復現的採集方式(如介面模擬,受頁面改版影響)單獨標註,不與其他來源合併統計。

已知邊界

四、本方法的已知邊界

  • 小樣本不給排行
    信源矩陣的樣本量低於 10 條時,我們只提示、不給排行——幾個樣本得出的「Top 信源」是噪音,照它做決策會白花錢。
  • 不同採集方式不合並
    官方 API、第三方、UI 模擬、人工錄入的可復現性不同,不合並進同一條趨勢線。合併平均會得到一個不存在的混合口徑,而且它看起來完全正常。
  • 點名題單獨分池
    問題詞裡含品牌名時(如「XX 怎麼樣」),AI 幾乎必然複述品牌名——這類樣本不計入提及率的分子分母,避免假陽性撐高指標。
  • 未覆蓋的市場不填數
    某市場還沒做過本地語言取樣時,該市場顯示「本市場未覆蓋」,不用英語取樣填數字——否則會系統性高估客戶在該市場的可見度。
  • 出口區域會影響結果
    從國內出口與從海外出口訪問同一引擎,可能召回不同的檢索結果(區域化排序)。兩種出口的樣本不可直接合並比較,報告會分別標註。
  • 趨勢比單點可靠
    單次取樣存在波動(這是機率取樣的特性):實測同一批問題同日重跑,引用信源的重疊度只有 0.32–0.43,單次結果幾乎沒有資訊量。判斷效果請看連續數週的趨勢,並注意:換過採集方式的那一段漲跌,可能來自方式切換而非品牌表現。
  • 無法控制引擎側的取樣引數
    我們無法控制各引擎內部的取樣引數——同行評審研究實測,即便把 temperature 設為 0,重複執行仍會有 9–28% 的判定改變。這意味著任何單次快照都應按分佈來讀,本報告的重複取樣與置信區間即為此設計。
  • 跨引擎(及跨端)數字不可直接比較
    各引擎的檢索來源與訓練語料不同(研究實測中文引擎與國際引擎的品牌提及率系統性相差 30 個百分點以上),同一平台的 App 與網頁端信源集合也不同。引擎間只做趨勢對照,不做跨引擎排名;本報告的引擎矩陣分別標註。
  • 內容質量評分不預測被引機率
    大規模中文引用資料研究顯示,頁面「綜合質量分」不是任何引用結果的領先預測因子。本平台的文章 GEO 評分用於內容工程改進,不構成「提高評分就會提高被引機率」的承諾。
  • 單個 AI 回答會天然波動(這不是效果退步)
    AI 每次都重新檢索並交叉驗證,同一個問題今天和明天得到的回答與引用來源可能不同——外部研究實測相鄰兩日的引用信源約 65% 會被更換。因此「某個問題上週提到你、這周沒提到」多數屬機制性波動,判斷真實趨勢要看多期整體比例(本平台以多輪取樣與置信區間呈現)。
  • 交易型與知識型提問的引用規則不同
    涉及本地生活、電商、商品選購的「交易型提問」,部分引擎的答案直接來自自家生態(商家庫、商品卡片、地圖點位),不引用外部網頁;而行業知識、B2B 方案、品牌口碑等「知識型提問」,外部信源仍是主要依據。因此同一引擎在不同提問類型下的引用數不可相互比較——某類問題引用少,可能只是該場景走了生態閉環,不代表你的內容質量差。本平台按提問類型分別呈現,不做跨類型合併。
  • 搜尋排名不等於被 AI 引用
    大數據研究顯示:ChatGPT 約 88.46% 的引用 URL 來自其搜尋檢索路徑(先被索引才有資格被引用),但 Google AI Overview 的引用來源裡自然結果前 10 位只佔約 37.9%,其餘來自第 11–100 位及 100 名之外(Ahrefs 2026 年 3 月對 400 萬 URL 的分析;該機構 2025 年同類分析為約 76%,一年多內變化逾一倍,說明這類比例本身也需帶時點閱讀)。所以「排名第一」既不是被引用的必要條件也不是充分條件。本平台只統計 AI 回答裡實際出現的引用,不把搜尋排名當代理指標。
不能推出什麼

五、這些數字不能推出什麼

  • API 取樣結果 ≠ 大眾端所見(介面與消費端產品的策略可能不同)
  • 本次未出現 ≠ 不存在(可能只是我們還沒采到,或該引擎沒檢索到)
  • 被 AI 引用 ≠ 帶來轉化(從「被提到」到「下單」中間還有落地頁、價格、銷售等環節)
  • 趨勢上升 ≠ 是我們的功勞(競品變化、引擎版本更新都會影響結果)
  • 跨市場數字不可直接比較(同一「可見率」在不同市場含義不同,須帶口徑一起看)

以上邊界與推導限制,在每份客戶報告的附錄裡都會原文列出——不是只寫在官網上的姿態。完整方法論見測量方法論頁。

先看資料可信度,再看資料本身