你手里那份「AI 可见度报告」,测的未必是客户看到的世界
老板把一张截图发给你:「都说客户现在问 AI 了,你查查上面有没有咱们。」你打开某个 AI 可见度工具,输入品牌名,跑出一份挺漂亮的报告:提及率 42%、被引用三十多次、领先同行。你把报告递上去,心里其实没底——这些数字,和客户在手机上真正打出的那句话、真正看到的那个答案,是同一回事吗?
近期一项研究给的答案不太舒服:**不是**。研究者把同一个商业咨询问题分别丢给消费者用的聊天界面,和开发者调用的接口,结果两边引用的网页**几乎不重合**(ConsumerQ 预印本,2026-09-16 提交 arXiv)。
这就是给执行者的第一道坎:**你是从哪个入口问的,决定了你会看到哪个世界。** 花了几千块买的月报、自己随手截图记的数字,都可能踩在同一个坑里。下面先说清这个坑有多深,再给一套你当场就能用的判断方法。
必须说明:这不是要你怀疑一切数据,而是提醒一句——**在 AI 搜索这件事上,测量方法本身就是结论的一部分**。同一句话,换个入口问,答案就分岔;分岔到一定程度,涨跌就不再说明你做得好不好,只说明你换了把尺子。先把尺子认清楚,后面的努力才不会白费。
同一个问题,换个入口,引用的来源就换了一批
那份预印本分析了 2,528 条真实商业咨询问题、1,536 条回答,几个数字很直观:
- **两家消费者界面之间**:同一个问题分别问 ChatGPT 和 Gemini 的网页版,两边显示的域名**平均只共享 5.4%**;更直接的是,**76.7% 的对比里,两边一个共同域名都没有**。
- **接口 vs 消费者界面**:ChatGPT 的接口与它自己的消费者界面,域名**平均只重叠约 12%**;Gemini 约 14.8%(同一预印本)。
- **另一家工具方的实测**:接口结果与真实网页抓取相比,**品牌重合仅 24%、来源重合仅 4%**;换到 Perplexity,来源重合也只有 **8%**(Surfer,AI 搜索研究)。
国内也有同向的证据。一项 2026 年 7 月的中文生成式搜索研究,覆盖 4 个主流平台、8 个 Web/App 接口、614 个问题,每个「问题—平台—接口」组合重复 3 次,从 **214,119 条原始记录**里整理出 **160,860 条引用级记录**;结论之一是:**同一平台的 App 端与网页端,引用来源集合存在系统性差异**(外贸 B2B 的 900 次测试方法论)。
把这些放在一起看:入口不同,来源就不一样——不是「略有出入」,而是**大部分都不重合**。所以任何一份 AI 可见度数字,第一个要问的不是高不高,而是**它是从哪儿问出来的**。
工具为什么更爱用接口,而接口看到的是另一个世界
不是工具方偷懒,是接口确实更好用:便宜、快、稳定、能一次跑几千条问题。而消费者界面又慢又贵,还经常改版。问题是,为了方便而选的路,恰好绕开了客户真正看到的东西。差距至少有五处(前四处出处见 GEO Scout 的接口与界面对比):
- **系统提示不同**:App 背后有一长串设定语气、格式、怎么标注来源的指令,接口没有;一句话的差别就可能让回答转向。
- **联不联网、搜几次不同**:Surfer 的数据里,界面在 ChatGPT 上有 88% 的提示触发联网、接口只有 83%;另有平台界面为 100%。搜不搜、搜几个来源,直接决定谁会出现在答案里。
- **卡片和广告只有界面才有**:地图名片、商品轮播、带「推广」标识的广告位只画在 App 上。一份接口报告对这些一律返回零——你的产品在某个平台排进了商品卡,接口报表根本不知道。
- **位置和语言**:App 知道你所在的城市,接口默认不带城市;同一个问题在北京和在上海,答案可能不同。
- **追问过程不暴露**:模型回答前常先跑几轮检索、把问题拆成几个子问题,接口往往不返回这些子查询,你能看到的来源也就更少。
一句话:**接口给的是「模型会说什么」,界面给的是「客户看到了什么」。** 前者适合做对照实验,后者才是你要汇报的那份现状。
你可以用一个很简单的办法判断差距:拿三五个问题,同一个平台,一边在 App 里问、一边用接口问,把两次出现的来源列出来对比。如果两边重合的都不到一半,那么任何只基于接口的历史数据,都不该直接用来描述客户体验——它能说明趋势,但撑不起「客户现在能看到我们」这个结论。
先看这四件事,再决定信不信一份报告
不管是自研探针、第三方工具,还是服务商给的月报,拿到数字前先过这四问:
1. **从哪问的**:调接口,还是在消费者网页 / App 里问?报告里写没写?没写,就该打个问号。
2. **问的是不是客户真会问的话**:拿品牌名去问,AI 只会礼貌复述你的自我介绍;真正的测量要用「客户会遇到的那个问题」。
3. **跑了几个平台、几轮**:单平台单轮的结果,连自己都代表不了,更别说代表整体。
4. **记的是单次结果还是分布**:是「跑了一次,有没有提到」,还是「跑了五轮,五轮里出现几次」?后者才经得起下个月对比。
这四问不是挑刺,是省钱的。一份口径说不清的报告,给你的是**看起来精确、其实不可比**的数字——下个月再跑一次,涨跌都可能是换了个接口,而不是你真的变好了。
别用一次的结果下结论,AI 的回答本来就在变
就算入口选对了,还有一层:**AI 的回答本身不是固定的**。同一批问题重复问,结果会漂。
这也是为什么「单轮采样只是下限」。有研究把这件事讲成了数学结论——单轮问答里,「前面被引用过、后面就更容易被引用」的反馈项在数学上等于零,而真实使用是连着追问好几轮的,累积收益会超线性增长。所以自测时,**同一个问题在同一会话里追问 2 到 3 轮**,比只问一次更能反映实情。
另外,样本量决定你能下多细的结论。可见度在 50% 附近时,**20 个回答给出的区间大约是 30%–70%**,要收到 **45%–55%** 这样窄的区间,得攒到约 **400 个回答**。换句话说,用十几个样本算出来的「提升了 15%」,大概率只是波动。**只有两轮区间不重叠,才算真的变了。**
还有一条纪律:**别把几个平台合成一个「综合 AI 可见度」分数**。同一个品牌在五个引擎上的可见度,可以相差几十个百分点;把差异抹平成一个数,等于把最有用的信息删掉了。
落到汇报里就是:与其写「本季度 AI 可见度提升 15%」,不如写「在 A 平台的 20 个问题里,从 5 轮出现 2 轮变成 5 轮出现 4 轮;B 平台暂未观测到变化」。前一句听着漂亮但没法核对,后一句不好看,却经得起追问——而下个月的你,最需要的就是一句经得起追问的话。
想自己验一遍:三步,一个下午能跑完
你不需要先买工具,就能搭出一份能对比的基线。三步:
**第一步,定问题。** 凑 20 条客户真会问的话,分四类:品类推荐、场景痛点、对比选型、地域与预算。素材从销售被问过的话、客服接过的电话里抄,**不要用 AI 生成这份清单**——用 AI 出的题去问 AI,结果会偏乐观。这 20 条一旦定了就不要再改,下个月要拿它跟这个月比。
**第二步,用客户会用的那个入口问。** 就在浏览器或手机 App 里问,别用接口。每一条问题跑 3 到 5 轮,同一平台同一会话里连着追问 2 到 3 轮。
**第三步,按平台记三态。** 每一格只填三种状态之一:**没提到 / 提到但没给链接 / 提到并给了你网站的链接**;旁边再加两列——「那句描述跟事实对不对」和「它引用的来源是谁」。记「几次出现几次」,不记「有没有出现」。
这样一轮下来,你得到的是「问题 × 平台」的一张表,而不是一句感觉。这张表每两周重跑一次,才谈得上「有没有变化」。更细的自测方法,我们在这篇自测指南里单独展开过。
这套判断方法,也能用来挑工具和服务商
同样的口径,换个方向用,就是选供应商时的提问清单。当一个工具或服务商推销「AI 可见度监测」时,问三句:
- **「你们是从哪问的?」** 如果答案是接口、而且拿不出界面侧的对照,那它测的是「模型会说什么」,不是你的客户看到什么(NP Digital 对信任信号的研究 也指出,不同平台给出的可信信号分数差异极大,一份报告很难概括所有入口)。
- **「样本量多大、问我几个问题、跑几轮?」** 答不上来的,给你的是印象不是数据。
- **「能不能给我原始回答?不要截图。」** 能给原始回答、能让你自己复核的,才值得长期用;只给一张结论图的,慎用。
还有一条顺带提醒:**只给一个综合分的工具,直接跳过**。AI 可见度至少要拆成「有没有出现」「有没有给链接」「说的是不是事实」几件事,一个数要么遮掉了大部分信息,要么在几个平台之间做了没有根据的加权。
顺便说一句:这套问题清单也不是为了压价。恰恰相反,口径讲得清爽的供应商,反而更敢让你看到原始回答——因为他不怕你复核;怕你复核的,往往是把接口结果当客户视角卖的那一类。
你下周能做的三件事
1. **把 20 条问题定下来。** 来源是销售和客服手里真实被问过的话,不是你自己想的,也不是 AI 生成的。
2. **用客户用的入口,自己跑一轮。** 每条问题 3 到 5 轮,按平台记三态,两列补充信息(描述对不对、来源是谁)。
3. **拿到任何一份 AI 可见度报告,先问一句「从哪问的、跑了几轮」。** 答不清楚的,先把那个数字搁一边,别拿它去跟老板或客户汇报。
这三件事不需要预算,也不需要等谁批,一个下午就能起头。真正难的不是工具,是把测量的入口和口径先说清楚——因为**你测的入口,就是你汇报的那个世界**。
常见问题
我用某个工具查了,说我们被引用 30 多次,为什么客户在 App 里说没看到我们?
因为工具多半是调接口问的。研究测得 ChatGPT 的接口与消费者界面显示的域名平均只重叠约 12%,两家消费者界面之间平均只共享 5.4% 的显示域名,76.7% 的对比里一个共同域名都没有。先确认这份报告是从哪个入口问的,再决定信不信。
我该用哪些平台、每个问题跑几轮?
用目标客户真在用的那 2 到 3 个入口,在浏览器或手机 App 里问,不要用接口。同一个问题至少跑 3 到 5 轮,同一会话里追问 2 到 3 轮,记「几轮里出现几次」,而不是「一次有没有出现」。
一定要买监测工具吗?
不一定。20 条问题加浏览器界面加一张记录表,就能跑出一份能对比的基线;工具的价值在于省人力和长期留痕,而不在于替你决定测量口径。