你的处境:内容没少发,AI 还是不提你
你已经让团队发了半年内容:官网写了服务介绍,公众号推了行业文章,宣传页也排好了版。可你随手在几个 AI 里问一句「这个行业里哪家做得比较专业」,答案里翻来覆去还是那几家,没有你。
更别扭的是,后台数据看不出问题。自然搜索流量没怎么跌,访客数也还在。于是你只能得到两个解释:要么是内容量还不够,要么是 AI 不认你。
这两个解释都可能是错的。真正卡住很多企业的,是更前面的一步——AI 的爬虫压根没读到你的页面。它不是不认你,是没见过你。
这件事和「写得够不够好」无关,和「愿意花多少钱」也无关。它更像一个开关:开着,你才有资格进入后面的比拼;关着,后面所有努力都不进分母。
AI 回答一个问题,其实分两步走
把 AI 搜索想成一个采购员,他做两件事。
第一步,找到货源。他去网上抓页面、建索引,按你的问题筛出一批候选页面。这一步叫「检索」。
第二步,决定用谁。他从这批候选里挑几条写进答案,有的会挂上来源链接。这一步叫「引用」。
关键在于:这两步是分开的,而第一步不通,第二步根本不会发生。可市面上绝大多数 GEO 建议——加结构化数据、把答案句加粗、把内容拆成问答块——讲的都是第二步里的事:先假设你的页面已经被拿到手了,再琢磨怎么从里面赢出来。
2026 年 7 月发表的一篇综述把过去三年的 45 项 GEO 研究全部过了一遍(arXiv:2607.14035),作者的结论写得很直白:已经被拿到手里的页面,它的内容可以因果性地改变自己被引用的方式;但没有任何一种被评审的技术,被证明能跨平台、跨时间地稳定提升「被发现」这件事。
换句话说,今天能拿证据说话的动作,全部落在「已经被找到之后」这一层。那第一步靠什么?靠你的页面能不能被读——而这一步不需要发明新方法,只需要把门打开。
四分之一的网站,AI 读不到
这不是猜测。2026 年 8 月 20 日,一份覆盖美国 40 个都市区、15,834 个独立本地企业网站的访问普查(completeseo.com)给出了数字:23.77% 的网站至少对 11 个被测试的 AI 爬虫中的一个不可读,按样本结构加权后是 27.06%。另有约 9% 的网站,会直接拒绝带着 AI 爬虫名字来的请求。
原因就三类:robots.txt(放在网站根目录、用来说明哪些内容允许被抓取的纯文本文件)里写了一条「整站禁止」;服务器或 CDN/WAF(挡在网站前面的加速与防护层)把 AI 爬虫挡住了;或者首页的原始 HTML 里根本没写清这家企业做什么、在哪、怎么联系。
第三类最容易被忽略。一份来自 Vercel 的分析发现,GPTBot、ClaudeBot、PerplexityBot 这类 AI 爬虫都不执行 JavaScript:ChatGPT 相关爬虫只在约 11.5% 的请求里取走 JS 文件、Claude 约 23.84%,而且都没有执行它。结果是,靠 JavaScript 渲染出来的内容,约 42% 从未进入 AI 系统的索引。
你在浏览器里看到的完整页面,和 AI 看到的页面,可以是两个东西。这件事不会报错,也不会弹提示——你的分析后台一切正常,只是那些没发生的点击,从来没被记下来。
一个反直觉的代价:把 AI 一起封掉,排名会掉
意识到「AI 在读我的站」,很多老板的第一反应是:那我不让它读。
这里必须先把两件事拆开:AI 训练,和 AI 搜索。
训练,是把你的内容吸收进模型参数里,一次性的、不可撤回,你拿不到任何回报。搜索,是用户提问的那一刻来读你的页面、用来组答案,通常会带来源。两件事用的是不同的爬虫——OpenAI 有 GPTBot(训练)和 OAI-SearchBot(搜索),Anthropic 也一样。
2026 年 9 月 24 日发布的一项研究把两者的代价量了出来(SSRN 7518878),样本是 492 个和 825 个新闻站点的每日 robots.txt 快照:退出 AI 训练,对网站流量排名的平均影响在统计上测不出来;但退出 AI 搜索,排名平均下滑 4.3%,而且受害最重的是那些内容不设付费墙、内容供给又有限的站点。
更麻烦的是,很多封禁是「不小心」造成的。同期一项对 300 个高流量域名的 robots.txt 普查发现,有 15 个域名封了训练爬虫、把搜索爬虫放行了——这算是分得清的;但同时也有大量站点是一股脑全封。而平台的立场也很明确:由用户点击触发的那类抓取,一般并不遵从 robots.txt。
所以真正该问的不是「封不封」,而是「封哪一层」。顺便说,如果你正在找人做 GEO,问对方一句「我的站现在能不能被 AI 爬到」,这是最便宜的一次验收。
第二步也不便宜:藏在表单后面的内容,等于零引用
把门打开只是入场。第二步还有一道更常见的坎:内容放在哪。
不少 B2B 企业的做法是,最有价值的东西——白皮书、行业报告、详细的报价逻辑——全部放在留资表单后面。这在传统营销里合理,但在 AI 这条路径上等于自断一臂:AI 引不到它读不到的内容。有观察把这一条直接写成:上了表单门槛的内容,AI 引用份额为零。
前面那篇 45 项研究的综述里,作者把「有反复出现的方向性支持」的少数做法列了出来,一共三条:把有价值的内容从门槛后面放出来、在第三方评测类信源里建立真实的存在、围绕直接回答来组织内容。三条的共同点很明显:都不依赖某个平台的算法,也都不需要买新工具。
同一篇综述还给常见「技巧」做了证据分级。查询与文档的相关性,证据强,但只在受控环境里;可抽取的证据(可核验的数字、定义、对比),中到强;而通用格式套路——把内容分点、补统计数字、改成问答格式——跨平台迁移性差,经常无法复现。
不巧的是,这后三条恰好是市面上 GEO 服务清单里出现频率最高的三条。所以「写得更多」通常不是答案,「让人读得到、读得懂」才是。
还有个变化:AI 愿意给出的引用位置,正在变少
2026 年 9 月,第三方机构 QuestMobile 的监测给出了一个方向性数字(钛媒体转述):2026 年 7 月,豆包、千问、元宝的单次信源引用量环比分别下降 7.5%、1.5%、3.6%,同期排名前 10 的网站引用率在抬升。该报告把方向概括为「信源做减法,内容做乘法」。
监管侧同期也在收口。中央网信办「清朗·整治 AI 应用乱象」专项行动(2026-04-30 印发)在第一阶段把「AI 数据投毒」列为七类突出问题之一,原文里明确写到「通过篡改训练语料、伪造权威数据、使用 GEO 技术恶意营销等方式」;同一条里还有一句更该记的——把「未标注引用信息链接」写进了问题描述。
两件事合起来,意思很直接:引用位在变少,而「数字不带出处」已经从写作习惯问题,变成了被点名的现象。
对你意味着什么?三个连带判断:多拿引用位这个目标本身在贬值,因为位子在减少;「先删后加」优先于「再写一批」,低质存量会把你的可信度一起拉低;你未来拿到的任何一份效果报告,每个数字都该能追到出处——这不是漂亮的格式要求,这已经是合规项。
所以这笔钱该花在哪一层
把前面几件事连起来,会得到一个和常见说法不一样的结论。
常见说法是:先做内容、做量,被引用了就有价值。今天站得住的顺序是反过来的。
第一层,能被读到。检查 robots.txt、服务器与 CDN 设置、页面是否依赖 JavaScript 渲染。这一层基本不花广告费,主要是排查和配置,但它决定你有没有资格进入比较。
第二层,能被检索到。这里有一条更好操作的判断方法:诊断时先算「你的内容覆盖了这个话题下多少比例的提问」,而不是先看域名权重。一项覆盖 354,955 条 AI 引用的研究测得,话题覆盖度与「AI 概览」(搜索结果顶部那段由 AI 生成的摘要)引用之间的相关系数是 0.51,而域名权重只有 0.09。
第三层,被引用、并且被说对。这是几乎所有 GEO 服务在卖的那一层,也是证据最薄的一层。
所以预算的正确问法不是「做完这三层要多少钱」,而是「先花在哪一层,能让你自己看得见变化」。第一层的答案很干脆:先花你自己能验证的那一层。
还有一个提醒。如果你正在跟谁谈 GEO,问他一句「我的站现在能不能被 AI 爬到」,得到含糊回答,基本可以判断他做的是第三层,而且是跳过前两层的第三层。
你下周能自己做的三件事
第一件:读一遍你的 robots.txt,并且分清两类爬虫。在浏览器里打开你的域名加 /robots.txt。如果看到「整站禁止」出现在 User-agent: * 下面,或者出现在 GPTBot、ClaudeBot、OAI-SearchBot、Claude-SearchBot、PerplexityBot 各自的分组下面,先弄清它挡的是训练还是搜索。训练爬虫可以封,搜索爬虫不建议封——退出 AI 搜索平均要付 4.3% 的排名代价。
第二件:关掉 JavaScript,看一眼首页。在浏览器里禁用 JavaScript 后打开首页,或者用只取原始 HTML 的方式看一眼。如果你看到的是空白,或者看不到「这家公司做什么、在哪、怎么联系」,那 AI 大概率也看不到。这一条能一次排掉很多「明明写了却没被引用」的困惑。
第三件:把最有价值的那份东西从表单后面拿出来。不必全部拆掉,但至少让它的核心结论、关键数据和适用范围,以能直接读到的页面形式公开出来。留资表单可以留着,只是别让 AI 只能看到一个「填写信息后查看」。上了门槛的内容,引用份额是零。
三件事都不需要预算,做完大概半天。它们不会立刻让你出现在 AI 的答案里,但会让你后面花的每一分钱,都落在能被验证的地方。
常见问题
我怎么知道 AI 有没有读到我的网站?
先看两处。一是你的 robots.txt 里有没有把 OAI-SearchBot、Claude-SearchBot、PerplexityBot 这类搜索爬虫整站禁止;二是关掉 JavaScript 打开首页,看原始 HTML 里有没有说清企业是做什么的、在哪、怎么联系。这两处都正常,才有资格谈后面的事。
要不要干脆屏蔽所有 AI 爬虫?
要分开看。屏蔽 AI 训练,从流量排名上看不出平均影响;屏蔽 AI 搜索,排名平均下滑 4.3%。所以训练爬虫可以封,搜索爬虫不建议封。
内容藏在留资表单后面,会影响 AI 引用吗?
会。AI 引不到它读不到的内容,有观察把这条直接写成:上了表单门槛的内容,AI 引用份额为零。留资表单可以留着,但核心结论和关键数据要以公开可读的页面形式存在。