返回行业资讯
AI搜索搜不到你的官网：先查这五道技术闸门
📌 摘要
内容写了半年，问 AI 「这个行业哪家做得好」，答案里连公司名都没有——问题多半不在内容。2026 年 8 月一次普查抽查 15834 个本地小商户站点，23.77% 对至少一个 AI 爬虫读不到，绝大多数不是有意拒绝，是被默认设置挡在门外。五道闸门一小时能自查完。
做了半年内容，问 AI 「这个行业哪家做得好」，答案里连公司名都没有。多数老板第一反应是内容不行，其实更可能是门就没开过——AI 压根没进来读过你的网站。
2026 年 8 月 20 日一次访问普查抽查了美国 40 个都会区 15834 个本地小商户站点，23.77% 对至少一个 AI 爬虫读不到，加权后 27.06%。荷兰 AIO Clicks 9 月 15 日到 10 月 20 日扫描 310 家企业站点，ChatGPT 的爬虫在五分之一站点上拿不到足够内容——主动用 robots.txt 挡的只有一家，其余全是托管商的安全策略造成的。那次普查测了 11 个 AI 爬虫，失败原因归三类：一条 robots.txt 规则、主机或 CDN 层的拦截或报错、以及首页原始 HTML 里没同时写清这家公司做什么和怎么联系。第三条最容易被忽略——框架做的企业站浏览器打开挺漂亮，爬虫拿到的却是一堆待执行脚本，AI 读的是空壳。
一、robots.txt 是块牌子，真正的门闩在 CDN 那一层
很多人第一件事是改 robots.txt，改完还是没用，原因在层级。robots.txt 只是一份请求，礼貌地问爬虫别进哪间屋；CDN 或主机那层才是执行者，在请求读到你的 robots.txt 之前就决定了放不放行。两者冲突时，门闩赢。
具体到 Cloudflare：2025 年 7 月 1 日它把新接入域名的默认值改成拦截 AI 爬虫，官方称之 Content Independence Day。GPTBot、ClaudeBot、PerplexityBot、Google-Extended、GeminiBot、Grok 全在默认拦截名单里，模式从 opt-out 变 opt-in。Cloudflare 承载全网约 22.4% 的站点（W3Techs，2026 年 6 月）。后果能测：Cloudflare 站点中 GPTBot 仍爬得到的份额，从 2026 年 1 月的 35.46% 掉到 3 月的 28.97%。
没动过任何设置，只是某天把域名接进 CDN，AI 可见度可能就是那天被关掉的。应对不是把开关全拨回去，而是按名字逐个放行想要的爬虫。
二、三类爬虫，别一刀切
AI 派来的访客分三种，对付方式不同。
训练爬虫（GPTBot、ClaudeBot、CCBot）抓内容去训练模型，跟你能不能被引用没关系，属于内容授权决策。检索爬虫（OAI-SearchBot、Claude-SearchBot）负责建索引，决定你在 AI 回答里能不能出现，这一类必须放行——OpenAI 的说明很硬：屏蔽 OAI-SearchBot 的站点不会出现在 ChatGPT 搜索答案里。
先看比值。Cloudflare Radar 2026 年一季度测了每家爬虫抓多少页才换回一个真人访客：ClaudeBot 23951 比 1，GPTBot 1252 比 1，PerplexityBot 95 比 1，Googlebot 5 比 1。
判断很明确：Perplexity 最值得放行，抓得少还愿意把人送过来；无差别全挡，等于把唯一愿意给你带流量的那家也挡了。
Google 另算：AI Overviews 用的就是普通 Googlebot，Googlebot 永远别挡；Google-Extended 只决定 Gemini 能不能拿你的内容做训练，跟你在不在 AI 概览里无关。
三、llms.txt 别当成救命稻草
设想挺好：放在域名根目录，用纯文本告诉 AI 你有哪些重点内容。现实是采纳率很低。
对 6455 个装了 llms.txt 插件并同意共享数据的 WordPress 站点的统计显示，截至 2026 年 6 月 14 日的 30 天里，只有 626 个站点（9.7%）收到过 AI 机器人对 /llms.txt 的请求。OAI-SearchBot 在它爬过的 5567 个站点中请求了 8.5%，GPTBot 8.4%；用户触发型的 ChatGPT-User 只有 0.4%，Perplexity-User 是 0。大部分机器人来一次就不回头。
Google 的表态更干脆：Search 不使用 llms.txt，做了既无害也无助，对页面 Markdown 版本和其他 AI 专用文件持同样立场。
它是半小时能做完、写了不亏的补充动作，不是主要动作。顺序搞反——首页还没让爬虫读到就先折腾 llms.txt——是常见的时间浪费。
四、五道闸门，一小时自查完
第一道：打开 你的域名/robots.txt，看有没有针对 GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot 的 Disallow: /，也看 User-agent: * 那条。
第二道：问托管商或 CDN 有没有启用机器人拦截或 AI 拦截、OpenAI 公布的 IP 段是否放行。robots.txt 看着开放，前面那层照样能把 AI 爬虫拒掉。
第三道：改 User-Agent 实测一次首页，看返回 200 还是 403。
第四道：右键看网页源代码，确认原始 HTML 里同时写清你做什么、服务哪些地区、怎么联系。纯前端渲染的站点要让关键内容在服务端输出。
第五道：改完别当天验收。OpenAI 说 robots.txt 变更传到 ChatGPT 搜索大约要 24 小时；AI 答案本身按天在变，同一个问题至少问七次、跨几天测再下结论。
门开了之后，才是内容的事
Pew Research Center 2025 年的数据说明这件事值不值得做：有 AI 摘要时用户点进网站的比例是 8%，没有摘要时是 15%。没能进到那段摘要里的企业，连被点开的机会都在变少。技术闸门不解决，后面所有选题和信源布局都是在空转。
站内 GEO 栏目讲过怎么被 AI 引用和怎么验收效果，配合这一篇看更省事。
❓ 常见问题（FAQ）
挡了 AI 爬虫，会影响百度或 Google 的排名吗？
不影响传统排名。Cloudflare 等边缘层的默认拦截不动 Googlebot、Bingbot 这类传统搜索爬虫，蓝色链接的排名不受牵连。受影响的是 ChatGPT 搜索、Perplexity、Google AI 概览这类基于大模型的产品。反过来，Googlebot 永远不要挡——它同时管着传统索引和 AI 概览的内容来源。
用了 CDN 但从没动过设置，是不是已经被挡了？
有可能，取决于接入时间。Cloudflare 自 2025 年 7 月 1 日起把新域名默认改成拦截 AI 爬虫，此后接入的域名大概率继承了默认值。查法很简单：进 CDN 后台找机器人管理或 AI Crawl Control，看各爬虫的放行状态；再改 User-Agent 实测一次首页，返回 403 就说明门是关着的。
内容做了半年还是不被引用，是不是内容本身不行？
先排除技术原因再改内容。按普查数据，约四分之一的本地小商户站点对至少一个 AI 爬虫不可读，而其中绝大多数不是有意为之，是托管商或 CDN 的默认策略。先跑完五道闸门自查，确认爬虫读得到、首页原始 HTML 里能看出你做什么，再评估选题和信源布局，否则改内容是在空转。
📚 资料来源
- CWRSEO《How AI search works》2026-08-20 访问普查（15834个本地商户站点、11个AI爬虫、23.77%不可读、llms.txt 6455站点统计）
- AIO Clicks《AI Visibility of SMEs: Research Across 310 Websites (2026)》2026-09-15至10-20扫描
- Cloudflare 新闻稿《Content Independence Day》2025-07-01（默认拦截AI爬虫、超一百万客户启用）
- Indexly《Cloudflare is quietly locking 1-in-5 sites out of AI engines》2026-06（W3Techs 22.4%、GPTBot份额35.46%降至28.97%、Cloudflare Radar 抓取回流比）
- AI-Advisors《AI Crawlers in 2026: Which Bots to Allow and Which to Block》（robots.txt与边缘层执行顺序）
- IPScanner《Cloudflare 默认拦截 AI 爬虫：这对你的网站意味着什么》（2025-07-01默认切换、2025-09-24 Content Signals Policy）
- Pew Research Center 2025（有AI摘要时点击率8%对无摘要15%，经AIO Clicks引述）