GEOmonitorai 免费诊断
GEO 入门

你的网站可能正在把 AI 挡在门外：robots.txt 与防火墙自查

GEOmonitorai 团队 ·

网站拦住 AI 有两种方式：一是 robots.txt 里写了"不许抓"，二是防火墙、CDN 或安全插件直接拒绝请求。前一种看一眼文件就知道，后一种只有服务器日志里才看得到。很多企业的 robots.txt 写得没问题，却在第二种上摔了跟头。

第一道门：robots.txt

robots.txt 是放在网站根目录的一个文本文件，告诉各家爬虫哪些地方可以抓、哪些不行。在浏览器里打开"你的域名/robots.txt"就能看到。

常见的三种坑：

  1. 建站时的"禁止收录"忘了关。网站上线前设了 Disallow: /，上线后没人改回来，所有爬虫都进不来。
  2. 一刀切屏蔽所有 AI。听说"AI 会抄内容"，就把 GPTBot、ClaudeBot、PerplexityBot 全部屏蔽，连带搜索爬虫也挡了。
  3. 分不清训练和搜索。只想不让内容被拿去训练，却把决定你能否出现在 AI 搜索里的爬虫也屏蔽了。

对大多数出口工厂，产品页本来就是写给买家看的，希望越多人看到越好。一个稳妥的默认做法是：搜索类和用户触发类的 AI 爬虫全部放行；训练类爬虫是否放行，由企业自己决定。

比如只不允许 OpenAI 用于训练，但保留 ChatGPT 搜索：

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

改动前，可以把 robots.txt 粘贴到 GEOmonitorai 的免费检查工具，它会逐个列出 14 个主流 AI 爬虫是放行还是屏蔽。工具在浏览器里运行，不会上传你的内容。

第二道门：防火墙、CDN 和安全插件

robots.txt 只是"请求"，守规矩的爬虫会遵守。防火墙则是直接"拒绝"，不管 robots.txt 怎么写。

这些设置最容易误伤 AI 爬虫：

来源 常见情况
CDN 的机器人防护 开启"拦截 AI 机器人"或高级别的机器人防护后，AI 爬虫会收到 403 或验证页
WordPress 安全插件 把频繁访问的爬虫当作攻击，封禁整个 IP 段
服务器限流 爬虫一次请求太多页面，被返回 429 或 503
地区屏蔽 只允许部分国家访问，而 AI 爬虫的服务器多在美国

这些问题的共同点是：人用浏览器访问完全正常，网站也没有任何提示。只有在日志里看到一排排 GPTBot 或 ClaudeBot 收到 403，才知道出了问题。

自查三步

  1. 打开你的 robots.txt，用检查工具确认搜索类 AI 爬虫均为放行。
  2. 问一下网站服务商或技术人员：CDN 和安全插件有没有开启"拦截 AI 爬虫"一类的功能。
  3. 查看近两周的服务器日志，统计 AI 爬虫请求里有多少是 200，多少是 403、429、503。

前两步自己就能做。第三步是 GEOmonitorai 诊断报告里的必查项，会列出哪个 AI 平台、哪些页面、什么时间被拦截。

相关工具：免费 AI 爬虫 robots.txt 检查工具 · 预约免费 AI 可见度诊断 · 英文版

GEO 入门系列 · 第 5/10 篇。下一篇：AI 为什么会把你的公司说错？先建一份企业事实库

看看哪些 AI 爬虫读了你的网站

GEOmonitorai 读取服务器日志，显示哪些 AI 平台来访、哪些关键页面从未被读到、哪些请求被拦截。首次诊断免费。

预约免费 AI 可见度诊断

相关文章