AI 爬虫是什么？为什么 Google Analytics 里看不到它们

AI 爬虫是 AI 公司派来读取网页的程序。它们不运行统计代码，所以 Google Analytics 、百度统计这类工具完全看不到它们。想知道 AI 有没有来过你的网站、读了什么，只能看服务器或 CDN 的访问日志。

三类 AI 爬虫，分工不同

主流 AI 公司都把爬虫分成了几类，各自有独立的名字。弄清楚分工，才知道哪些该放行。

类型	做什么	代表
搜索爬虫	建立 AI 搜索的索引，决定你能否出现在 AI 搜索结果里	OAI-SearchBot（OpenAI）、Claude-SearchBot（Anthropic）、PerplexityBot
用户触发	有人在 AI 里提问，AI 当场打开你的页面	ChatGPT-User、Claude-User、Perplexity-User
训练爬虫	收集可能用于训练模型的公开内容	GPTBot（OpenAI）、ClaudeBot（Anthropic）

还有一类容易被忽略：Google 的 AI 概览和 AI 模式使用的是普通搜索的索引，由 Googlebot 抓取。Google-Extended 则是一个控制标识，用来决定内容能否用于 Gemini 等模型。

网站统计工具的原理是：页面里放一段 JavaScript 代码，访客的浏览器运行这段代码，把访问记录发回统计服务器。

AI 爬虫只下载页面内容，不运行这段代码。所以，就算 GPTBot 一天读了你几百个页面，GA4 里也一条记录都没有。反过来说，如果 AI 爬虫被防火墙拦住了，统计工具也不会报警。

而服务器在收到每一个请求时，都会在访问日志里记一笔：时间、访问的页面、返回的状态码、请求方的名字（User-Agent）和 IP。AI 爬虫的每一次访问都在这里。

一条日志大致长这样（简化版）：

2026-11-03 14:21  GET /products/screw-air-compressor/  200  OAI-SearchBot
2026-11-03 14:25  GET /products/screw-air-compressor/  403  ClaudeBot

把几周的日志汇总起来，就能回答四个问题：

哪些 AI 平台来过，各来了多少次，是越来越多还是越来越少。
读了哪些页面。核心产品页、公司介绍页有没有被读到，还是只读了首页和图片。
有没有被拦截。返回 403、503 的请求，往往说明防火墙或安全插件在拦 AI。
是不是真的 AI 爬虫。任何人都可以冒充 GPTBot 的名字。OpenAI 和 Anthropic 都公布了爬虫的 IP 列表，对照 IP 才能确认真假。

如果你有服务器权限，可以让技术人员用一行命令先看个大概：

grep -Ei "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | tail -50

但人工查看有三个问题：日志只保留几天就被清理；很难长期对比趋势；也不好判断哪些是冒充的。

GEOmonitorai 的做法是在服务器上安装一个只读的日志采集器，持续把访问记录传到监测平台，自动识别 AI 爬虫、校验真假、标出被拦截的请求。IP 地址在存储前会脱敏。采集器不修改网站内容，可以随时停止和卸载。