这段时间不少做官网的客户在问同一件事：ChatGPT、豆包、Perplexity 这些 AI 工具到底有没有在抓我的网站？抓走了，我是亏了还是赚了？这个问题以前可以拖，现在不太好拖了——AI 搜索正在从搜索结果里分走一部分流量，而它对内容的取用方式，和百度、Google 的蜘蛛并不一样。
一、先分清三类"机器人"
抓你网站的自动化程序大致分三类，处理方式完全不同：
- 搜索引擎蜘蛛：Baiduspider、Googlebot、bingbot、360Spider、Sogou Spider。它们抓取后把页面放进索引，用户搜索时给你导流。这类必须放行。
- AI 训练与索引爬虫：例如 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot、Perplexity 的 PerplexityBot。它们把内容抓去训练模型，或作为 AI 回答的素材来源。
- 借蜘蛛名头行事的扫描器：数量庞大，跟收录毫无关系，纯粹在扫漏洞（
/.env、/.git/config这类路径）。
二、我们自己在日志里看到的实情
为了搞清楚"到底谁在抓"，我们把爱云科技官网近 24 小时的访问日志按 User-Agent 拉出来，又对每个抓取 IP 做了一次反向 DNS 校验（看 PTR 记录是否落在对应厂商的官方域名下）。结果是这样的：
| 类型 | 抓取次数 | 说明 |
|---|---|---|
| 百度 | 18 | PTR 全部验真 |
| 23 | PTR 全部验真 | |
| 必应 | 11 | PTR 全部验真 |
| 360 / 搜狗 | 9 | 这两家不配 PTR，只能按 UA 采信 |
| 伪造蜘蛛 UA 的扫描 | 149 | PTR 对不上官方域名，已排除 |
结论有点反直觉：光看 User-Agent 会把扫描量当成抓取量。我们站里假蜘蛛比真蜘蛛多一倍还多，如果不做 IP 校验，很容易得出"蜘蛛抓得很勤"的错误结论，然后在一堆根本没收录价值的探测请求上白忙。
三、robots.txt 的三种策略，怎么选
robots.txt 是主流爬虫普遍愿意遵守的"门口告示"。对企业官网，我建议按下面的分法处理：
| 对象 | 建议 | 理由 |
|---|---|---|
| 搜索引擎蜘蛛 | 全部 Allow | 它们是流量来源，没有拒绝的理由 |
| AI 搜索/索引类爬虫 | Allow | 被 AI 回答引用会带来品牌曝光和新的访问来源 |
| 纯训练类爬虫 | 看内容策略 | 如果你的核心内容本身就是付费产品，可以单独 Disallow |
| 后台、接口、客户方案路径 | 一律 Disallow | 这些本来就不该被收录，更不该被喂给模型 |
| 扫描器 | robots.txt 管不了 | 它们不遵守任何规则，只能靠服务端拦 |
需要提醒的是：robots.txt 只是"君子协定"。它约束的是守规矩的爬虫，对扫描器完全无效——别把安全寄托在它身上。
四、现在就能做的三件事
1. 先把日志看清楚，再决定放不放行
不要凭感觉。从 Nginx 访问日志里按 User-Agent 统计一遍，重点看两件事：哪些 UA 在抓、这些 UA 背后的 IP 反向解析出来是不是厂商官方域名。这一步做完，你才知道该对谁设策略。
2. 把不该被碰的路径先关死
后台、接口、上传的客户文件目录，写进 robots.txt 的 Disallow 只是道提醒；真正有效的是服务端直接返回 404 或 403。我们站里对 .env、.git 这类点文件就是硬拦，日志里能看到扫描器全部吃 403。
3. 让内容"值得被引用"
AI 回答引用内容时有明显偏好：结论清晰、有小标题、有具体数据、有可执行的步骤。如果你的文章是一大段没有结构的散文，被引用的概率会低很多。这也解释了为什么同样写一个主题，结构化写法的页面更容易出现在 AI 摘要里。
五、判断清单
- 你有没有真的看过自己的访问日志？还是只看站长平台给的汇总数字？
- robots.txt 里有没有把后台、接口、客户资料路径单独列出来？
- 有没有对抓取 IP 做过反向 DNS 校验，区分真蜘蛛和伪造 UA？
- 你的核心内容页，是不是能在 3 秒内让人（和机器）看懂"这篇讲了什么、结论是什么"？
把这几件事做完，AI 爬虫这件事就不再是"要不要拦"的焦虑，而是一道有依据的选择题。
