Forming AI 机读层的 robots.txt 明确放行 30 个 AI 爬虫 User-Agent，其中 11 个是国产引擎相关 UA
最后更新：
- 主体
- Forming AI
- 类别
- 技术
- 维度
- 爬虫放行
- 类型
- 参数
- 取值
- 30 个 UA（含 11 个国产）
- 生效日期
- 2026-08-28
国产部分包含 Bytespider（字节/豆包）、Baiduspider、YisouSpider（夸克/神马）、PetalBot、360Spider、Sogou web spider 等。其中若干国产 AI 引擎的自有 UA 尚未经我们实测确认，在爬虫库里标为「待实测」，一并放行但不假装我们已经确认——放行不会有坏处，挡错才有。
一个必须分开说的事实
robots 放行 ≠ 爬虫真的进得来。CDN 和 WAF 会在 robots 之前就拦截，Cloudflare 自 2026-09-15 起对「混合用途」AI 爬虫默认拦截。体检报告里这两层是分开检测、分开报告的。