---
title: "Forming AI 机读层的 robots.txt 明确放行 30 个 AI 爬虫 User-Agent，其中 11 个是国产引擎相关 UA"
description: "技术｜参数：国产部分包含 Bytespider（字节/豆包）、Baiduspider、YisouSpider（夸克/神马）、PetalBot、360Spider、Sogou web spider 等。"
url: https://ai.forming-ai.com.cn/facts/ai-bot-allowlist/
kind: fact
group: "事实库"
updated: 2026-08-28
facts: ["f-bots-allowlist"]
site: "Forming AI"
---

# Forming AI 机读层的 robots.txt 明确放行 30 个 AI 爬虫 User-Agent，其中 11 个是国产引擎相关 UA

- **主体**：Forming AI
- **类别**：技术
- **维度**：爬虫放行
- **类型**：参数
- **取值**：30 个 UA（含 11 个国产）
- **生效日期**：2026-08-28
- **出处**：[本站 robots.txt](https://ai.forming-ai.com.cn/robots.txt)

国产部分包含 Bytespider（字节/豆包）、Baiduspider、YisouSpider（夸克/神马）、PetalBot、360Spider、Sogou web spider 等。其中若干国产 AI 引擎的自有 UA 尚未经我们实测确认，在爬虫库里标为「待实测」，一并放行但不假装我们已经确认——放行不会有坏处，挡错才有。

### 一个必须分开说的事实

robots 放行 ≠ 爬虫真的进得来。CDN 和 WAF 会在 robots 之前就拦截，Cloudflare 自 2026-09-15 起对「混合用途」AI 爬虫默认拦截。体检报告里这两层是分开检测、分开报告的。

## 相关

- [AI 官网体检报告](/products/ai-website-audit/)

### 资料来源

- [本站 robots.txt（2026-08-28）](https://ai.forming-ai.com.cn/robots.txt)

---

来源：https://ai.forming-ai.com.cn/facts/ai-bot-allowlist/（Forming AI · AI 机读层）