# Forming AI · AI 机读层 robots.txt
# 生成时间：2026-09-01T22:12:58.078Z
# 本站是给 AI 与搜索引擎读的机器可读层，欢迎抓取全部内容。
#
# 提醒：robots 放行 ≠ 真的能抓到。CDN / WAF / 反爬规则会在 robots 之前就拦截，
# 尤其 Cloudflare 自 2026-09-15 起默认拦截「混合用途」AI 爬虫，请一并检查。

# ── 国产 AI 引擎 / 搜索（海外工具通常不覆盖这一层）──────────────
# 字节跳动 · 豆包 / 头条搜索：国内第一大 AI 入口（豆包月活 3.82 亿），放行优先级最高
User-agent: Bytespider
Allow: /

# 百度 · 百度搜索 / 文心一言
User-agent: Baiduspider
Allow: /

# 百度 · 百度渲染抓取
User-agent: Baiduspider-render
Allow: /

# 腾讯（搜狗） · 搜狗搜索 / 元宝检索侧：元宝自有 UA 未公开，待实测
User-agent: Sogou web spider
Allow: /

# 阿里（UC 神马） · 夸克 / 神马搜索
User-agent: YisouSpider
Allow: /

# 华为 · 花瓣搜索 / 小艺
User-agent: PetalBot
Allow: /

# 360 · 360 搜索 / 纳米 AI
User-agent: 360Spider
Allow: /

# 阿里（UC 神马） · 大小写变体（UA 待实测确认）：实测见过小写变体，一并放行
User-agent: Yisouspider
Allow: /

# 月之暗面 · Kimi 探索版（UA 待实测确认）：待实测：UA 未见公开文档
User-agent: Kimi-Bot
Allow: /

# 深度求索 · DeepSeek（UA 待实测确认）：待实测：DeepSeek 联网多走第三方搜索，未必有自有爬虫
User-agent: DeepSeekBot
Allow: /

# 腾讯 · 元宝（UA 待实测确认）：待实测：占位，别拿去跟客户说这是确定的
User-agent: TencentYuanbaoBot
Allow: /

# ── 海外 AI 引擎 / 搜索 ────────────────────────────────────────
# OpenAI · ChatGPT
User-agent: GPTBot
Allow: /

# OpenAI · ChatGPT Search
User-agent: OAI-SearchBot
Allow: /

# OpenAI · ChatGPT 实时取页
User-agent: ChatGPT-User
Allow: /

# Anthropic · Claude
User-agent: ClaudeBot
Allow: /

# Anthropic · Claude 检索
User-agent: Claude-SearchBot
Allow: /

# Anthropic · Claude 实时取页
User-agent: Claude-User
Allow: /

# Perplexity · Perplexity
User-agent: PerplexityBot
Allow: /

# Perplexity · Perplexity 实时取页
User-agent: Perplexity-User
Allow: /

# Google · Gemini / AI 概览语料
User-agent: Google-Extended
Allow: /

# Google · 搜索收录
User-agent: Googlebot
Allow: /

# Microsoft · 搜索收录 / Copilot
User-agent: Bingbot
Allow: /

# Apple · Siri / Spotlight
User-agent: Applebot
Allow: /

# Apple · Apple Intelligence 语料
User-agent: Applebot-Extended
Allow: /

# Common Crawl · 公开语料库
User-agent: CCBot
Allow: /

# Amazon · Alexa / Rufus
User-agent: Amazonbot
Allow: /

# Meta · Meta AI
User-agent: Meta-ExternalAgent
Allow: /

# Mistral · Le Chat（UA 待实测确认）
User-agent: MistralAI-User
Allow: /

# Cohere · Cohere（UA 待实测确认）
User-agent: cohere-ai
Allow: /

# DuckDuckGo · DuckAssist（UA 待实测确认）
User-agent: DuckAssistBot
Allow: /

# ── 其余一律放行 ──────────────────────────────────────────────
User-agent: *
Allow: /

Sitemap: https://ai.forming-ai.com.cn/sitemap.xml

# 给 AI 的站点索引（llmstxt.org 约定）：
# https://ai.forming-ai.com.cn/llms.txt
# https://ai.forming-ai.com.cn/llms-full.txt