User-agent: * Disallow: /*?*q= Allow: / # ── 已移除的文档整节(15 个 URL 全部 404):停止重复抓取,让 Google 放掉索引 ── Disallow: /docs/ # ── 私有 / 接口页(P1):不收录,把抓取预算让给有效的英文 glossary/blog ── Disallow: /api/ Disallow: /auth/ Disallow: /api-keys Disallow: /my-credits Disallow: /cdn-cgi/ # AI 检索 / 引用类爬虫(必须放行,否则 ChatGPT / Claude / Perplexity 无法引用本站) User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: Applebot-Extended Allow: / User-agent: DuckAssistBot Allow: / Sitemap: https://www.barcodegen.net/sitemap.xml