# 宁波市喜米网络信息科技有限公司 # robots.txt —— 搜索引擎与 AI 抓取规则(遵循 RFC 9309) # 站点地图:https://cn-ximi.com/sitemap.xml # # 说明:每个 AI/搜索爬虫使用独立完整规则组,公开内容一律放行; # 后台与接口目录只在通配组中禁止,避免具名爬虫组出现 Disallow # 被解析器放大判定为「部分阻断」。 User-agent: Bytespider Allow: / User-agent: Baiduspider Allow: / User-agent: Sogou web spider Allow: / User-agent: YisouSpider Allow: / User-agent: 360Spider Allow: / User-agent: ToutiaoSpider Allow: / User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Allow: / User-agent: Claude-Web Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: / User-agent: Applebot Allow: / User-agent: * Allow: / # 后台与接口目录不在此写 Disallow:避免解析器把「存在任何 Disallow」放大为 # 对所有 AI 爬虫的部分阻断。后台由 adminxm/.htaccess 的 X-Robots-Tag: noindex # 与登录鉴权保护,接口目录同样有服务端鉴权。 Sitemap: https://cn-ximi.com/sitemap.xml