robots.txt 生成

避免上线写成 Disallow: /。百度、必应、Google 仍要读根路径那份文件。我们不去爬你。Sitemap 行只是提示，不保证收录。

上线写成整站禁止——本页起草 robots.txt。你仍要放到网站根。不是百度站长或 Search Console。预发环境复制生产配置，把 Disallow: / 一起带上去，是常见事故。

Meta / OG 走 Meta 标签草稿。状态码走速查。路径草稿走 Slug。

根目录草稿

• 避免整站 Disallow: /。不抓取你的线上文件，不提交 sitemap，不覆盖 noindex。
• 文件请自己放到站点根。HTTPS 下也要能打开同一份。
• /admin 和 /admin/ 匹配范围不同，写错会误伤或漏拦。
• 不承诺排名。不是 noindex。不去爬你的源站。

怎么用

1. 列出你真正想写的 UA 和路径。预发和线上不要混用同一份「全站禁止」。
2. 复制文本。只有 XML 真的存在才写 Sitemap:。
3. 部署后自己打开 https://你的域名/robots.txt。再用站长平台做抓取诊断。

使用前先看清的限制

不承诺排名。不是 noindex。不去爬你的源站。抓取≠收录。