robots.txt生成

Disallow: / の事故を防ぐ。GoogleもBingもルートのファイルを見ます。こちらはクロールしません。

公開時にサイト全体を Disallow: / したまま——下書きです。置く場所はサイト直下です。Search Consoleでも、順位の保証でもありません。

メタはメタタグ生成。状態コードはHTTPステータスです。

公開前に使うとき

ステージングを閉じたい、管理画面だけ閉じたい、という列挙です。本番の HTML に noindex があるのに、robots でそのURLを隠すと、検索エンジンが noindex を読めないことがあります。sitemap の URL は、実在するXMLだけ書いてください。

使い方

1. 本当に書きたいUAとパスを列挙します。
2. コピーします。XMLがあるときだけ Sitemap: を書きます。
3. 配置後、自分のホストでファイルを開きます。こちらはクロールしません。

監査にしないこと

サイト取得、カバレッジ、順位、noindexの代行はありません。