robots.txtジェネレーター
クローラーごとのallow/disallowルール、任意のクロール遅延、サイトマップ参照を備えたrobots.txtファイルを作成します。
ルール
robots.txt
user-agentに*を指定するとすべてのクローラーにルールが適用されます。Googlebotのように特定のボット名を指定することもできます。Disallowはパスのクロールを禁止し、Allowは明示的に許可します(disallowしたフォルダー内に例外を設けたいときに便利です)。
よくある質問
robots.txtで実際にGoogleからページを隠せますか?
robots.txtがブロックするのはクロールであって、インデックス登録とは限りません。disallowしたURLでも、他のサイトからリンクされていれば(説明文なしで)検索結果に表示されることがあります。ページを検索結果から完全に除外したい場合は、代わりにnoindexメタタグを使ってください。この場合、ページはクロール可能である必要があります。
robots.txtはどこに置く必要がありますか?
ドメインのルート、つまり正確に https://example.com/robots.txt に置きます。それ以外の場所ではいけません。クローラーはサブフォルダーの中を探しません。
空のDisallowは何を意味しますか?
後ろに何も書かないDisallow:は「何も禁止しない」という意味で、そのuser-agentに対してすべてを許可するのと同じです。これがこのツールのAllow: /の初期設定です。