目次

「SEO」に戻る

robots.txtとは。robots.txtの利用例



robots.txtとは

robots.txtはGoogleなどの検索エンジンのクローラー(ボット)がサイトをチェックする際の制御ファイルです。

クローラーは1度に確認するページは限られているため、できる限り重要なページにリンクを多くはり、重要なページに行ってもらうようにしましょう。


DokuWikiでrobots.txtを利用する場合の例

User-agent: *
Disallow: /*do=login
Disallow: /*do=edit
Disallow: /*do=diff

Sitemap: https://dokuwiki.oreda.net/?do=sitemap

User-agent: *は、ユーザエージェントの種類で、*で全てのボット対象とするという意味です。


robots.txtの動作確認

SearchConsoleの「クロール」の「robots.txtテスター」からrobots.txtの動作確認ができます。
「送信」ボタンを押してみましょう。

エラーや警告が0件なら問題ありません。





「SEO」に戻る