robots.txtはGoogleなどの検索エンジンのクローラー(ボット)がサイトをチェックする際の制御ファイルです。

クローラーは１度に確認するページは限られているため、できる限り重要なページにリンクを多くはり、重要なページに行ってもらうようにしましょう。

User-agent: *
Disallow: /*do=login
Disallow: /*do=edit
Disallow: /*do=diff

Sitemap: https://dokuwiki.oreda.net/?do=sitemap

User-agent: *は、ユーザエージェントの種類で、*で全てのボット対象とするという意味です。

SearchConsoleの「クロール」の「robots.txtテスター」からrobots.txtの動作確認ができます。
「送信」ボタンを押してみましょう。

エラーや警告が0件なら問題ありません。

「SEO」に戻る