WordPressにおけるrobots.txtの仕組み

wordpress

robots.txtとは?

robots.txtとは、検索エンジンに対しての命令を記述するためのファイルです。 基本的には検索結果に表示させたくないファイルを通知します。

例えばWordPressであればwp-admin配下のほとんどのファイルは外部に見せませんよね。 そんなページをクロールされると、訳の分からないページが検索結果に出てしまうかもしれません。 これでは検索エンジンからのサイト評価が下がってしまいます。

試しに自分のサイトのrobots.txtを確認してみましょう。 特に設定を変えていなければ「サイトURL/robots.txt」で表示できるはずです。 以下のような記述がされていると思います。

robots.txt

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: hoge/sitemapindex.xml

大雑把に説明すると、「wp-admin配下のファイルは出さない」「ただしwp-admin/admin-ajax.phpだけは出す」「サイトマップはhoge/sitemapindex.xml」という情報が書かれています。

もし他にも検索エンジンに見せたくないファイルがある場合、「Disallow」の部分を追記します。 例えば「上記に加えてwp-includes配下のファイルも出さない」場合、記述は以下のようになります。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php

Sitemap: [SITE-URL]/sitemapindex.xml

WordPressのrobots.txt

robots.txtはルートフォルダにあるかのようなURLでしたが、フォルダを見てみてもファイルはありません。 これは仮想robots.txtをWordPressが自動的に作成しているためです。

自身でrobots.txtを設定してルートフォルダにアップロードすればそちらが優先されます。 なので詳細設定が必要な場合は自分でファイルを作成してアップロードすればいいでしょう。 仮想robots.txtを詳細に設定するプラグインもあるので、それを使うのも手です。

ただし凝ったことをしない場合はデフォルト状態の仮想robots.txtで十分です。 それで不都合が出た場合に作成を検討すればいいでしょう。

アマルウェブ HOME