robots.txtでミスはないですか？間違った記述で評価が下がることも

robots.txtを正しい知識を持たずに設定すると、評価を下げてしまうこともあるって知ってますか？

そんなことがないように、使用方法を理解して記述が間違いがないかを確認するようにしましょう。

今回は、robots.txtの用途や記述の確認方法についての解説です。

 

robots.txtの用途とは

 

 

robots.txtは、クローラーの巡回を制限するためのファイルなので、通常は設定する必要はありません。

Webサイトの規模が大きく、クローラーの巡回自体がサーバーのパフォーマンスに影響している場合は、robots.txtを設定することで巡回不要なページを指定したり、特定のクローラーの巡回を制御したりすることが出来ます。

例えば、会員向けのコンテンツやショッピングカート内の決済プロセスなど、検索ユーザーにとって価値のないページなどにはクローラーが巡回することでサーバーへの負荷が増すため、robots.txtを使用する場合があります。

WordPressでは、以下のように予め設定されています。

 

• User-agent:

User-agent:（ユーザーエージェント）は、対象のエンジンのクローラーを指定します（「*」は”全てのクローラー”を指す）。

• Disallow:

Disallowは、指定したURLへの巡回をブロックする指示です。

巡回を許可する場合は「Allow:」を記述します。

• Sitemap:

XMLサイトマップの場所をクローラーに伝えます。

 

スポンサーリンク

 

robots.txtの記述を確認する方法

 

robots.txtのファイル自体はテキストファイルなので、中身は簡単に確認することが出来ます。

自身のドメインのすぐ後ろにrobots.txtが設置されているかを確認しましょう。

• 例：example.comというドメインの場合のrobots.txtのURLは「example.com/robots.txt」

robots.txtの記述が正しいかどうかを確認するにはSearch Consoleの「robots.txtテスター」が便利です。

 

Seach Consoleヘルプ

 

Seach Consoleヘルプのページへ行きます。

 

「robots.txtテスターを開く」をクリックして、Googleアカウントでログインしましょう。

 

 

「プロパティを選択してください」から調べたいWebサイトを選択しましょう。

 

エラーや警告がある場合には下部に表示されます。

一番下にある部分に主要なページのURLを入力して「テスト」ボタンをクリックします。

robots.txtによってブロックされている場合は「ブロック済み」、巡回できる場合には「許可済み」と表示されます。

 

間違っている場合には、この画面上で記述を修正しテストすることができます。

編集終了後「送信」をクリックすれば、更新されたrobots.txtファイルをダウンロードできるので、手順に従ってファイルを差し替えましょう。

 

 

まとめ

 

前述したように、robots.txtを正しい認識を持たずに設定してしまうと、評価を下げてしまうこともあります。

使用方法を理解して、記述に間違いがないかを確認することをお勧めします。

ここまでお疲れさまでした。