最短で確実に稼げるブログ作成を目指しています

robots.txtでミスはないですか?間違った記述で評価が下がることも

WRITER
 




この記事を書いている人 - WRITER -
ふわりゆらりという楽しくも厳しいライフスタイルを送っているブロガーです!(笑)人の何十倍も楽しい人生を送るために、絶対やるべきこと。。やったらいいこと。。やっといたほうがいいこと。。などいろいろ書いてます。

robots.txtを正しい知識を持たずに設定すると、評価を下げてしまうこともあるって知ってますか?

そんなことがないように、使用方法を理解して記述が間違いがないかを確認するようにしましょう。

今回は、robots.txtの用途や記述の確認方法についての解説です。

 

robots.txtの用途とは

 

 

robots.txtは、クローラーの巡回を制限するためのファイルなので、通常は設定する必要はありません。

Webサイトの規模が大きく、クローラーの巡回自体がサーバーのパフォーマンスに影響している場合は、robots.txtを設定することで巡回不要なページを指定したり、特定のクローラーの巡回を制御したりすることが出来ます。

例えば、会員向けのコンテンツやショッピングカート内の決済プロセスなど、検索ユーザーにとって価値のないページなどにはクローラーが巡回することでサーバーへの負荷が増すため、robots.txtを使用する場合があります。

WordPressでは、以下のように予め設定されています。

 

  • User-agent:

User-agent:(ユーザーエージェント)は、対象のエンジンのクローラーを指定します(「*」は”全てのクローラー”を指す)。

  • Disallow:

Disallowは、指定したURLへの巡回をブロックする指示です。

巡回を許可する場合は「Allow:」を記述します。

  • Sitemap:

XMLサイトマップの場所をクローラーに伝えます。

 

スポンサーリンク

 

robots.txtの記述を確認する方法

 

robots.txtのファイル自体はテキストファイルなので、中身は簡単に確認することが出来ます。

自身のドメインのすぐ後ろにrobots.txtが設置されているかを確認しましょう。

  • 例:example.comというドメインの場合のrobots.txtのURLは「example.com/robots.txt」

robots.txtの記述が正しいかどうかを確認するにはSearch Consoleの「robots.txtテスター」が便利です。

 

Seach Consoleヘルプ

 

Seach Consoleヘルプのページへ行きます。

 

「robots.txtテスターを開く」をクリックして、Googleアカウントでログインしましょう。

 

 

「プロパティを選択してください」から調べたいWebサイトを選択しましょう。

 

エラーや警告がある場合には下部に表示されます。

一番下にある部分に主要なページのURLを入力して「テスト」ボタンをクリックします。

robots.txtによってブロックされている場合は「ブロック済み」、巡回できる場合には「許可済み」と表示されます。

 

間違っている場合には、この画面上で記述を修正しテストすることができます。

編集終了後「送信」をクリックすれば、更新されたrobots.txtファイルをダウンロードできるので、手順に従ってファイルを差し替えましょう。

 

注意点
 

robots.txtでは、「一つのページに対してnoindexと併用しない」・「JavaScriptやCSSをブロックしない」の二点に注意しましょう。一つのページに対してnoindexとrobots.txtを使用すると、クローラーはそのページをたどれなくなり、noindexの記述を見つけることができません。CSSファイル用のディレクトリごとブロックしてしまうと、クローラーがページの内容を正常に表示できない可能性があります。

 

まとめ

 

前述したように、robots.txtを正しい認識を持たずに設定してしまうと、評価を下げてしまうこともあります。

使用方法を理解して、記述に間違いがないかを確認することをお勧めします。

ここまでお疲れさまでした。

 

稼げるブログ!

開設方法からSEO対策・収益化までを徹底解説!

しかも、無料で配布しています。

あのWordPressを初心者でも、開設から収益化まで分かりやすくまとめ上げた豪華E-bookです。

是非この機会に、無料でゲットしてください。

しかも!!

今だけ、『超豪華特典』が付いています。

詳しくは、E-bookの最後で。

 

 

あのWordPressの開設から集客・収益化がオンラインで学べる!

WPマーケティングスクール

 

初心者ではハードルが高いと言われるWordPressの初期設定から運営まではもちろん、専門的知識がなくても集客・収益化を学ぶことができます。

WPマーケティングスクールでは、初心者でも自分のペースで学ぶことができ、『正しい方法』を学び実践し続けることで必ず成果が出ます。

 

 

 

今なら、1か月無料!⇩

 

fuwaruyurariおすすめWordPressテーマ

 

 

 

この記事を書いている人 - WRITER -
ふわりゆらりという楽しくも厳しいライフスタイルを送っているブロガーです!(笑)人の何十倍も楽しい人生を送るために、絶対やるべきこと。。やったらいいこと。。やっといたほうがいいこと。。などいろいろ書いてます。

SNSでもフォローお願いします!

 

Facebook

 

 カテゴリー一覧

 

初期設定

>>絶対導入するべき【WordPressプラグイン】導入方法と設定まで!

WordPressを始める場合に、これだけ入れておけば大丈夫というプラグインの紹介と設定方法を解説しています。まず、最初に導入して設定しておきましょう。

★おすすめ記事★

 

SEO対策

>>Googleアナリティクス登録・設定!【All in One SEO pack】に連動する方法!

ブログ運営していくうえでの必需品です。初心者にとっては少し難しいと言われますが、分かりやすく解説しています。是非最初に設定しておき迷う。

★おすすめ記事★

 

設定方法

>>【初心者】WordPressの始め方、”エックスサーバー契約と独自ドメイン”設定方法

WordPressを始めるには、サーバー契約が必要です。おすすめサーバー契約から設定方法まで詳しく解説しています。なぜ「エックスサーバー」がお勧めなのかも読めばわかります。

★おすすめ記事★

プラグイン

>>WordPressのバックアップ!サーバー会社だけに依存は危険?

バックアップはとても重要です。契約サーバー会社によっては有料・無料でやってくれますが、もしもの時を考えるとやはり自分で対処しておくのがお勧めです。

★おすすめ記事★

記事について

>>最後までブログ記事を読んでもらうための構成法

読者さんに記事を最後まで読んでもらうことで初めて集客ができます。そのためには、文章の構成がとても大切になってきます。この記事を読んで記事の構成について理解しましょう。

★おすすめ記事★

アフィリエイトについて

>>Amazonアソシエイトの登録方法!審査が通るのは簡単

みなさんブログを始めたらAmazonアソシエイトに登録しておきたいのではないでしょうか。登録方法とちょっとしたアドバイスを記事にしてみました。

★おすすめ記事★

便利ツール

>>商用利用ができる「Facebookページ」の作成方法【最新版】

ソーシャルメディア時代と呼ばれる現在、ブログ運営においてもFacebookは必需品ともいえますね。ここでは商用利用ができる「Facebookページ」の作成方法を解説しています。

★おすすめ記事★

趣味について

>>なぜ単独行(単独登山)をするのか?一人で山に登ること

趣味の登山について記事を書いてみました。このサイトのコンセプトには関係ないですが、暇なときに読んでみてくださいな。

★おすすめ記事★

  •  
  •  
  •  







Copyright© fuwariyurari , 2020 All Rights Reserved.