「クロール」に対する効果的な施策とは？【SEO対策の第一歩】

2019年3月1日

WRITER

aki

　

この記事を書いている人 - WRITER -

aki

ふわりゆらりという楽しくも厳しいライフスタイルを送っているブロガーです！(笑)人の何十倍も楽しい人生を送るために、絶対やるべきこと。。やったらいいこと。。やっといたほうがいいこと。。などいろいろ書いてます。

検索結果に表示されるためには、検索エンジンにWebサイトの存在を知らせなければなりませんね。

今回は、「クローラ―」と呼ばれる巡回ロボットを呼び込んで検索結果に表示させる方法についての解説です。

クロールされなければ検索結果には表示されない

まず、クロールとは「クローラー」と呼ばれるプログラム（ロボット）がリンクをたどってページを巡回することです。

このクローラーが巡回したページ内の情報を取得し、索引（インデックス）を作ることで、検索結果に初めて表示されるようになるんです。

したがって、Webサイト全体のページがきちんとクロールされるように設計しておくことは、SEOの基本の第一歩といえますね。

例えば、新規でWebサイトを作成した場合、外部からのリンクが1つもないため、クローラーの通り道がありません。

このまま放置していても、なかなか検索結果には表示されませんよね。

このような場合には、すでに自身で管理するほかのWebサイトがあるならば、新規のWebサイトにリンクを貼ってあげることで、クローラーの通り道を作ることができます。

▼新規Webサイトにクローラーの通り道を作ろう

クローラーを呼び込む方法

クローラーを呼び込むためには、「すでにクローラーが通っている外部サイトからリンクを貼る」「サイトマップを作成して検索エンジンに送信する」「直接検索エンジンにURLを通知する」といった方法があります。

でも、インターネット上には数兆に及ぶWebページが存在しています。

上記のような方法を全て行っても、直ぐに自分のページが優先的にクロールされるということはありません。

クロールの頻度やクロールによって取得された情報というのは、GoogleのアルゴリズムがWebサイトの状態を確認しながら自動で判断しています。

Webページというのは、公開された後にも内容が変更されたり追加されたり、削除されたりしますよね。

そのために検索エンジンも、同じページを繰り返し定期的にクロールするような仕組みになっているんです。

クロールの頻度は、よく更新されているWebサイトであれば高く、更新が少ない（放置されている）Webサイトの場合には低くなります。

Webページの追加や削除の状況、最終更新日などは検索エンジンがクロールするうえでとても有用な情報になります。そのため、Googleはこれらの情報を含むサイトマップの活用を薦めているんですね。

サイトマップは、新規Webサイトの立ち上げ時にも活用できますが、既存のWebサイト内にリンクでたどることが出来ないページがある場合も、サイトマップにそのWebページの情報が記述されていれば、クロールの対象に含まれます。

▼既存のWebサイトにもサイトマップは有効

関連した記事です。併せて読んでみてね！

Google Search Console(グーグルサーチコンソール）にサイトを登録する方法

2018-03-04

まとめ

クローラーがサイト内を回遊しやすくするように、サイト内の構造を適切に整えることはとても大切なことです。

まずは、確実にクロールされるように、リンクによる通り道を確保して、サイトマップを作成しましょう！