Googleにインデックスされない原因は?クローラーを促進する方法

インデックスさせる方法

あれ?インデックスされてない…?

「最近、なぜかWEBサイトのアクセス数が激減している。」
「サイト運営を始めて3か月経つのに、検索流入がゼロ。」

原因はさまざま考えられますが、まず初めに確認するのは、WEBサイト(WEBページ)がGoogleにインデックスされているかどうかです。

どれだけ多くのコンテンツを作っても、1ページの文字数が1万文字を超えていても、Googleにインデックスされなければ、検索エンジンでそのWEBサイトを見つけることはできません。

つまり、もしWEBサイトがGoogleにインデックスされていなければ、そのWEBサイトは存在していないことと同じなのです。

では、なぜGoogleにインデックスされないことがあるのでしょうか。また、どうすればインデックスされやすくなるのでしょうか。

今回は、WEBページ(WEBサイト)がGoogleにインデックスされない原因とクローラビリティ(クローラーの巡回頻度)を高める方法についてお話したいと思います。

Googleにインデックスされない原因

Googleからペナルティを受けたため

Googleから何らかのペナルティを受けている場合は、該当ページまたはWEBサイト自体のインデックスが削除される恐れがあります。

まずは、サーチコンソールにある「手動による対策」と「セキュリティの問題」によってペナルティを受けているかどうかを確認してください。

サーチコンソールでペナルティを受けているか確認する

ペナルティの具体的な解除方法、質の低いリンクの否認方法については以下を参考にしてください。

WordPressの設定でnoindexにチェックが付いているため

WordPressの表示設定で「検索エンジンがサイトをインデックスしないようにする」にチェックがついていると、Googleにインデックスされない可能性があります。

Wordpressの表示設定で「検索エンジンがサイトをインデックスしないようにする」のチェックを外す

WordPressのメニューから「設定 > 表示設定」と進み、該当箇所に意図していないチェックがついている場合は外してください。

プラグイン設定でnoindexにチェックが付いているため

「All in One SEO」などWordpressプラグインの設定で、noindexにチェックが付いている可能性があります。noindexのチェックは、全体の設定と個別ページの設定の2箇所あります。

まず全体の設定は、All in One SEOの「一般設定」の「Noindex設定を見直す」という箇所です。最低限、「投稿」「固定ページ」「ランディングページ」のチェックは外しておきましょう。

All in One SEOの一般設定のNoindex設定を見直す

個別ページの設定は、「投稿の編集」の「All in One SEO Pack」の中にあります。意図していないチェックがついている場合は、外してください。

ALLINONESEOのNOINDEXとNOFOLLOWチェック

robots.txtでクローラーを除外しているため

新規WEBサイトやリニューアルサイトの公開前に、「robots.txt」でクローラーにWEBページやディレクトリへの巡回を制限していると、その設定が残っている可能性があります。

User-agent:
*Disallow: /

WEBサイト公開時には記述を削除するか、DisallowをAllowに変えましょう。

meta robotsタグでクローラーを除外しているため

新規WEBサイトやリニューアルサイトの公開前に、「meta robotsタグ」を使ってWEBページやディレクトリへのクローリングを制限していると、その設定が残っている可能性があります。

<meta name="robots" content="noindex"/>

WEBサイト公開時には、「meta robotsタグ」の記述は削除しましょう。

canonicalタグで重複ページだと認識されているため

WEBページの重複を防ぐために「canonicalタグ」を使って、クローラーに間違った正規URLを伝えている可能性があります。

たとえば、新しいWEBページを作る際に、canonicalタグが含まれる既存ページの全文をコピーして作ると、意図せずcanonicalタグを含んだページを作ってしまう場合があります。

<link rel=”canonical” href=”https://www.wakarukoto.com/testtesttest” />

ページ内に意図しないcanonicalタグが含まれている場合は、削除してください。

中古ドメインがペナルティを受けているため

中古ドメインを利用した場合、以前のWEBサイトがペナルティを受けているなどの影響によって、インデックスされない可能性があります。

サーチコンソールの「手動による対策」と「セキュリティの問題」を確認して、記述があればペナルティを解除する策を講じなければいけません。

なお、新規ドメインを取得したつもりでも、実際は中古ドメインを取得していることもあります。そのため、まず「ドメイン年齢」を調べましょう。

ドメイン年齢 ドメインエイジ

ドメイン年齢 – ドメインエイジ

実際のドメイン取得日よりも以前からドメインが存在していた場合は、Wayback MachineなどのWEBアーカイブサービスを活用して、以前どのようなWEBサイトが運営されていたか調べてください。

500エラーでインデックス不適扱いを受けているため

見た目では問題がないInternal Server Error(500エラー)によって、WEBページがインデックスされないこともあります。

500エラーとは、CGIなどのプログラムのミスによって起こるエラーで、修正が必要です。

見た目ではわからなくても、サーチコンソールの「URL検査ツール(旧Fetch as Google)」を使って、レンダリングしたときにエラーを返すかチェックしてください。または、カバレッジレポートでエラーを返している場合もあります。

WordPressの場合は、プラグインに使われているPHPが原因になることもあるため、インデックスされなくなった時期とプラグインを導入した時期を比較して、プラグインを外すなどの対応が必要になります。

新規ドメインでクローラーが巡回しにくいため

もし、新規ドメインを取得したばかりの場合は、他のWEBサイトとのつながりがなくクローラーが巡回しにくいため、インデックスされないことがあります。

新規ドメインが原因の場合は、時間が経てば解消されますが、なるべく早くクローラーの巡回を促したい場合は「URL検査ツール」を使いましょう。

Googleにインデックスを申請する方法

上記のインデックスされない根本的な原因を解消したら、次はGoogleにインデックスを申請しましょう。

サーチコンソールのURL検査ツールを使う

Googleサーチコンソールの機能の1つ「URL検査ツール」を使って、WEBページ(WEBサイト)のインデックスをGoogleに申請してください。

サーチコンソールの画面上部にある入力フォームから、Googleにインデックスして欲しいURLを入力して、「Enter」で実行しましょう。詳しい使い方は、以下を参考にしてください。

XMLサイトマップをGoogleに送信する

XMLサイトマップ(sitemap.xml)とは、WEBサイトを構成するページURLと更新日をリスト化したxmlファイルのことで、クローラーがサイトマップを認識してURLなどの情報を収集することで、クローラビリティが高まります。

サイトマップとは、サイト上のページや動画などのファイルについての情報や、各ファイルの関係を伝えるファイルです。Google などの検索エンジンは、このファイルを読み込んで、より高度なクロールを行います。

サイトマップについて – Search Console ヘルプ

このXMLサイトマップを定期的にGoogleに送信することが、インデックスを申請することにつながります。

Pingを送信する

Ping送信(更新情報サービス)とは、新しく公開したWEBページを検索エンジンに通知する手段の一つです。

WordPressを使っている場合は、「設定 > 投稿設定」と進み、更新情報サービスのテキストボックス内にPingの送信先を記載して、「変更を保存」をクリックすれば、次回から検索エンジンに通知してくれます。

WordpressからPingを送信する画面

以下は、「WordPress Codex 日本語版」で示された日本語のPing送信先リストです(停止しているものもあるかも)。

Ping送信先は他にもありますが、過度なPing送信はGoogleからスパム認定される恐れもあります。現在、Ping送信はとくに重要視されていないため、心配な場合は送る必要はないでしょう。

http://api.my.yahoo.co.jp/RPC2
http://bulkfeeds.net/rpc 
http://blog.goo.ne.jp/XMLRPC
http://blogsearch.google.co.jp/ping/RPC2
http://coreblog.org/ping/
http://ping.bloggers.jp/rpc/
http://ping.blogmura.jp/rpc/
http://ping.cocolog-nifty.com/xmlrpc
http://ping.exblog.jp/xmlrpc
http://www.blogpeople.net/ping/

更新通知サービス – WordPress Codex 日本語版

クローラビリティを高める方法

URL検査ツールを使ったり、XMLサイトマップを設置することは基本です。それ以外にも普段のクローラビリティを高めるために、以下の対策を取って、GoogleのクローラーがWEBサイトを回りやすいようにしておきましょう。

ナチュラルな被リンクを獲得する

ナチュラルで質の高い被リンクを獲得することは、ページランクを高めてSEOに効果があるだけでなく、あなたのWEBサイト対して外部から多くの導線を作ることと同義です。

以下をヒントにして、ナチュラルで質の高い被リンクをできるだけ多く得られるようにしてください。

ページの表示速度を早くする

Googleは、2018年7月からページの読み込み速度をモバイル検索のランキング要素に使用することを明言しています。これは、「Speed Update(スピードアップデート)」と呼ばれるアルゴリズムアップデートです。

WEBページの表示速度が早いと、ページの評価が高まるだけでなく、クローラーの巡回割合も高まります。逆に、WEBページの表示速度が遅いと、重要ではないページだとみなされてインデックスから除外される恐れもあります。

サイト内リンク構造を改善する

ページランクスカルプティング(PageRank Sculpting)によって、内部SEO対策をすることの意味はなくなりましたが、サイト内のリンク構造を改善することは、クローラーに重要なページを伝えることにつながります。

とくに新規ページを公開した場合は、トップページや重要なページから自然に内部リンクが貼られることが望ましく、重要ではないページの巡回頻度を下げるために、nofollow属性を設定することはやぶさかではありません。

内部リンクでサイトナビゲーションを作る

サイト内リンク構造を改善するとともに、サイトナビゲーションを充実させることで、クローラーがWEBサイトを巡回しやすくなります。

サイトナビゲーションとは、「カテゴリリンク」や「パンくずリスト」、「ページネーション」などのことです。

新規ページの更新頻度を上げる

WEBサイトの更新頻度が下がると、クローラーの巡回頻度が下がる可能性があります。一方、長い期間を空けずに新しいページを追加することでクローラーに重要性を認識させると、クローラーの巡回割合が高まります。

クローラビリティを高めることの意味

WEBサイトにとってインデックスとは、WEBマーケティングを行うための生命線です。そして、クローラビリティを高めることは、その生命線を太くするために重要な行為です。

ところが、わたしがこれまで話をしてきた中で、残念ながらクローラー対策を重要視していないWEBマスターもちらほらいました。

まずは、インデックスとクローラビリティの認識を改めましょう。そのうえで、定期的にサーチコンソールのカバレッジレポートがエラーを出力していないかチェックをしてください。

もしエラーを出力している場合は、インデックスされていない(またはインデックスされていないように見える)原因を探ったうえで、その対策を取りましょう。

Googleにインデックスされない原因
・Googleからペナルティを受けたため
・WordPressの設定でnoindexにチェックが付いているため
・プラグイン設定でnoindexにチェックが付いているため
・robots.txtでクローラーを除外しているため
・meta robotsタグでクローラーを除外しているため
・canonicalタグで重複ページだと認識されているため
・中古ドメインがペナルティを受けているため
・500エラーでインデックス不適扱いを受けているため
・新規ドメインでクローラーが巡回しにくいため