Google検索エンジンの仕組みと役割、クローラー・インデックスとは

検索エンジンの簡単な仕組み

検索エンジンが存在する理由

現在、世界には17億のWEBサイトが存在します。これだけ多くのサイトがあれば、必要な情報は大体揃っているはずです。

Total number of websites in real time Internet Live Stats

Total number of websites in real time – Internet Live Stats

誰でも欲しいもの、食べたいもの、行きたい場所の情報を探したり、友達同士で情報をやり取りをしたり、オンラインで買い物をできます。これを実現しているのが「検索エンジン」であり、Googleが存在する理由です。

今回のテーマ
今回は、Google検索エンジンの仕組みについて知りたい人のために、次の内容をお話します。

  • クローラーとインデックスの仕組み
  • 検索エンジンで見つからない理由
  • 検索エンジンで上位表示される方法

それでは早速見ていきましょう。

Google検索エンジンの仕組み

たとえば、あなたが「今おすすめのスマートフォン20選」というタイトルのページを公開したとします。公開すると、何となく検索してみたくなりますね。

ところが、公開した直後のWEBページは、どのようなキーワードを使っても、検索に引っかかりません。これは、WEBページがまだGoogleにインデックスされていないためです。

スパイダー、クローラー、インデクサの役割

Googleは、「スパイダー」というプログラムで世界中のWEBベージのURLを収集し、「クローラー」というプログラムで集めたWEBページ内の情報を取得し、「インデクサ」というプログラムで取得した情報を整理してデータベースに格納します。

WEBページの情報をデータベースに格納することを「インデックス(index)」と言います。インデックスを目次と解釈する人もいますが、本来は索引のことで、本の巻末に記載されている用語集のようなものです。

Googleは、インデックスの格納によってWEBページの存在を認識します。そして、GoogleがWEBページをインデックスすることで、わたしたちユーザーは膨大なWEBページを効率良く検索できるようになります。

※厳密には、スパイダーがURLを収集した時点でWEBページの存在を認識している

つまり、Googleにインデックスされない限り、どのようなWEBページも検索エンジンで見つけることはできないということです。

Googleにインデックスされるためには

では、Googleにインデックスされるためにはどうすれば良いのでしょうか。

既存のWEBページにリンクを貼る

スパイダーは、WEBページのリンクをたどってURLを収集しています。そのため、新しく作ったWEBページがインデックスされるためには、すでにインデックスされているWEBページからリンクを貼れば良いわけです。

スパイダーが回ってくるまで待つ

初めて作った1枚目のWEBページの場合どうすれば良いでしょう。この場合も、時間はかかるかもしれませんが、スパイダーが回ってくれば、いつかはインデックスされます。

もちろん、たくさんWEBページを作るほど、スパイダーが早く回ってくる確率が高くなります。

サーチコンソールからインデックスを依頼する

もっとも早くインデックスされる方法は、「Google Search Console(グーグルサーチコンソール)」の「URL検査ツール」を使うことです。

サーチコンソールのURL検査ツールを使えば、WEBページを公開した直後でも、Googleにインデックス登録をリクエストできます。インデックスされるまで、数分から数時間ほどだと思います。

サーチコンソールの登録、URL検査ツールを使ったインデックス登録のリクエストに関しては、以下を参考にしてください。

その他の方法

その他にも、「XMLサイトマップをGoogleに送信する」「Pingを送信する」などの方法があります。詳しくは以下を参考にしてください。

Googleにインデックスされても検索で見つからない理由

さて、WEBページがGoogleにインデックスされても、必ずしも検索で見つけられるわけではありません。

たとえば、「今おすすめのスマートフォン20選」というWEBページを公開したとします。

「スマートフォンって検索しても、全然引っかからないんだけど。」
「おすすめのスマートフォンで検索したら、1番上に表示されるようにしてよ。」

このようにクライアントや上司から言われたことがある人は多いでしょう。ただ、検索エンジンの仕組みを知っている人は、「うわー、ムチャクチャなこと言われたー……。」と思うはずです。

上記のタイトルから、最適な検索キーワードは「スマートフォン おすすめ」が思いつきます。

たしかに、この検索キーワードで1位に表示されれば、がんばってページを作った甲斐もあります。以下は、「スマートフォン おすすめ」で検索した結果です。

スマートフォン おすすめ Google 検索

この検索キーワードに該当するページ数は4億件(ページ)以上あります。つまり、1番上に表示されるためには、4億ページの中で1番にならなければいけないということです。

仮に、1位は妥協して1ページ目に表示されれば……と言っても、10位以内に表示される確率は4000万分の1です。

そのため、「○○で検索したら、1番上に表示されるようにしてよ。」がムチャクチャなことなんです。ただし、検索エンジンの上位に表示される可能性は、ゼロではありません。

Google検索エンジンで上位表示される方法

Google検索エンジンで上位表示される方法は、2つしかありません。

SEOで上位表示を目指す方法

SEO(Search Engine Optimization|サーチエンジンオプティマイゼーション)とは、「検索エンジン最適化」のことで、ある言葉でWEBを検索したときに、検索結果の上位に特定のWEBページが表示されるように調整する行為のことです。

検索結果の順位は、Googleのランキングアルゴリズムによって決まります。順位を決めるアルゴリズムは200以上の要素があり、単純ではありません。

ただ、Googleが目指すのは、「スマートフォン おすすめ」で検索した人が、もっとも見たいWEBページが検索結果に表示されることです。

このキーワードから考えられるユーザーのニーズは、「スマートフォンが欲しいからおすすめを教えて欲しい。」です。

たとえば、「スマートフォン おすすめ」で検索したにもかかわらず、「おすすめのパソコン」が表示されても誰も見ませんし、今のおすすめのスマートフォンが見たいのに、「10年前のおすすめ」が表示されても需要はありません。

また、スマートフォンの機種名と写真だけの情報よりも、機能の詳細や比較が掲載されている方が見る人は増えます。

など、さまざまな条件をクリアしたWEBページが順位付けされて並んでいるのが、今のGoogle検索エンジンの仕組みです。

そのため、なるべくユーザーが求める情報を過不足なく届けるWEBページを作ることができれば、検索結果で上位表示される可能性があります。

Google広告に掲載する方法

先ほどの画像で、検索結果の一番上に表示されているのは広告です。

つまり、Googleに対して広告料を支払えば、[広告]が付加されますが、検索結果の上位に表示される可能性が高くなります。

Google広告はオークション方式で、金額によって検索結果に表示され、クリックされたときに「1クリック○○円」という形でお金を支払います。

ちなみに、今現在「スマートフォン おすすめ」というキーワードで広告として一番上に表示され、それを誰かがクリックしたときは1クリック208円を支払う必要があります。

つまり、1万クリックされた場合、208万円の広告費がかかります。Google検索エンジンで1位に表示されるということは、それと同じだけの価値があるということです。

Googleは徹底したユーザーファーストの上に成り立っている

このように現在の検索エンジンは、ユーザーのニーズを最大限満たすために作られています。

「でも、Googleが儲けようと思ったら、お金を持ってる企業に忖度して表示した方が楽なんじゃないの?」と思う人もいると思います。

ただ、もしGoogleが大企業に忖度した検索結果を表示すると、検索するユーザーが離れてしまいます。そして、ユーザーが離れるとGoogle広告をクリックしてくれる人がいなくなります。

この辺りを詳しく知りたい人は、「Googleが掲げる10 の事実」に目を通すと、よりその意味が理解できると思います。

Googleは、これまで一貫してユーザーに最適な検索結果を表示することにこだわって、検索アルゴリズムの改良を進めています。

それが、この業績推移に現れているのでしょう。2017年度の売上高はおよそ12兆円です。

Alphabet Inc.の業績推移

Alphabet Inc. 株価・業績推移・決算資料 | Stockclip

さて、これで現在の検索エンジンの役割と上位表示を実現する基礎はわかったはずです。次回は、SEOがどのようなものなのか、上位表示ができる仕組みについてお話したいと思います。