Google検索エンジンの仕組みと役割は?クロール・インデックスとは

検索エンジンの簡単な仕組み

検索エンジンがないと情報を探せない

平成はインターネット技術が大きく飛躍した時代でした。

たった30年間で、誰もがパソコンやスマホからWEBサイトを閲覧し、欲しいもの、食べたいもの、行きたい場所の情報を得たり、友達同士で情報をやり取りをしたり、オンラインで買い物をするようになりました。

これは、WEB上に集約した膨大な「知」を誰でも閲覧して、便利に活用できる仕組みが整ってきたためです。

現在、世界には17億近くのWEBサイトが存在します。

Total number of websites in real time Internet Live Stats

Total number of websites in real time – Internet Live Stats

ただ、これだけのWEBサイトが世の中にある中で、わたしたちが本当に欲しい情報を探し出すことはとても困難です。その問題を解決するのが、「検索エンジン」の役割であり、Googleが存在する理由です。

そこで今回は、現在の検索エンジンの簡単な仕組みとGoogleが存在する理由についてお話したいと思います。

Google検索エンジンの仕組み

たとえば、あなたが「今おすすめのスマートフォン20選」というタイトルのページをWEB上に公開したとします。公開すると、何となく検索してみたくなりますね。

ところが、公開してすぐのWEBページは、どのようなキーワードを使っても、検索に引っかかりません。順番に100ページまで見ても、見つかりません。これは、公開してすぐのWEBページがまだGoogleにインデックスされていないためです。

スパイダー、クローラー、インデクサの役割

Googleは、「スパイダー」というプログラムで世界中に散らばるWEBベージのURLを収集し、「クローラー」というプログラムで収集したWEBページ内の情報を取得し、「インデクサ」というプログラムで取得した情報を整理してデータベースに格納します。

WEBページの情報をデータベースに格納することを「インデックス(index)」と言います。インデックスを目次と解釈する人もいますが、本来は索引のことで、本の巻末に記載されている用語集のようなものです。

Googleは、このインデックスをもってWEBページの存在を認識します。そして、GoogleがWEBページをインデックスすることで、わたしたちユーザーは膨大にあるWEBページを効率良く検索できるようになります。

※厳密には、スパイダーがURLを収集した時点でWEBページの存在を認識している

つまり、Googleにインデックスされない限り、どのようなWEBページも検索エンジンで見つけることはできないということです。

Googleにインデックスされるためには

では、Googleにインデックスされるためにはどうすれば良いのでしょうか。

既存のWEBページにリンクを貼る

スパイダーは、WEBページのリンクをたどってURLを収集しています。そのため、新しく作ったWEBページがインデックスされるためには、すでにインデックスされているWEBページからリンクを貼れば良いわけです。

スパイダーが回ってくるまで待つ

初めて作った1枚目のWEBページの場合どうすれば良いでしょう。この場合も、時間はかかるかもしれませんが、スパイダーが回ってくれば、いつかはインデックスされます。

もちろん、たくさんWEBページを作るほど、スパイダーが早く回ってくる確率が高くなります。

サーチコンソールからインデックスを依頼する

もっとも早くインデックスされる方法は、「Google Search Console(グーグルサーチコンソール)」の「URL検査ツール」を使うことです。

サーチコンソールのURL検査ツールを使えば、WEBページを公開した直後でも、Googleにインデックス登録をリクエストできます。インデックスされるまで、数分から数時間ほどだと思います。

サーチコンソールの登録、URL検査ツールを使ったインデックス登録のリクエストに関しては、以下を参考にしてください。

その他の方法

その他にも、「XMLサイトマップをGoogleに送信する」「Pingを送信する」などの方法があります。詳しくは以下を参考にしてください。

Googleにインデックスされても検索で見つからない理由

さて、WEBページがGoogleにインデックスされても、必ずしも検索で見つけられるわけではありません。

たとえば、「今おすすめのスマートフォン20選」というWEBページを公開したとします。

「スマートフォンって検索しても、全然引っかからないんだけど。」
「おすすめのスマートフォンで検索したら、1番上に表示されるようにしてよ。」

このようにクライアントや上司から言われたことがある人は多いでしょう。ただ、検索エンジンの仕組みを知っている人は「うわー、ムチャクチャなこと言われたー……。」と思うはずです。

上記のタイトルから、最適な検索キーワードは「スマートフォン おすすめ」が思いつきます。たしかに、この検索キーワードで1位に表示されれば、がんばってページを作った甲斐もあります。以下は、「スマートフォン おすすめ」で検索した結果です。

スマートフォン おすすめ Google 検索

この検索キーワードに該当するページ数は4億件(ページ)以上あります。つまり、1番上に表示されるためには、4億ページの中で1番にならなければいけないということです。

仮に、1位は妥協して1ページ目に表示されれば……と言っても、10位以内に表示される確率は4000万分の1です。

そのため、「○○で検索したら、1番上に表示されるようにしてよ。」がムチャクチャなことなんです。ただし、検索エンジンの上位に表示される可能性は、ゼロではありません。

Google検索エンジンで上位表示される方法

Google検索エンジンで上位表示される方法は、2つしかありません。

SEOで上位表示を目指す

SEOとは、Search Engine Optimizationの略のことで、日本語で「検索エンジン最適化」を意味します。

Google検索で表示されるWEBページの順番は、Googleの検索エンジンアルゴリズムによって決まります。順位を決めるアルゴリズムは、200以上あり単純ではありません。

ただ、Googleが目指すのは、「スマートフォン おすすめ」で検索した人が、もっとも見たいWEBページが検索結果として表示されることです。このキーワードから考えられるユーザーニーズは、「スマートフォンが欲しいからおすすめを教えて欲しい。」というものです。

たとえば、「スマートフォン おすすめ」で検索したにもかかわらず、「おすすめのパソコン」が表示されても誰も見ません。今のおすすめのスマートフォンが見たいのに、「10年前のおすすめ」が表示されても需要はありません。

また、スマートフォンの機種名と写真だけの情報よりも、機能の詳細や比較が掲載されている方が見る人は増えます。

など、さまざまなルールをクリアしたWEBページが順位付けられて並んでいるのが、今のGoogle検索エンジンの仕組みです。

そのため、なるべくユーザーが求める情報を過不足なく届けるWEBページを作ることができれば、Google検索エンジンで上位表示される可能性があります。

Google広告に掲載する

先程の画像で、検索結果の一番上に表示されているのは広告です。つまり、Googleに対して広告料を支払えば、[広告]が付加されますが、検索結果の上位に現れる可能性が高くなります。

Google広告はオークション方式で、金額の多寡によって検索結果に表示され、クリックされたときに「1クリック○○円」という形でお金を支払います。

ちなみに、今現在「スマートフォン おすすめ」というキーワードで広告として一番上に表示され、それを誰かがクリックしたときは1クリック208円を支払う必要があります。

つまり、1万クリックされた場合、208万円の広告費がかかります。Google検索エンジンで1位に表示されるということは、それだけ価値が高いということです。

Googleは徹底したユーザーファーストの上に成り立っている

このように現在の検索エンジンは、ユーザーのニーズを最大限満たすために作られています。

「でも、Googleが儲けようと思ったら、お金を持ってる企業に忖度して表示させた方が楽なんじゃないの?」

このように思う人もいると思います。ただ、もしGoogleが大企業に忖度した検索結果を表示すると、検索するユーザーが離れてしまいます。そして、ユーザーが離れるとGoogle広告をクリックしてくれる人がいなくなります。

この辺りを詳しく知りたい人は、「Google が掲げる 10 の事実」に目を通すとその意味が理解できると思います。

Googleは、これまで一貫してユーザーにとって最適な検索結果を表示させることにこだわって、検索アルゴリズムの改良を進めています。それが、この業績推移に現れているのでしょう。2017年度の売上高はおよそ12兆円です。

Alphabet Inc.の業績推移

Alphabet Inc. 株価・業績推移・決算資料 | Stockclip

さて、これで現在の検索エンジンの役割と上位表示を実現するための基本はわかったはずです。次回は、SEOがどのようなものなのか、上位表示ができる仕組みについてお話したいと思います。