SEO Mythbusting エピソード2のまとめ: Googlebotについて

概要

エピソード2は、SEOの基礎知識を持っており、Googlebotのクロールとレンダリングについてもっと知りたい方向けの内容を中心にしています。

1. Googlebotとは
2. Googlebotの動き、クロール頻度、クロールバジェットについて
3. JavaScriptのレンダリング・SPAの対応について
4. Googlebotがサイトを訪れているかの確認方法
5. MFI（モバイルファーストインデックス）とモバイルフレンドリー
6. ランキング要素

Googlebot Q&A

以下、エピソード2の内容をまとめます。Q&Aから自然な会話に流れた部分があるため、回答を少し前後移動させていますが、意味は変わっていません。

Q：Googlebotはどのようなものですか？

Googlebotは以下3ステップを実施するためのプログラムです。

• クロール
• インデックス
• ランキング（厳密に言うとGooglebotが実施するタスクではない）

クロールではインターネット上のコンテンツを取得し、インデックスではそのコンテンツを理解し、最後にランキングで特定のクエリやタイミングに対してどのコンテンツを表示させるべきか判断します。ステップ3のランキングは、Googlebotが取得した情報に基づくステージですが、Googlebotがやるものではありません。

Q： Googlebotがどれぐらいの頻度でクロールを行っているか、ページにたどり着いてから何をするか、ブラウザと同じ動作をしているかなど、どのような動作をしているかもっと具体的に知りたいです。

Googlebotはステップ１のクロールでは、ブラウザとほとんど同じ動きをして、ウェブサイトやXMLサイトマップで発見したリンクからページを訪れます（他にも、例えばサーチコンソールからインデックスリクエストを送信してクロールを促すことも可能です）。

頻度に関しては、過去のインデックス情報からサイトを定期的にクロールすべきか判断しています。例えば、常に更新されているニュースサイト、商品が2週間ごとに更新されるECサイト、ほとんど変わらない美術館のサイトがあるとしたら、クロールすべき頻度が異なります。
そのため、インデックスデータをクロールすべき頻度で分離しています。例えば、「デイリー」または「フレッシュ」と呼ばれ、頻繁にクロールされる層があります。また、スパム要素が強いコンテンツ、壊れている要素が多いコンテンツ、noindexコンテンツのクロール頻度は下がる可能性があります。
そのため、例えば過去にnoindexしていたコンテンツをインデックスさせたい場合、クロールを促すためにサーチコンソールからインデックスリクエストを送信すると良いです。

次にそのページからリンクされているリソースを確認します。ページのHTMLを取得したら、他ページへのリンク、画像、動画がないか確認して、それらを更にクロールします。このクロールサイクルがとても大事です。

例えば、巨大なECサイトがあったとします。Googleのリソースの制限と、そのサイトのサーバー負荷の制限があるため、すべてのページを同時にクロールすることは現実的ではありません。サーバーにどれぐらいの負荷をかけるかと、Googleのリソースをどれぐらい割けるかを判断します。その判断の結果は「クロールバジェット」と呼ばれるものであり、かなり複雑なものです。
クロールバジェットを決めるにあたって、Googlebotはサイトを少しずつクロールし続け、クロールする頻度を徐々に上げていきます。サーバーエラーが出始めたら、頻度を下げます。基本的に、すぐにすべてをクロールしようとはせず、徐々に頻度を上げたり下げたりして、波のような動きをしています。
今回ECサイトの例では、新しい商品をより早くクロールしてほしい一方、サーバーのキャパシティをGoogleにフルで取られたくない事情を理解しているため、Googlebotはバランスを取りながらクロールを進めます。もちろん、robots.txtの制御も守っています。

現在多くのサイトがJavaScriptベースになっているため、次のステップとしてはJavaScriptのレンダリングも必要となり、ページが一度レンダリングの待ち行列に追加されます。リソースが空き次第、ヘッドレスブラウザのような別サービスである「ウェブレンダリングサービス」（WRS）を使用し、JavaScriptを実行します。
ただし、こちらはあくまでもGoogleのロボットの話で、ソーシャルメディアのロボットなどでJavaScriptを実行できないクローラーも存在するため、メタデータを取得しに来た際に、そのデータがJavaScriptに含まれていたら取得できないシナリオも考えられます。

Q：SPA（シングルページアプリケーション、コンテンツの表示とページ間の遷移をJavaScriptで実行するウェブサイト）が流行りだしたら、クローラーがJavaScriptを実行できずSPAを訪れた際に空ページが表示されてしまうのではと恐れていた人が多かったです。GooglebotはJavaScriptを実行できるとのことですが、注意すべきポイントはありますか？

注意すべきポイントがいくつかありますが、まずは、タイムラグです。
ページが一度クロールされ、その後ページのレンダリングが走り、レンダリング結果のHTMLで初めてJavaScriptで挿入されたリンクが発見されます。ウェブの世界は広く、Googleのリソースは限られているため、レンダリングには意外と時間がかかってしまう場合があります。そのため、先程のページ内に次のページへのリンクを発見するクロールサイクルがスピーディーにできなくなります。

※SEOとJavaScriptについてより詳しくは次のエピソードでお話するそうです。

Q：何をすればGooglebotがサイトを訪れたことがわかりますか？

クロールとレンダリングのステージでブラウザを使用しているため、どちらもユーザーエージェントヘッダーを渡しており、「Googlebot」という文字列を含めています。（Googleヘルプでのユーザーエージェントの一覧で確認できます）

ちなみに、その情報はSPAのレンダリングにも活用できます。サーバー側でユーザーエージェントに「Googlebot」が含まれている場合、事前レンダリングされた静的なHTMLを返すことができます。他の検索エンジンやソーシャルメディアボットに対しても同様の対応ができます。こちらの対応は「ダイナミックレンダリング」というものです。

Q：GooglebotはスマホとPCなど、様々なユーザーエージェントをエミュレーションしていますか？

PCとモバイルそれぞれのGooglebotが存在します。
任意なユーザーエージェントをエミュレーションしているわけではなく、Googleのユーザーエージェント一覧に記載されている通りのユーザーエージェントを利用しています。

Q：（モバイルファーストインデックスについての話をされたので）モバイルファーストインデックスがランキングに影響があると聞いたことありますが、どうですか？

ここは良く誤解されるものであり、モバイルフレンドリーとモバイルファーストインデックスの2つの概念で混乱している人がいます。

モバイルファーストインデックスは、サイトのコンテンツをモバイルのユーザーエージェントとモバイルのビューポートを利用して発見するプロセスです。ユーザーエージェントの文字列に「Android」が含まれているので、分かりやすいです。
モバイルユーザーに最適なコンテンツを表示させるために、モバイルコンテンツをインデックスしています。

モバイルフレンドリーは、例えばコンテンツがビューポート内に収まっているか、タップ領域の大きさが十分であるかなどを見るランキングシグナルです。このようなランキングシグナルは２００個以上もあり、Googlebotがその情報を集め、メタデータとしてインデックスに格納しています。ランキングではその情報を参照し、モバイルユーザーにはモバイルフレンドリーのシグナルが良いものを優先して表示させる可能性があります。もちろん、唯一のシグナルではなく、多くのシグナルの１つでしかないです。

Q：シグナルが２００個以上もあるのはびっくりです。過去の悪質なSEOのせいでその詳細を言えないのはわかっていますが…

残念ながら、悪質なSEOは今も存在しており、Googleを騙そうとしている人がまだいます。２００個のシグナルのどれが一番影響があるか、どれが重要なのかは中々言えません。また、そのシグナルは常に変わってきています。
たまに、変わった対策をして「Aをやったから順位が上がった！」と言う人がいますが、それは一定のクエリに限ってであり、他のクエリでは逆に負けているじゃん！ということがあります。
単純にユーザーのために良いコンテンツを作れば良いのに！と思います。

Q：常に微調整を行うよりも簡単な気がしますね。

そう簡単ではありません。ウェブサイトのオーナーがSEO業者にお金を出して、支援を求める際に、SEO業者から「あなたのターゲットユーザーの特徴は？そのユーザーのニーズは？そのニーズに応えているように見せるにはどうすればいいの？」、そのような質問が返ってきて、結局ウェブサイトのオーナーの方で検討して戦略を立てる必要があるので、簡単ではありません。
一方、SEO業者に「じゃあ、外部リンクを付けるね！サイトをいじって１位にさせるね！」と言われたら、とてもシンプルな回答ですね。間違った回答ですが、とてもシンプルです。
そのため、「外部リンクが一番大事だ！」と言う人が多いですが、それは間違いです。
要素が２００個もあって、リンクも大事ですが、１番大事なわけではありません。

まとめ

エピソード２ではクロールバジェット、レンダリング、モバイルファースインデックスという話題のテーマについて直接Googleから聞くことができ、貴重なエピソードでした。
改めて外部リンクを推す業者に対しての態度も良く伝わったと思います。

次のエピソードのテーマはSEOとJavaScriptとのことで、更に濃い内容を期待できるかと思います。