Screaming Frog SEO Spiderとは、SEOに関連する情報を一覧化できる診断用のクローラーツールです。有料版ではGoogleアナリティクスやSearch Consoleなど外部ツールとの連携が提供されております。Screaming Frogの基本、無料版と有料版の違いについてなどは過去の記事でご確認いただけます
この記事では有料版の機能となりますが、Search Consoleとの連携方法、連携後に生成されるレポートやScreaming FrogとSearch Consoleを連携した活用例についてご紹介します。
Screaming FrogとSearch Consoleの連携方法
初期連携のためには、Screaming Frogのメニューから「Configuration」>「API Access」＞「Google Search Console」を開き、デフォルトで表示される「Account Information」タブにて設定を行います。
①「Sign in with Google」をクリックする
②ブラウザでアカウントの選択画面が表示されて、データを確認したいプロパティが紐づいているGoogleアカウントを選定する
③連携の許可を確認する
④連携が完了したら、Screaming Frog側のプルダウンより見たいデータのプロパティを選定する
デフォルトでは、Search ConsoleのSearch Analytics APIを使用して、Screaming FrogがクロールしたURLの「検索結果のパフォーマンス」レポートのクリック数、表示回数、平均CTRと平均掲載順位の過去30日のデータを取得します。
設定画面の2つ目のタブ、「Search Analytics」では期間の調整、フィルターの調整(たとえば画像検索のデータへの切り替え、モバイルデバイスのデータや特定の検索クエリのデータへの絞り込み)ができます。
ここでは更にスラッシュ有無のURLや大文字小文字のURLのデータを集約するかどうか、データをインポートする行数制限の設定、更にScreaming Frogが見つけておらず、Search Consoleでは検出されているURLのクロールも有効にできます。
3つ目の「URL Inspection」タブでは、Search Consoleの「URL検査」レポートのデータ取得の有効化ができます。このURL Inspection APIの活用については別記事で詳しく紹介しています。
違うアカウントを追加するには、同様に「Configuration」>「API Access」＞「Google Search Console」より一度連携解除の「Disconnect」をクリックし、先程紹介したステップで違うアカウントを追加します。
「Disconnect」を行った後、このメニューから追加済みアカウントの再連携、またアカウントの削除、名称変更なども行えます。
注意：クロールを開始してからは「Search Analytics」や「URL Inspection」の設定は変更できないため、期間の変更やフィルター設定などを行いたい場合は予め慎重に設定を確認すると良いです。
これからサイトをクロールする場合には上記の方法でクロールする前に連携を行うことができますが、実はクロールが終わった後からも連携を行い、データを取得することができます。そのため、既にクロール済みのサイトでSearch Consoleデータ取得のためにサイトを再度クロールする必要はありません。
クロール後の連携方法は、レポート画面の右側メニューにある「API」タブから「Google Search Console」の設定アイコンをクリックし、先程案内した方法で連携を行います。その後、「Request API Data」をクリックすることで、データを取得できます。
「Configuration」>「API Access」でも「Request API Data」ができます。
※クロールが終わっていないと、「Request API Data」がグレーアウトされた状態でクリックできません。
連携後のレポートを確認
Search Consoleと連携後のレポートを確認するには、一度ウェブサイトを通常通りにクロールするか、先程紹介したようにクロール後に連携を行います。連携とクロールが終わっていれば、データが左側のメインレポートの「Search Console」タブに表示されます。
このレポートではScreaming Frogがクロールした結果のURL、ステータスコード、Title、インデックスが可能なURLか、また「Indexability Status」（インデックス不可の場合、CanonicalやRedirectなどのインデックス不可の原因）が表示されます。Search Consoleのデータについては、デフォルトの設定ではクリック数、表示回数、平均クリック率と平均掲載順位の項目のみ表示され、「URL Inspection」の連携を有効にしている場合、更にURL検査関連の項目も表示されます。
左上のフィルターメニューよりデータのフィルタリングができ、例えばクリック数があるURLのみ、検索結果のパフォーマンスのデータがないURLのみ、本来インデックスさせていないはずなのに検索結果のパフォーマンスデータがあるURLのみなどの絞り込みができます。
「Orphan URLs」のフィルターはScreaming Frogのクロールでは見つからなかったけれど、Search ConsoleでデータがあったURLに絞り込むものですが、このレポートを有効化するためには連携時の設定で「Crawl New URLs Discovered in Google Search Console」にチェックを入れている必要があります。
また、Orphan URLsのレポートを生成するためにはクロール完了後に「Crawl Analysis」> 「Start」でクロールの分析処理を行う必要があります。
Screaming FrogとSearch Console連携の活用方法
連携されたデータの使い道は様々ですが、以下いくつか活用方法の例を紹介します。
サイト内からリンクがなかったURLの検出
Screaming FrogとSearch Console連携の最も一般的な活用例としては、Screaming Frogのクロールでは見つからず、Search ConsoleではデータがあったURL(「Orphan Pages」)の検出でしょう。
先程紹介した「Orphan Pages」のフィルターを利用してURLの一覧を確認します。
中にはサイト内からリンクされるべきだけれども、クローラーが認識できるリンクがないURLがあるかもしれません。その場合は必要に応じてリンク追加やリンク形式の調整などのアクションを起こすことができます。
もしくはサイトからはリンクが削除された過去のURLで、本来404やリダイレクト設定を行うべきだったけれど、現在も200のままGoogleにクロールされ続けるURLが存在していないかなども確認できます。
インデックス登録されないはずだが検索結果のパフォーマンスのデータがあるURLの確認
フィルターメニューの「Non-Indexable with Search Analytics Data」をクリックすると、リダイレクトしている、Canonicalタグで正規化されている、404のステータスコードを返しているなどの理由で本来インデックス登録されないはずだが、検索結果のパフォーマンスのデータがある（＝インデックスされてしまっている）URLを確認できます。ここではCanonicalタグの指定などがGoogleに無視されているページを確認でき、正規化のシグナルを強める施策に活用できます。
CTRの低いURLのTitle確認
Screaming FrogのSearch Consoleレポートでは表示回数が多いがクリック率が低いページのTitleタグの内容を一目で確認することができますので、Titleタグの調整が必要そうなページを簡単に見つけ出すのに便利です。
※もちろんTitleタグの設定が必ずしも検索結果に表示されるタイトルと一致するとは限らないこと、スニペットもクリック率に影響することなども意識する必要があります。
Screaming Frogを使って検索結果のパフォーマンスAPIデータをエクスポートする
検索結果のパフォーマンスデータをSearch Consoleから直接エクスポートすると1000行の制限があります。
Screaming Frogはエクスポートの制限が大幅に緩和されるSearch ConsoleのAPIを使用しているため、特に大規模サイトにおいてより多くのデータをエクスポートできるツールとしても役に立ちます。
もちろんSearch ConsoleのデータエクスポートはScreaming Frogの本来の目的ではないですし、もっと簡単にSearch ConsoleのAPIを使ってデータを取得できるツールもありますが、この連携を行っていれば簡単にエクスポートできるので便利でしょう。
以上、Screaming FrogとSearch Consoleの連携のご紹介でした。
他にScreaming Frogの活用で気になるテーマがあれば、ぜひコガンのTwitterからリクエストください。テーマによっては取り上げて紹介させていただきます。
