Screaming Frog SEO Spiderの基本：概要、使い方と注意点

2021年03月22日

SEO

海外のSEO情報記事を読む方は「Screaming Frog」という名前をよく目にするでしょう。Screaming Frog SEO Spiderとはウェブサイトをクロールして、SEOに関連する情報を一覧化する診断ツールです。本番環境でも、ステージング環境でも使えて、サイト診断や改善、移転の準備、フォローなどに使えます。無料版があり有料版でも価格が安く、非常に使いやすいので、海外のSEO担当者に愛用されています。UIが英語のみでハードルが高く見えがちですが、このツールの魅力を日本のウェブ担当者にも伝えたく、Screaming Frogについてのコラムシリーズを配信していきたいと思います。ツールの細かい使い方や各タブの機能一覧などを紹介する日本語の記事はたくさんありますので、今回はScreaming Frogでできることの概要、無料版と有料版の違いや使う際の注意点を紹介します。また今後のコラムでもScreaming Frogでできることをいくつかピックアップして紹介していきたいと思います。

Screaming Frogの基本的な使い方と見方のおさらい
Screaming Frogで今すぐにできる施策の例
Screaming Frog SEO Spider無料版と有料版の違い
クロールする前の注意点
まとめ

Screaming Frogの基本的な使い方と見方のおさらい

Screaming Frogのウェブサイトよりツールをダウンロードし、インストールすれば、すぐに無料で利用できます。一番基本的な使い方は、サイトをクロールして各ページのSEOに関する情報を一覧化することでしょう。「Enter URL to spider」にサイトのURLを入力し、「Start」をクリックするとクロールが開始されます。

クロールが開始されたら、クロール済みページの情報が表示されます。画面を横スクロールすることで、もしくは「Internal」の横にある各タブを切り替えることで一覧化されたクロール結果が確認できます。各行をクリックすると、URLレベルの情報を個別に表示できます。

サイトの規模とクロールスピード(設定可能)によりますが、数十分から数時間後にクロールが終わり、「Export」よりデータをCSV、ExcelやGoogleスプレッドシートとしてエクスポートすることができます。デフォルトではHTMLの他に画像、CSSやその他のリソースも一覧に表示されて、ダウンロードするファイルが重くなりがちなので、HTML単位の情報のみ見たい場合は画面左上フィルタマークのプルダウンより「All」から「HTML」に切り替えてからエクスポートすると良いです。

Screaming Frogで今すぐにできる施策の例

Screaming Frogの機能がイメージできるように、できることの例をいくつか紹介します。

Title、metaタグや見出しタグの確認

クロールしたページのTitle、meta description、最初のh1とh2(2個ずつ)の内容と長さが一覧化されます。そのため、例えばタグが設定されていないページ、各タグの内容が重複しているページやタグが短すぎる・長すぎるページを見つけやすいです。

エラーページの抽出

クロールされた各URLに対してのステータスコードが表示されますので、4xx・5xxエラーのページを一覧の中で確認できます。さらに、「Bulk Export」の「Response Codes」メニューより気になるステータスコードページの被リンクをエクスポートすることができます。

Screaming FrogのBulk Exportからレスポンスコードごとの被リンクを見る方法

例えば「Client Error (4xx) Inlinks」をエクスポートすれば、404などの４xx系エラーURLにリンクしているページの一覧がダウンロードでき、リンク切れの修正に役立ちます。サイト内のエラーページだけではなく、リンクしている外部サイトのエラーページも確認できます。

リダイレクトやCanonicalタグの診断

エラーのステータスコードと同様に、リダイレクトしているURLを一覧で見たり、「Bulk Export」でリダイレクト元とリダイレクト先、リダイレクトURLの被リンクを確認できます。さらに「Reports」の「Redirects」では「Redirect Chains」でリダイレクトが続いてしまっている、もしくはループしているものを確認できて、「Redirect & Canonical Chains」でCanonicalタグの値とも組み合わせてリダイレクトとCanonicalでバッティング、ループしている内容がないか確認できます。

リダイレクトと同様に、「Reports」の「Canonicals」より「Canonical Chains」でCanonicalタグのみでもループしているページがないかなど確認できます。 Canonicalループとは例えばページAからページBに、ページBからページAにCanonicalタグを設定しているような現象です。

XMLサイトマップの生成

Screaming FrogにはXMLサイトマップを生成する機能があり、URLが頻繁に減ったり増えたりしないサイトで他にサイトマップを生成する方法がない場合にはこの機能を使うと便利です。「Sitemaps」より「XML Sitemap」もしくは「Images Sitemap」(画像サイトマップXML)を選択して、PDFや404のURLを含めるか、Last Modifiedの設定をどうするかなどを調整して簡単にサイトマップファイルを生成できます。 <

ここまで説明した以外にもできる診断、分析やアクションはたくさんあります。次の無料版と有料版の違いの表も機能イメージの参考になると思います。

Screaming Frog SEO Spider無料版と有料版の違い

Screaming Frogには無料版と有料版があり、有料版は2021年3月時点で年間£149（約22,000円）です。小規模サイトの軽い診断には無料版で十分かもしれませんが、中規模、大規模サイトをクロールしたい場合、もしくはより高度な機能を使いたい場合は有料版が必要になります。以下、無料版と有料版の違いを日本語化してみました。 ※1ライセンスは複数台で使えますが、原則として1ユーザー当たり1ライセンスを購入する必要があります。

機能	無料版	有料版
リンク切れ、エラー、リダイレクトの検出	○	○
ページタイトル、meta descriptionの分析	○	○
meta robotsの検出	○	○
hreflangの診断	○	○
重複コンテンツの検出	○	○
XMLサイトマップの生成	○	○
Webサイト構成のビジュアライズ	○	○
クロール可能URLの制限	500件	無制限^* *マシンのメモリーとストレージによる
クロールスケジュールの設定	×	○
クロールスピードや詳細条件の設定	×	○
クロールの保存と再アップロード	×	○
JavaScriptレンダリング	×	○
重複に近いコンテンツの検出	×	○
カスタム robots.txt	×	○
AMP クロールと診断	×	○
構造化データマークアップの診断	×	○
スペルと文法チェック（日本語を含める）	×	○
ソースコード内の検索	×	○
要素の抽出	×	○
Google アナリティクス連携	×	○
Search Console連携	×	○
PageSpeed Insights 連携	×	○
Ahrefs、Moz、Majestic連携	×	○
フォームによる認証	×	○
元とレンダリングされたHTMLの保存と確認	×	○

※2021年3月時点

クロールする前の注意点

Screaming Frogを利用する前の注意点をいくつか紹介します。

クロールスピードの設定

無料版では500URLまでしかクロールされないのでサーバーへの負担が大きくなる可能性は低いですが、有料版のデフォルト設定でScreaming Frogのクロールを走らせると、クローラーが短時間でたくさんのページに訪れます。そのため、サーバースペックがよくないと負担がかかりすぎてサーバーエラーが出始め、うまくクロールできないだけではなく、場合によってはサーバーが落ちる可能性もあります。サーバーの強さに自信がない場合、「Configuration」より「Speed」の設定でスピードを制限しましょう。 <

デフォルトではクローラーが同時に5スレッドで走り、秒ごとのURL数の制限もないですが、有料版ではスレッド数を変更することができて、「Limit URL/s」にチェックを入れて1秒あたりにクロールして良いURL数を制限することができます。

どの設定にするかはインフラ担当者と相談すると良いでしょう。相談してもわからない場合、Max Threadsを2つ、Max URL/ｓも2.0にすれば無難でしょう。ただ、スピードを落とすと特に規模が大きいサイトではクロールに何日もかかる場合がありますので、サーバーに負荷をかけすぎない且つ遅すぎないスピードのバランスを見つけると良いでしょう。また、有料版ではスケジュール設定もできますので、ユーザーのアクセスが少ない時間帯を選んでクロールすることもできます。

インフラ担当者との連絡

代理店がScreaming Frogを使う場合は顧客に一度クロールの許可を取り、自社サイトをクロールする前でも念のため一度インフラ担当者に声をかけると良いです。おそらく「わかりました、いいですよ！」と即答されますが、サイトによっては例えばボット対策をしていて、Screaming Frogがそれに引っ掛かりうまくクロールできなくなる場合があります。そのような場合、Screaming FrogはローカルIPで動くツールなので、自身のPCのIPをホワイトリストに追加してもらえば無事にクロールできるはずです。

大規模サイトのクロールについて

Screaming Frogはローカルで走るツールのため、大規模サイトでメモリーを大量に使ったり、マシンが重くなる場合があります。また、大規模サイトのクロールを保存する場合、ファイルが大きくなりがちなので、保存場所に注意する必要があります。

他社サイトのクロールについて

Screaming Frogは自社サイトだけではなく、他社サイトもクロールできるツールであり、例えば他社のタイトルタグなどをリストアップできるものです。ただ、先程書いたように、サイトをクロールしてサーバーに多少負担をかけるツールであるため、他社サイトを許可なしでクロールして良いかは使用者のモラルに委ねられるものであり、トラブルにもなりかねないのでそのような使い方をするかどうかは慎重に検討しましょう。

まとめ

Screaming FrogはSEOの初期診断、サイト移転のサポート、定期的なサイト改善にも使える非常に便利なツールです。一度ダウンロードして、無料版を試してみて、もっと高度な機能を使いたい場合は有料版を購入して注意点に意識しながら使うといいでしょう。今後のコラムではサイト移転の際のScreaming Frogの使い方、Screaming Frogを使ったGoogleアナリティクスや広告タグ設置漏れの確認方法、SPA(シングルページアプリケーション)をクロールする方法など、Screaming Frogでできることをいくつかピックアップして紹介したいと思います。気になる方は是非チェックしてください。また、気になるトピックスがありましたらコガンのツイッターよりリクエストいただければ、人気なものを紹介してまいります。