Googleは検索セントラルブログにてクロールレートを下げる目的の404や403の使用に注意喚起

 
Googleは検索セントラルブログを更新し、
「Googlebotのクロールレート（頻度）を下げようとして、ウェブサイトの所有者や一部のコンテンツ配信ネットワークによる404やその他の4xxエラーを使用する動きが増加している。ただし、この方法は正しくはない」と記載するとともに、正しい方法を示しました。
このセントラルブログを更新したのはGoogleスイスのサーチトレンド・アナリストであるGary Illyes（ゲイリー・イリーズ）氏です。
尚、更新されたのは英語版のみで、日本語版ではまだ更新されていません。
 

■そもそも、クロールレートとは？

クロールレートには2つの意味があります。
1つは、「Google botがサイトにクロールする頻度（※回数）」のこと。
何日に1回クロールするといった回数を指します。
もう1つは、「クロール速度」のことを指します。
「サイトにやってきたGooglebotが、クロール時に行う1秒間あたりのリクエスト数」のことです。
 
本記事は、「クロール速度」に関するお話になります。
 

■400番台エラーはそもそもクライアントエラー、クロールレートに影響はない

400 番台のHTTP ステータスコードエラーは、クライアント（ブラウザ含む）に起因するエラーです。
例えば、404 であれば、間違った URLをクライアントがリクエストしてしまい、その結果URLが見つからずNot foundが返されるという仕組みです。
403エラーであれば、禁止されているURLにアクセスしてしまったためForbiddenが返される、ということです。
上記のようにブラウザもしくはサイト側の要因のであるため、400番台のHTTPステータスコードを受信してもクロールレートとは関係がないということになります。
 

■400番台エラーでクロールレートが変わると大変な事態に

逆に、もしも400番台のエラーがクロールレートに影響するとしたら大変な事態が発生する可能性があります。
それは、サイト運営者が意図していないのにも関わらず、悪意ある人により400番台エラーを返すURLに大量のリンクを張られ、クロールレートが下がるということができてしまうためです。
そうなってしまうと、Googleは正しくサイトの評価ができませんよね？
 

■400番台でも例外が１つ

400番台のエラーは基本的にはクロールレートには影響しませんが、例外が1つだけあります
それは「429エラー」です
429はToo Many Requestsという状態です。一定期間に一定回数以上の大量のアクセスがあった場合、サーバーからの応答の継続拒否をアクセスしてきた相手に伝えます。
この状態が続くと、Googlebotはクロールレートを低くします。
 

■Googlebot のクロールレートを下げる適切な2つの方法

今回の検索セントラルブログでは、クロールレートを下げる適切な方法として以下の2つを推奨しています。
１：Search Console のクロールレート設定から最大クロールレートを制限する ※推奨
２：500、503もしくは429のHTTPステータスコードを返す
 
Gary Illyes（ゲイリー・イリーズ）氏によれば、Googlebotのクロールレートを下げる、もしくはコントロールする目的で400番台を返すサイトやCDNがここ数か月散見されるとし、もしこうしたサイトに該当するのであれば、正しい方法でクロールレートを下げるようにと注意喚起しています。
 

■まとめ

429を除く400番台のエラーではクロールレートは下がることはありませんので注意しましょう。
逆に適切でないことをしている場合、クロールレートを下げる（コントロールする）という目的が達成できないだけではなく、検索に悪影響を及ぼす可能性もあります。
注意しましょう。
 
検索セントラルブログはこちら