Googlebotがクロールするのは15MBまで

Googlebotと説明するドキュメントにこのような文言が追記されました。

■実際に追記された記述

現状まだ日本語版には追記されていませんが、実際に追記されたのは以下の記述となります。

“Googlebot can crawl the first 15MB of content in an HTML file or supported text-based file. After the first 15MB of the file, Googlebot stops crawling and only considers the first 15MB of content for indexing.”

簡単に日本語訳をすると

「Googlebotはhtmlファイルもしくはサポートするテキストベースのファイルのうち、最初の15MBのコンテンツをクロールできます。15MB を超過するとクロールを停止し、最初の15MB のコンテンツをインデックスの対象と考えます。」

とのことです。

■画像や動画は対象外

1ページ内に画像や動画を複数埋め込んでしまった場合、そのページの総サイズは15MBを簡単に超えてしまうんじゃ？と思った人、安心してください。

15MBの対象となるのは、ページ本体のhtmlファイルです。

ただし、ドキュメント系のファイル（例えばPDF、Word、Excel、Powerpointなど）は対象となるようです。

■実際には15MBを気にする必要はなさそう

画像や動画を除いたhtmlファイルで15MBを超えるようなファイルサイズとなると膨大な量のテキストになるはずなので、実際には上限を気にしてページ作成をする必要はありませんが、知識として覚えておいて損はないでしょう。

参照URL：Google検索セントラル