本 CGI がインデックス化を行う際に、サーバの CPU やメモリーを使う量は、該当 HTML ファイルのサイズに比例します。
インデックス化を行うたびに、いつも同じ HTML ファイルの処理でエラーとなってしまう場合には、その HTML ファイルのサイズが大きすぎることが考えられます。その場合には、この設定で、読込サイズの上限を指定してください。インデックス化する際には、ここで指定したバイト数分だけを読み込んで上で処理を行います。ただし、指定されたサイズ以降については、インデックス化されませんので、ご注意下さい。
ご指定のサイト全体の文書を問題なくインデックス化できた場合には、ここには何も設定しないで下さい。