「文字ごとに区切る」を選択した場合には、一文字ごとにインデックスを作成します。例えば、"search" という単語があったとした場合、"s", "e", "a", "r", "c", "h" といった具合に一文字ずつインデックスを作成します。この場合、例えば、検索キーワードに "ear" を入力してもヒットすることになります。
それに対して「単語ごとに区切る」を選択した場合には、"search" という単語で一つのインデックスを生成します。従って、検索キーワードに "ear" が指定されたとしてもヒットしないことになります。
どちらの選択も、それぞれ一長一短があります。前者の場合は、検索に漏れが生じないというメリットがあるかわりに、望まれない文書(検索ノイズ)までヒットする可能性が高くなるという短所があります。後者の場合は、検索に漏れが生じるかもしれないというデメリットはありますが、完全な単語が検索キーワードに指定されれば、前者より高速にヒットさせることが可能とります。さらに、検索ノイズが減るというメリットがあります。
概ね、大規模な文書数を誇るサイトでは、ノイズの影響が目立つので、「単語ごとに区切る」を選択されたほうが良いでしょう。それに対して、さほど文書数が多くないサイトでは、ノイズの影響よりも、検索の漏れの影響のほうが大きく懸念されるため、「文字ごとに区切る」を選択するほうが良いでしょう。
尚、本設定は、あくまでも半角英数字に対して適用される設定です。日本語の文字には適用されません。日本語の文字の場合にはこの設定にかかわらず、文字ごとに区切ってインデックス化されます。