テキスト出現頻度分析

英文の英字や記号列を固定幅で数える

このページは、入力したテキストから英字を取り出し、1〜5文字のまとまりごとに出現回数と割合を集計します。英文のアルファベットの偏りを見たり、短い英字列の並びを比べたりするときに使えます。日本語の漢字・ひらがな・カタカナ、アクセント付き文字、句読点、絵文字は集計対象外です。日本語文章の文字頻度を調べる目的には適しません。

ここでいう「まとまり」は、指定した文字数で先頭から重ならないように切った単位です。一般的な文字n-gramの説明では、隣り合う区間を1文字ずつずらして重ねる方法もあります。本ツールはその方式ではありません。例えば HELLO を2文字単位で処理すると HE と LL ができ、末尾の O は長さが足りないため除外されます。標準的なn-gramの用語との違いを知りたい場合は、文字n-gramを扱う研究例も参考になります。

結果は出現回数の多い順に並び、グラフと一覧に最大50種類が表示されます。割合はフィルター後にできた全まとまりを分母として計算し、小数第2位まで表示します。

条件をそろえて英文を分析する

1. 英字を含むテキストを入力する

   入力欄に英文やASCII英字列を貼り付けます。貼り付け、入力例、消去を利用できます。日本語だけを入力すると対象文字が残らず、結果は表示されません。日本語文に英単語が混在する場合も、英字部分だけが抽出されます。

2. まとまりの長さを選ぶ

   1文字なら英字ごとの頻度、2〜5文字なら固定幅の文字列ごとの頻度を見ます。長さを大きくするほど、末尾で余る文字が増えたり、同じ文字列が現れる回数が少なくなったりします。

3. 大文字小文字・数字・空白を設定する

   初期状態では大文字小文字を区別せず、数字と空白は含めません。「大文字・小文字を区別しない」を有効にすると英字は大文字にそろえて集計します。数字を調べる場合は数字を含め、語間の境界も単位に含めたい場合は空白文字を含めます。空白には改行やタブも含まれます。

4. グラフと一覧で内訳を見る

   結果欄の総まとまり数を確認してから、棒グラフで割合を比較し、表で順位・まとまり・出現回数・割合を読みます。入力や設定を変えると結果は自動で更新され、別の分析ボタンを押す必要はありません。

短い入力で計算を確かめる

aAbB12! を入力し、大文字小文字を区別しない設定のまま、数字と空白を含めず、長さを2にします。対象文字は AABB となり、AA と BB が各1回、総数2に対してそれぞれ50%です。数字を含めると対象文字は AABB12 となり、AA、BB、12 が各1回、各33.33%になります。

対象文字と分割方法について

結果の読み方に関する注意

表示されるのは、選択したフィルターと区切り方に基づく文字列の出現分布です。単語頻度、日本語の文字統計、文章の意味や品質を表すものではありません。

• 入力の先頭側に対象文字を加除すると、長さ2〜5の区切り位置が変わり、その後のまとまりも変化する場合があります。
• 末尾に指定長未満の文字が残っても、部分的なまとまりとしては数えられません。複数の文章を比較する際は、長さ・大小文字・数字・空白の設定を統一してください。
• 順位は出現回数順で、同数項目の表示順を意味のある優先順位として解釈しないでください。50種類を超える場合、低頻度の項目は一覧に表示されません。
• 長い入力では再計算やグラフ表示に時間がかかることがあります。機密情報を含む文章を入力する場合は、ウェブページへの貼り付けが組織の規則に合うか、事前に確認してください。