II-B2 トークンとコンテキストを理解する

前回のII-B1では、推論が「入力を一括処理する段階」と「1語ずつ生成する段階」の2段階で進むことを見ました。では、AIはその「1語」をどんな単位で数えているのでしょうか。この単位がトークンであり、それをどこまで一度に読み込めるかがコンテキストウィンドウです。この2つの言葉の意味、そして日本語コンテンツにとって何を意味するのかを、ここでしっかり押さえておきましょう。

トークンとは何か

トークンとは、LLMが文章を処理する際の最小単位のことです。単語・部分単語（サブワード）・記号などに分割され、英語ではおおむね4文字で1トークンになり、語彙数（トークンの種類数）は3.2万〜20万種類程度とされています（出典: Dremio, 2026年7月確認／Airbyte, 2026年7月確認）。II-B1で見た推論のデコード段階は、実はこの「トークン」を1つずつ予測して積み上げていく処理でした。

日本語は英語よりコスパが悪い、という話

多くのLLMはBPE（Byte Pair Encoding）系のサブワード分割を採用していますが、これは英語データを中心に最適化されており、日中韓（CJK）言語では効率が落ちるとされています（出典: Qiita, 2026年7月確認）。目安として、ひらがな1文字が1〜2トークン、漢字1文字が2〜3トークンに分割されるとされ、同じ内容を書いても日本語のほうが英語よりトークン数が多くなる一方、文字数自体は少ないという逆転現象が報告されています（出典: みうのAIテックブログ, 2026年7月確認）。イメージとしては次のようになります。

入力文: 「AIOとは何ですか」
トークン分割のイメージ: 「AI」「O」「と」「は」「何」「です」「か」

たった8文字の質問文でも、複数のトークンに分割されてしまうことが分かります。

コンテキストウィンドウとは何か

コンテキストウィンドウとは、AIが一度の処理で読み込める情報量（トークン数）の上限のことです。II-B1のプレフィル段階では、入力された全トークンを一括で処理して文脈を組み立てますが、その処理量はこのウィンドウの大きさに左右されます。ただし、コンテキストウィンドウを広げれば安心というわけではありません。Transformerの核である自己注意機構は、文中の全トークンが他の全トークンとの関連度を計算する仕組みのため、計算量は文章が長くなるほど長さの2乗で増えていきます（出典: Transformer Explainer, 2026年7月確認）。長く読み込めることと、コストが安く済むことは別の話です。

AIOの実務にどうつながるか

この2つの事実を組み合わせると、実務上の示唆が見えてきます。日本語コンテンツは同じ情報量でも英語よりトークン消費が多くなりやすく、コンテキストウィンドウの中で「読み取ってもらえる分量」に対して不利になりやすいということです。だからこそ、簡潔で構造化された文章（見出し・箇条書きの活用）が、AI検索に読み取られやすい可能性があると考えられます。だらだらと長い説明文よりも、要点を区切って積み上げる書き方のほうが、限られたトークン消費の中で正確に伝わりやすくなります。

実践ステップ

1. 1
   自社の主要記事を1本選び、見出し（h2/h3）の数と、1見出しあたりの文字量を数えてみる
2. 2
   同じ内容を英語で書いた場合と日本語で書いた場合、どちらが情報を伝えるのに必要な分量が多くなりそうか考えてみる
3. 3
   長い説明文が続く箇所を見つけたら、見出しや箇条書きで区切れないか検討する
4. 4
   1文が長くなりすぎている箇所（3行以上続く文など）がないか確認し、短く区切れないか見直す
5. 5
   この記事構成の見直しは、次のII-B5（RAGの仕組み）・II-B7（チャンキング）でさらに具体的な手順として扱うので、気づいた点をメモしておく

このレッスンはテキストとスライドで学べます。スライドは上のビューアからご覧ください。