AIの「トークン」とは?料金や会話の長さに関わる仕組みをわかりやすく解説

トークンとは?アイキャッチ画像 AI用語解説

「トークン」がわからないと、AIの料金がわからない

AIの有料プランを検討していると、必ず出てくるのが「トークン」という言葉だ。

「月に○○万トークンまで」「入力トークンと出力トークンで料金が違う」——公式サイトのプラン説明を読んでも、そもそもトークンが何なのかわからなければ、自分にどのプランが合っているのかも判断できない。

自分もChatGPTの有料プランに切り替えるとき、まさにこの壁にぶつかった。「トークンって文字数のこと?単語数のこと?」と混乱したのを覚えている。

この記事では、トークンとは何か、日本語の場合どう数えられるのか、そしてなぜ料金や使い勝手に影響するのかを、実用的な視点で解説していく。


トークンとは「AIが文章を処理する最小単位」のこと

トークンとは、AIが文章を読んだり生成したりするときに使う最小の処理単位だ。

人間は文章を「文字」や「単語」の単位で読むが、AIは独自の方法で文章を細かく分割して処理している。この分割された一つひとつの断片が「トークン」だ。

英語の場合はわかりやすい。だいたい「1単語=1トークン」に近い。“Hello”は1トークン、“artificial intelligence”は2トークンというイメージだ。

ただし、日本語はちょっと事情が違う。日本語はスペースで単語を区切らないため、AIは独自のルールで分割する。結果として、日本語は1文字が1〜3トークンに相当することが多い。つまり、同じ内容でも英語より日本語のほうがトークン数が多くなる。これは日本語でAIを使う人にとって、料金面で地味に重要なポイントだ。

具体的な目安を示すと、こんな感じになる。

テキストおおよそのトークン数
「こんにちは」(5文字)約3〜5トークン
ブログ記事1本(2,000字)約1,500〜3,000トークン
長めのレポート(10,000字)約7,000〜15,000トークン

あくまで目安で、使うAIモデルによっても多少変わる。正確なトークン数を知りたい場合は、OpenAIの「Tokenizer」というツールなどで確認できる。


なぜトークンが重要なのか——料金と会話の限界に直結する

トークンが重要な理由は大きく2つある。

1つ目は、料金に直結するから。 API(プログラムからAIを使う方法)では、トークン単位で課金される。たとえば「入力1,000トークンあたり○ドル、出力1,000トークンあたり○ドル」という計算だ。日本語はトークン効率が悪いため、同じ内容の会話でも英語より割高になりがちだ。

ChatGPTのPlusプランやClaudeのProプランのような月額制サービスでは、直接トークン課金されるわけではないが、内部的にはトークンで管理されている。「使いすぎると速度制限がかかる」のは、一定時間内のトークン消費量が上限に達するからだ。

2つ目は、「コンテキストウィンドウ」の上限に関わるから。 コンテキストウィンドウとは、AIが一度に処理できるテキストの最大量のことで、これもトークンで計測される。

AIコンテキストウィンドウ
ChatGPT(GPT-4o)最大128Kトークン
Claude(Sonnet 4)最大200Kトークン

「128Kトークン」は日本語でざっくり5〜8万字分。これは相当な量だが、長い会話を続けたり、大量の資料を読み込ませたりすると、上限に達することがある。上限に達すると、AIは会話の最初のほうの内容を「忘れて」しまう。

「さっき言ったこと覚えてる?」と聞いて「申し訳ありませんが、その部分は記憶にありません」と返ってきた経験がある人もいると思う。あれはAIの記憶力の問題ではなく、トークンの上限に達したために起きている。


トークンを節約するコツ

日常的にAIを使う上で、トークンを意識的に節約する方法がある。

プロンプトを簡潔にする。 「以下の内容について、あなたの豊富な知識を活かして、できるだけ詳しく、わかりやすく教えていただけないでしょうか」と書くより、「以下を500字で要約して」のほうがトークン消費が少ない。丁寧すぎる表現はトークンの無駄遣いになる。

不要な文脈を削る。 長い会話の途中で話題が変わったら、新しいチャットを始めたほうがいい。古い会話の内容もトークンとして送信されるため、関係のない文脈が積み重なるとトークンを浪費する。

出力形式を指定する。 「箇条書きで3点にまとめて」のように出力を絞ると、AIが生成するトークン数も減る。結果として、制限に達するまでの余裕が生まれる(プロンプトの書き方の基本は「AIの「プロンプト」とは?」で詳しく解説している)。


実際のところ、普通に使う分にはあまり気にしなくていい

ここまで書いておいてこう言うのもなんだが、ChatGPTやClaudeの月額プランを普通に使う分には、トークンを過剰に気にする必要はない。

月額20ドルのプランでは、日常的な質問や文章作成であればまず上限に引っかからない。トークンが本当に重要になるのは、APIを使って大量のテキストを処理する場合や、非常に長い文書を一度に読み込ませる場合だ。

ただ、「トークンという概念がある」ことを知っているだけで、AIの挙動への理解が深まる。会話が途中でおかしくなる理由、料金プランの違い、日本語が英語より不利な理由——こうしたことがトークンの仕組みを知ると腑に落ちる。


あわせて読みたい


まとめ

トークンとは、AIが文章を処理する最小単位のことだ。料金計算やコンテキストウィンドウの上限に直結する重要な概念で、特に日本語は英語よりトークン効率が悪い点は知っておくと役に立つ。普段使いでは過剰に気にする必要はないが、仕組みを理解しておくとAIの挙動が腑に落ちるようになる。


AIの仕組みを理解して副業に活かしたい方へ

自分がChatGPTとClaudeを使って副業の収益化に取り組んでいる方法を、noteの有料記事で詳しくまとめています。トークンを意識した効率的なプロンプト設計の実例も紹介中。

AI副業の実践ノウハウをnoteで読む


🎁 無料プレゼント|AI副業プロンプト試食版

有料プロンプト集の中から「すぐ使える5本」を厳選しました。
コピペして[ ]を埋めるだけで、ChatGPTの回答が別物になります。

✅ ChatGPT質問テンプレート
✅ AI画像生成プロンプト
✅ ブログ下書きプロンプト
✅ AI時短プロンプト
✅ アフィリエイト設計プロンプト

※ 登録は無料です。いつでも解除できます。

タイトルとURLをコピーしました