モデルのしくみ 初級
トークン
Token
LLM がテキストを処理するときの最小単位です。単語や文字のかけらに相当し、料金・文脈長・出力の上限はトークン数で数えられます。
別の呼び方トークン数
例長い議事録をそのまま渡すと入力トークンが多くなるため、先に不要な部分を削ってから要約させた。
詳しく
- テキストをトークンに分ける処理をトークナイズといい、分け方はモデル（トークナイザー）ごとに異なります。同じ文章でもモデルが違えばトークン数が変わります。
- 英語はおおむね1単語が1トークン前後ですが、日本語は文字あたりのトークン数がモデルによって大きく異なるため、実際の数は各社のトークン数計測ツールや API の使用量表示で確認するのが確実です。
- 画像・音声・動画も内部でトークンに換算されて数えられます。
- API の料金は「入力トークン」と「出力トークン」で別々に設定されていることがほとんどです。