レイテンシ

レイテンシ（latency、遅延）とは、何かを依頼してから結果が返ってくるまでの待ち時間のことです。AI の利用では、質問を送ってから回答が出るまでの時間を指します。モデルの賢さや料金と並んで、使い心地を大きく左右する要素です。

2つの測り方

LLM の応答は文字を少しずつ生成して出すため、待ち時間は次のように分けて考えます。

• 最初のトークンが出るまでの時間（TTFT）：画面に最初の文字が出るまで。「反応が速い」という体感に効きます。
• 全体が出終わるまでの時間：長い回答では、1秒あたりに何トークン出るかという生成速度が効きます。

ストリーミング表示にすると、全体の時間は同じでも、読み始められるのが早くなるため、体感の待ち時間が短くなります。

何で決まるか

• モデルの大きさ：一般に大きいモデルほど遅く、小型のモデルは速い傾向です。
• 入力の長さ：長い文脈を読み込むほど、最初の応答まで時間がかかります。
• 出力の長さ：長く書かせるほど終わりが遅くなります。
• 推論モデルの思考：答える前に長く考えるタイプは、品質が上がる代わりに待ち時間が増えます。
• 混雑状況やサーバーの場所：利用が集中する時間帯や、通信距離でも変わります。
• キャッシュ：同じ前置きを何度も送る場合、プロンプトキャッシュで入力の処理を短縮できることがあります。

具体例

音声で会話するアシスタントでは、人が話し終えてから0.数秒〜1秒程度で返事が始まらないと不自然に感じられます。そのため、音声認識、LLM、音声合成のそれぞれの遅れを足した合計が問題になり、軽いモデルを選んだり、生成しながら順に読み上げたりします。一方、夜間に大量の文書を要約するバッチ処理なら、待ち時間はほぼ気にならず、安さを優先できます。

使うときの注意

• 速さ・賢さ・安さはトレードオフになりやすいです。用途ごとに、何を優先するかを決めます。
• 平均値だけでなく、遅いときの値（上位1％など）も見ます。たまに極端に遅くなると、利用者は不満を覚えます。
• レイテンシとスループット（単位時間に処理できる量）は別物です。一人あたりは速くても、同時に多くの人をさばけるとは限りません。
• 公表されている速度は条件付きの目安なので、自分の用途で実測するのが確実です。