AI用語

• トークンTokenLLM がテキストを処理するときの最小単位です。単語や文字のかけらに相当し、料金・文脈長・出力の上限はトークン数で数えられます。

  例長い議事録をそのまま渡すと入力トークンが多くなるため、先に不要な部分を削ってから要約させた。

  モデルのしくみ初級別名：トークン数

  文脈長トークン単価大規模言語モデル

  詳しい説明を読む→
• 文脈長Context Windowモデルが1回の処理で扱えるトークン数の上限です。入力（指示・会話履歴・資料）と出力の合計がこの範囲に収まる必要があります。

  例契約書10本をまとめて比較したかったので、文脈長が100万トークンあるモデルを選んだ。

  モデルのしくみ初級別名：コンテキストウィンドウ、コンテキスト長、コンテキストサイズ

  トークンコンテキストエンジニアリングRAG（検索拡張生成）プロンプトキャッシュ

  詳しい説明を読む→
• パラメータParametersモデル内部で学習によって調整される数値（重み）のことです。数が多いほど多くの知識やパターンを表現できる傾向がありますが、計算コストも大きくなります。

  例8B のモデルなら 4 ビット量子化でノート PC のメモリに収まると判断した。

  モデルのしくみ中級別名：パラメータ数、重み

  MoE（混合エキスパート）量子化オープンウェイト大規模言語モデル

  詳しい説明を読む→
• 推論モデルReasoning Model答えを出す前に内部で段階的に考える過程（思考）を生成してから回答するモデルや機能のことです。数学・コーディング・複雑な分析など、手順の多い問題で精度が上がりやすくなります。

  例集計ロジックのバグ調査は推論モデルに、定型メールの下書きは思考なしの軽量モデルに任せている。

  モデルのしくみ中級別名：思考モデル、シンキングモデル、拡張思考

  トークン単価大規模言語モデルAIエージェント

  詳しい説明を読む→
• TransformerTransformer2017年の論文「Attention Is All You Need」で提案されたニューラルネットワークの構造です。現在の LLM の大半がこの構造を土台にしています。

  例社内勉強会で、LLM の仕組みを Transformer の自己注意から説明した。

  モデルのしくみ上級別名：トランスフォーマー

  大規模言語モデルMoE（混合エキスパート）拡散モデルトークン

  詳しい説明を読む→
• MoE（混合エキスパート）Mixture of Expertsモデルの中に複数の「エキスパート」と呼ばれる部分を用意し、入力ごとにその一部だけを使って計算する構造です。全体のパラメータ数を大きくしながら、1回あたりの計算量を抑えられます。

  例MoE モデルは計算は速いが、総パラメータ分のメモリが必要なので、GPU の台数を見積もり直した。

  モデルのしくみ上級別名：MoE、混合エキスパート、Mixture-of-Experts

  パラメータTransformerオープンウェイト

  詳しい説明を読む→
• 拡散モデルDiffusion Modelノイズだらけの状態から少しずつノイズを取り除いていくことで、画像・動画・音声などを生成するモデルです。現在の画像生成・動画生成の多くがこの方式を使っています。

  例拡散モデルのステップ数を下げて、ラフ案を短時間でたくさん出してから本番用を作り直した。

  モデルのしくみ中級別名：ディフュージョンモデル、Diffusion

  Text-to-XTransformer生成AIメガピクセル

  詳しい説明を読む→
• 埋め込みEmbedding文章や画像などを、意味の近さが距離として表れる数値の並び（ベクトル）に変換したものです。意味の近い文書を探す検索や分類に使われます。

  例FAQ を埋め込みに変換しておき、問い合わせ文に意味が近い回答候補を3件表示している。

  モデルのしくみ中級別名：エンベディング、ベクトル表現、埋め込みベクトル

  ベクトルデータベースRAG（検索拡張生成）大規模言語モデル

  詳しい説明を読む→
• 量子化Quantizationモデルの重みを、16ビットなどから8ビット・4ビットといった少ないビット数で表すことで、モデルのサイズと必要なメモリを減らす手法です。手元の PC でモデルを動かすときによく使われます。

  例70B のオープンウェイトモデルを 4 ビットに量子化し、ワークステーション1台で動かした。

  モデルのしくみ上級別名：クオンタイズ、4bit量子化

  パラメータオープンウェイト蒸留

  詳しい説明を読む→
• 蒸留Distillation大きく性能の高いモデル（教師）の出力を手本にして、小さいモデル（生徒）を学習させる手法です。小さく速いモデルに、大きいモデルの能力の一部を移すことができます。

  例社内の分類タスクでは、大型モデルで作ったラベル付きデータを使って小型モデルを蒸留した。

  モデルのしくみ上級別名：知識蒸留、Knowledge Distillation、モデル蒸留

  ファインチューニング量子化ライセンス

  詳しい説明を読む→
• ファインチューニングFine-tuning学習済みのモデルに、特定の用途向けのデータを追加で学習させて調整することです。出力の形式や口調、特定分野の判断のしかたをモデルに覚えさせるのに使います。

  例問い合わせの分類精度がプロンプトの工夫では頭打ちになったので、過去の対応履歴でファインチューニングした。

  モデルのしくみ中級別名：微調整、追加学習、FT

  RAG（検索拡張生成）RLHF（人間のフィードバックによる強化学習）蒸留評価（eval）オープンウェイト

  詳しい説明を読む→
• RLHF（人間のフィードバックによる強化学習）Reinforcement Learning from Human Feedback人が「どちらの回答が良いか」を評価したデータをもとに、モデルの出力を人の好みや方針に近づける学習方法です。チャット向け LLM を役に立ち、安全に振る舞うよう調整するのに使われてきました。

  例RLHF の段階で丁寧すぎる回答が好まれた結果、前置きが長くなる傾向が出たと説明されていた。

  モデルのしくみ上級別名：RLHF、人間のフィードバックによる強化学習

  ファインチューニング推論モデル大規模言語モデル

  詳しい説明を読む→
• 温度（temperature）TemperatureLLM が次のトークンを選ぶときのばらつきを調整する設定値です。低くすると毎回似た無難な出力に、高くすると多様で意外性のある出力になります。

  例商品説明のキャッチコピー案は温度を上げて10案出し、仕様表の抽出は温度を下げて実行している。

  モデルのしくみ中級別名：temperature、サンプリング温度、top_p

  トークン大規模言語モデル構造化出力

  詳しい説明を読む→

合う言葉が見つかりませんでした。短い言葉や英語でも試してください。