大規模モデル関連概念

大規模モデル（LLM）開発に触れたばかりのときは、Token、RAG、Embedding、Agent……といった新しい用語が次々と出てきます。それらは一見互いに独立しているように見えますが、実際には一つの完全な技術チェーンとしてつながっています。

本記事では「モデルとは何か → どう訓練するか → どう使うか → どう最適化するか」の順に、これらの概念をつなげて、初心者開発者が明確な知識の枠組みを構築できるようにします。

本記事は単なる「用語解説」ではなく、実際に実行できるPythonコードを使って、これらの概念をどう実装するかを示します。

すべてのサンプルはOpenAI互換プロトコルに基づいており、阿里云百炼、DeepSeekなどのサービスプロバイダーに変更するには、APIエンドポイントとキーを変更するだけで済みます。

Python OpenAI リファレンス：https://www.example.com/python3/python-openai.html

全体的な技術チェーン

各概念を分解する前に、大規模モデル技術の完全なチェーンを一目見て、全体像を把握しましょう。

上から下まで、各層はある種の核心的な問題を解決します。訓練はモデルを作り出し、最適化はそれを軽くし、駆動はそれを機能させ、検索は知識を補い、ツールはそれを実行させます。

以下では、このチェーンに沿って、上から下へ層ごとに展開します。

基本概念：モデルとは何か

この節では、最も根本的な質問に答えます。大規模モデルとは一体何であり、何によって機能するのか。

LLM（大規模言語モデル）

LLMはLarge Language Modelの略で、膨大なテキストに基づいて訓練された深層学習モデルです。

その本質は「次の単語を予測する」確率モデルであり、与えられた前のテキストから次に最も現れそうな内容を予測します。

ChatGPT、Claude、通义千问などの製品は、基盤となる技術はすべてLLMです。

Transformerと注意力メカニズム

ほとんどすべての現代のLLMはTransformerアーキテクチャに基づいています。

その中核的な革新は注意力メカニズム（Attention / Self-Attention）：モデルは特定の単語を処理する際、入力シーケンス内の他の関連する単語に動的に「注意を向け」、文脈の関係をよりよく理解できます。

たとえるなら、モデルは文を読むときに一字ずつ機械的にスキャンするのではなく、「この単語は前のどの単語と最も関係が深いか」を自動的に判断します。

Token（トークン）

モデルはテキストを「文字」や「単語」ではなく、Token単位で処理します。

1つのTokenは、漢字1文字の場合もあれば、英単語1語の場合もあり、単語の一部の場合もあります。

Tokenを理解することには、2つの直接的な実践的意義があります。

モデルのコンテキスト長の制限はToken単位で計算され、API呼び出しの課金もToken単位で計算されます。

OpenAIのオープンソースのトークナイザーライブラリtiktokenを使うと、テキストがいくつのTokenに分割されるかを直接確認できます。

出力結果：

Token 数量：2
切分结果：['Hello', ' world']

中国語やより長い単語に変えると、分割方法はまったく異なります。そのため、「文字数でTokenを推定する」のは正確ではありません。

コンテキストウィンドウ（Context Window）

モデルが一度に「見て」処理できる最大Token数を指します。

たとえばコンテキストウィンドウが100Kの場合、1回の対話（履歴メッセージ、あなたの質問、モデルの回答を合わせたもの）が10万Tokenを超えてはいけないことを意味します。

ウィンドウが大きいほど、モデルが「記憶」できる内容が多くなり、一度に処理できるドキュメントも長くなります。

パラメータ数（Parameters）

パラメータ数は、モデル内部の学習可能な重みの数を指し、通常はB（10億，Billion）を単位とし、例えば7B、70Bです。

これはある程度モデルの規模と能力の上限を反映しますが、唯一の指標ではありません。訓練データの質やアーキテクチャ設計も同様に重要です。

モデルはどのように訓練されるのか

自然な対話ができるLLMは、通常、複数の訓練段階を経て、能力を段階的に積み重ねていきます。

事前学習（Pre-training）

モデルは、膨大でラベルのないテキスト（Webページ、書籍、コードなど）上で、文法、常識、論理関係などの言語の統計的規則を学習します。

この段階は最も多くの計算資源を消費し、モデルの能力の基盤となります。

しかし、この時点のモデルは「指示に従って行動する」のがまだ得意ではなく、多くの本を読んでいるがどのように交流すればよいか分からない人に似ています。

SFT（教師ありファインチューニング）

SFTはSupervised Fine-Tuningの略です。

人手でラベル付けされた「質問—回答」ペアデータを使用して、モデルに人間の指示に従って質問に答えることを教えます。勝手にテキストを続けて書くのではなく。

RLHF（人間のフィードバックからの強化学習）

RLHFはReinforcement Learning from Human Feedbackの略です。

人間にモデルの複数の候補回答を採点またはランク付けさせ、そのフィードバックを使ってモデルを訓練し、その出力が人間の好み（より有用で、より誠実で、より安全）に合うようにします。

類似の技術としてRLAIFがあります。人間の代わりにAIが採点することで、ラベル付けコストを削減します。

両者の目的は同じで、違いは「採点する人」が実在の人間か、別のAIかという点だけです。

アラインメント（Alignment）

アラインメントはよりマクロな概念で、モデルの行動や価値観を人間の期待や意図に合わせることを指します。

これはAI安全性分野の中心的な議題であり、SFT、RLHFなどの各訓練段階に貫かれています。SFTとRLHFは本質的にはどちらも「アラインメント手段」です。

ファインチューニング（Fine-tuning）

すでに訓練された汎用モデルを基礎に、特定の分野（法律、医療、カスタマーサービスなど）のデータを使ってさらに訓練します。

ゼロから事前学習するのに比べて、ファインチューニングのコストははるかに低く、汎用モデルを専門的なシーンに適応させる一般的な方法です。

MoE（混合エキスパートモデル）

MoEはMixture of Expertsの略で、モデルのアーキテクチャ設計の一種です。

モデル内部には複数の「エキスパート」サブネットワークが含まれており、入力処理のたびにその一部だけが活性化され、すべてのパラメータが計算に参加するわけではありません。

これにより、モデル全体の規模を拡大しながら、実際の計算量を抑え、「パラメータは大きいが推論は速い」を実現できます。

開発者はどう大規模モデルを使うのか

これは初心者開発者が最も注目すべき部分です。APIを通じて大規模言語モデルをアプリケーションにどう活用するかということです。

この節ではまず、最も基本的でそのまま実行できる対話呼び出しの例を示し、その後各概念を説明します。

最も基本的なAPI対話呼び出し

次のコードは、完全な対話リクエストの例を示しており、System Prompt・ユーザーメッセージ・温度という3つの概念を使用しています。

出力結果：

回答：サンプル（サンプル）是一个提供编程教程的中文学习网站……
输入 Token 数：33
输出 Token 数：18

戻り値の構造にあるusageフィールドは、前述のToken概念の具体例です。この呼び出しで消費したToken数が分かり、課金の根拠にもなります。

プロンプト（Prompt）

Promptとは、モデルに与える指示や質問であり、モデル出力の質を直接左右します。

より明確で効果的なPromptを書くためのテクニックを研究することを、プロンプトエンジニアリング（Prompt Engineering）。

一般的な手法には、具体例を示す、段階的に考えるよう求める、出力形式を指定する、などがあります。

システムプロンプト（System Prompt）

ユーザーが正式に入力する前に、モデルに事前に設定する指示で、モデルの役割・行動規範・背景知識を定義するために使います。

前述の例にある「あなたはプロのPythonプログラミングアシスタントです。技術関連の質問にのみ回答します。」は、典型的なSystem Promptです。

System Promptとユーザーメッセージの違い：System Promptは「モデルがどう振る舞うべきか」を設定し、ユーザーメッセージは「具体的に何をするか」を伝えます。

一般的な規範をSystem Promptに入れておくと、複数ターンの対話でも回答スタイルを一貫させられます。

温度（Temperature）

温度はモデル出力のランダム性を制御するパラメータで、通常0から2の範囲を取ります。

温度が高いほど回答は「創造的」でランダムになり、間違いやすくなります。温度が低いほど回答は保守的で安定します。

インコンテキスト学習（In-Context Learning）

モデルに一切ファインチューニングをする必要はなく、Promptにいくつか例を示すだけで、モデルは「見様見真似」で新しい類似タスクを実行できます。

これはプロンプトエンジニアリングで最もよく使われるテクニックの1つで、Few-shot Learning（少数ショット学習）とも呼ばれます。

思考の連鎖（Chain-of-Thought, CoT）

複雑な問題を段階的な推論プロセスに分解させてから最終回答を導かせることで、いきなり結論に飛ばないようにする手法です。

実践により、この方法は数学や論理推論などの複雑なタスクでのモデルの精度を大幅に向上させることが示されています。

最も簡単な方法は、Promptに「段階的に考えてください」という一言を加えることです。

幻覚（Hallucination）

ハルシネーションとは、モデルがもっともらしく流暢に聞こえるが、実際には誤っている、または根拠なく作り出した内容を生成することを指します。

これはLLMに現在広く見られる欠陥で、モデルが本質的に「最も可能性の高い文章を続ける」ことをしており、「事実を検証する」ことをしていないためです。

ハルシネーションを軽減する主要な手段の1つが、後述のRAGです。まず実際の資料を検索し、その資料に基づいてモデルに回答させます。

モデルを外部世界に接続する

単純なLLMは、学習時に得た知識だけに頼って回答するため、最新情報を知らず、自ら行動することもできません。

この節で紹介する技術は、この2つの欠点を解決する鍵です。

Embedding（埋め込み）

Embeddingは、テキストや画像などの内容を一連の数字（ベクトル）に変換します。

変換後、コンピュータはベクトル間の距離を計算することで、2つの内容が「意味的に」似ているかどうかを判断できます。

これは検索、レコメンド、RAGなどのアプリケーションの基盤です。

ベクトルデータベース

ベクトルデータベースは、Embeddingベクトルの保存と検索に特化したもので、Pinecone、Milvus、Chromaなどがあります。

大量のベクトルの中から、クエリと意味的に最も似ている内容を高速に見つけられるため、RAGシステムの構築に欠かせないコンポーネントです。

RAG（検索拡張生成）

RAGの正式名称はRetrieval-Augmented Generationです。

そのワークフローは次のとおりです。まず外部ナレッジベースをベクトル化してベクトルデータベースに保存します。ユーザーが質問すると最も関連性の高い内容を検索します。そして検索結果を質問とともにモデルに渡して回答を生成させます。

RAGはハルシネーションを効果的に軽減し、モデルが学習データ外の新しい知識にも回答できるようにします。

以下は、外部ベクトルライブラリに依存せず、OpenAI Embeddingとnumpyで実装した最小限のRAGの例です。原理を理解するのに役立ちます。

出力結果：

检索到的资料：サンプル 是一个提供编程教程的中文学习网站。
回答：サンプル（サンプル）是一个提供编程教程的中文学习网站。

実際のプロジェクトでは、ステップ3の「メモリ内で類似度を計算する」を「ベクトルデータベースを呼び出して検索する」に置き換えるだけで、プロセスは完全に同じです。

ファンクションコーリング（関数呼び出し）

Function Callingは、大規模言語モデルが外部ツールやAPIを呼び出してタスクを実行できるようにします。例えば、リアルタイムの天気の確認、数学計算の実行、データベースの照会、メールの送信などです。

これは、モデルの「文字を生成できるだけで、動作を実行できない」という欠点を補い、大規模言語モデルがチャットボットから実用的なツールへ進化するための重要な一歩です。

その仕組みは2ラウンドの対話です。1ラウンド目でモデルがどの関数を呼び出し、どのパラメータを渡すかを決定します。あなたのコードが実際に関数を実行した後、2ラウンド目で結果を返送し、モデルに自然言語の回答を生成させます。

出力結果：

工具执行结果：杭州 今天晴，气温 28°C
最终回答：杭州今天是晴天，气温大约 28°C，适合外出活动。

MCP（モデルコンテキストプロトコル）

MCPの正式名称はModel Context Protocolで、大規模モデルが外部ツールやデータソースに標準化された形で接続するためのオープンプロトコルです。

これは「AI分野のUSBインターフェース」に例えることができます。異なるツールやデータソースでも、このプロトコルに従えば、MCPに対応したさまざまな大規模モデルから統一的に呼び出せます。

これは、Function Callingの時代にあった「ツールを接続するたびに毎回連携を繰り返す」という問題を解決し、開発の手間を削減します。

Agent（エージェント）

Agentは、大規模モデルを基盤に構築された、タスクを自律的に計画し、ツールを呼び出し、複数ステップの操作を実行できるシステムです。

一問一答の対話と比べて、Agentは複雑なタスクを単独で完了できる「デジタル社員」に近い存在です。例えば「資料を調べる → コードを書く → テストする → バグを修正する」という一連のプロセスを自動で完了させます。

Agentが依存する中核のループはReAct（Reason + Act）です。次のステップを考え、ツールを呼び出し、結果を観察して、また考える、という流れをタスクが完了するまで繰り返します。

マルチモーダル（Multimodal）

マルチモーダルとは、モデルがテキストだけでなく、画像、音声、動画など複数種類のデータを同時に理解、および/または生成できることを指します。

現在、多くの主流な大規模モデルが、画像の読み取りやグラフ分析などのマルチモーダル能力を備えています。

モデルをより速く、より省資源で動かす

モデルの能力が強いほど、往々にしてサイズが大きく、実行コストも高くなります。

次の2つの概念は、モデルを実際のデプロイ時により軽量かつ高効率にするためのものです。

量子化（Quantization）

量子化は、モデルのパラメータを高精度（例：32ビット浮動小数点数）から低精度（例：8ビットまたは4ビット整数）に圧縮します。

これにより、モデルが使用するGPUメモリ（VRAM）を大幅に削減し、推論速度を向上できます。代償として精度がある程度低下しますが、多くのシナリオでは許容できます。

モデル蒸留（Model Distillation）

蒸留では、能力が高いがサイズの大きい「教師モデル」の出力を使って、よりサイズの小さい「生徒モデル」を学習させます。

目的は、小さいモデルに大規模モデルの能力を可能な限り学習させることです。蒸留後のモデルはサイズが小さく、推論が速く、デプロイコストも低くなります。

初心者の学習ロードマップ

初心者開発者にとって、すべての概念を一度に完全に理解する必要はありません。

以下の順序で段階的に進めることをおすすめします。断片的に概念を覚えるよりも、体系立てて理解しやすくなります。

各概念の定義を丸暗記する必要はありません。この記事のコード例を実際に一通り実行してみると、理解がはるかに深まります。

核心用語クイックリファレンス

本文に登場する重要な用語を1つの表にまとめ、「カテゴリ」ごとにグループ化しました。いつでも参照・復習しやすい構成です。