Transformer 徹底解説

2017年、Google は論文「Attention Is All You Need」を発表し、Transformer アーキテクチャを提案しました。この論文が AI 分野を根本的に変えるとは、誰も思いませんでした。

今日の GPT、Claude、Gemini、Llama……ほぼすべての主流大規模言語モデルは、本質的に Transformer の変種です。

Transformer を理解すれば、現代の LLM の90%を理解したことになります。

この記事では、Transformer の各コンポーネントを深く掘り下げます：自己注意、マルチヘッド・アテンション、位置エンコーディング、フィードフォワードネットワーク、レイヤー正規化……「何か」だけでなく、より重要な「なぜ」を説明します。

これは最も技術的に深いモジュールのひとつです。コードでコア計算をデモし、公式を理解するだけでなく、自分で実装できるようにします。

Transformer 前史：RNN の限界

Transformer が登場する前、系列タスク（翻訳やテキスト生成など）は主に RNN（リカレントニューラルネットワーク）とその変種である LSTM、GRU が使われていました。

RNN の仕組み

RNN の核心的な考え方は「逐次処理」です。入力系列は単語ごとにネットワークに入力され、各ステップの出力にはそれ以前のすべての単語の情報が含まれます。

RNN は一見合理的に見えますが、致命的な問題が3つあります：

問題1：勾配消失、長距離依存の記憶が難しい

RNN は「チェーン型」の構造で、各ステップの勾配は最初のステップまで逆伝播する必要があります。何度も掛け合わせるうちに、勾配は指数関数的に減衰し、ほぼ0になります。

例えば、「私は2010年にパリに行きました、……、それは私が一番好きな都市です」という文では、「都市」は「パリ」を指す必要がありますが、間に多くの単語があるため、RNN はこのような長距離依存を学習するのが難しいのです。

LSTM と GRU はこの問題を緩和しましたが、根本的には解決できませんでした。

問題2：並列計算ができず、学習が遅い

RNN は t-1 ステップ目の計算が終わるまで、t ステップ目を計算できません。つまり：

• 100個の GPU があっても、単語を一つずつしか計算できません。
• 系列が長いほど、学習時間も長くなります。
• 超大規模なデータに拡張するのは困難です。

問題3：前の方の情報が「上書き」されやすい

RNN の隠れ状態は一歩ずつ更新され、後ろの情報が前の情報をどんどん上書きしていきます。文頭の重要な情報は、最後にはほぼ「薄まって」しまいます。

Transformer の登場により、これら3つの問題は一気に解決されました。

自己注意機構（Self-Attention）

自己注意機構は Transformer の中核です。その考え方はとてもシンプルです：各単語は文中のすべての単語と「交流」し、自分にとって誰が重要かを確認し、その重要度に応じて重み付き和を取ります。

まず全体のアーキテクチャ図を見てみましょう：

Q、K、V の直感的な理解

自己注意機構では、各単語を3つのベクトルで表します：

• Q（Query、クエリ）――「私は誰を探しているのか？」――この単語が注目したい相手
• K（Key、キー）――「私は誰か？」――この単語の身元識別子
• V（Value、バリュー）――「私は何を持っているか？」――この単語の実際の内容

計算プロセスは次のとおりです：

1. 各単語は Q を使ってすべての単語の K と「マッチング」し、アテンションスコアを取得します。
2. Softmax でスコアを正規化し、合計が1になるようにします。
3. 正規化されたスコアを使って、すべての単語の V を重み付きで合計します。

図を見るとより明確です：

アテンションスコアの計算式

完全な公式は以下のとおりです：

Attention(Q, K, V) = softmax( Q·Kᵀ / √dₖ ) · V

純粋な Python で一歩ずつ実装してみましょう：

このコードを実行すると、完全な計算プロセス（Q/K/V生成、アテンションスコア計算、スケーリング、Softmax、最後の重み付き出力）がわかります。

なぜ √dₖ で割るのか？

これは重要な詳細です。Q と K の各要素が平均0、分散1の確率変数であるとすると、それらのドット積の分散は dₖ になります。

dₖ が大きい場合（例: 512）、ドット積の値が大きくなり、Softmax が「飽和領域」に入ります——勾配がほぼ0になり、学習が進みません。

√dₖ で割ると、分散が1に戻り、Softmax の勾配が健全になります。

スケールド・ドット積は Transformer の学習を安定させる重要なテクニックの1つです。

マルチヘッド・アテンション（Multi-Head Attention）

シングルヘッドの自己注意は強力ですが、問題があります: 各単語は一度しか「注目」できません。単語が同時に複数の異なる側面に注目できるようにするにはどうすればよいでしょうか？

例えば「動物園で、虎がウサギを追いかけている」という文では:

• 「虎」は「動物園」（場所）に注目するヘッドが必要かもしれません
• 別のヘッドは「ウサギ」（動作の対象）に注目
• 3つ目のヘッドは「追いかける」（動作）に注目

マルチヘッド・アテンションは Q/K/V を複数の「ヘッド」に分割し、各ヘッドが異なるアテンションパターンを学習し、最後に連結します。

マルチヘッド・アテンションの計算手順

1. Q/K/V を最後の次元に沿って h 個に分割する（h はヘッド数）
2. 各ヘッドが独立して自己注意を実行
3. すべてのヘッドの出力を連結する
4. 線形射影層を通して最終出力を得る

式は次のとおりです:

MultiHead(Q, K, V) = Concat(head₁, head₂, ..., headₕ) · Wₒ
  其中 headᵢ = Attention(Q·Wqᵢ, K·Wkᵢ, V·Wvᵢ)

マルチヘッド・アテンションの強力さは次の点にあります:異なるヘッドが自動的に異なるタイプのアテンションパターンを学習します。

例えば翻訳タスクでは:

• あるヘッドは文法関係（主語・述語・目的語）に注目
• あるヘッドは照応関係（代名詞が誰を指すか）に注目
• あるヘッドは局所的な隣接語に注目

これらのパターンは人為的に設計されたものではなく、モデルが学習中に自動的に獲得するものです。

位置エンコーディング（Positional Encoding）

自己注意には問題があります: これは「bag of words」モデルであり、単語の順序を考慮しません。「私はあなたを愛している」と「あなたは私を愛している」は自己注意では同じに見える可能性があります。

しかし順序は言語にとって極めて重要です。モデルに位置情報を「注入」する必要があります。

正弦位置エンコーディング

元の Transformer は正弦位置エンコーディングを使用しています:

PE(pos, 2i) = sin(pos / 10000^(2i/d_model))
PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

ここで:

• pos は位置（0, 1, 2, ...）
• i は次元インデックス
• d_model はモデル次元

この設計は非常に巧妙です:

• 各位置に一意のエンコーディングがある
• 相対位置は線形結合で表現できる（sin(a+b) = sin a cos b + cos a sin b）
• 学習時よりも長いシーケンスに外挿できる

RoPE：回転位置エンコーディング

正弦位置エンコーディングは古典的だが、その後より良い方法が登場した。現在の主流の大規模モデル（例えばLLaMA）が使っているのはRoPE（Rotary Positional Embedding）。

RoPEの考え方は：位置情報をQueryとKeyに「回転」させる。

具体的な方法としては、Q と K の各次元のペアに対して回転を行います。

[ q₁, q₂, q₃, q₄, ... ]
  ↓ 旋转
[ q₁·cos mθ - q₂·sin mθ,
  q₁·sin mθ + q₂·cos mθ,
  q₃·cos mθ' - q₄·sin mθ',
  q₃·sin mθ' + q₄·cos mθ',
  ... ]

RoPEの利点：

• 自然に相対位置情報を含んでいる
• 外挿性が良い（長さが訓練時を超えても使える）
• 効果は通常、正弦波位置エンコーディングよりも良い。

ALiBi：距離に応じて減衰するアテンション

もう一つの簡単で効果的な方法は。ALiBi（Attention with Linear Biases）。

それは位置エンコーディングを加えず、代わりに注意スコアに直接バイアスを加える：距離が離れるほど、スコアは低くなる。

ALiBiの強みはシンプルさにあり、長さの外挿に特に適しています。

フィードフォワードネットワーク（FFN）層

各Transformer層では、アテンションの後にフィードフォワードネットワーク（Feed-Forward Network）もあります。

FFN の構造

元のTransformerのFFNは：

FFN(x) = max(0, x·W₁ + b₁) · W₂ + b₂

つまり：線形層 → ReLU活性化 → 線形層。

通常、中間次元は入力次元よりも大きい（例えば d_model=512、中間次元=2048）。

ReLU vs SwiGLU

元々はReLUが使われていましたが、現在の主流は...SwiGLU：

SwiGLU(x) = (x·W₁ ⊗ sigmoid(x·V₁)) · W₂

ここで、⊗ は要素ごとの乗算です。

SwiGLUは多くのタスクでReLUよりも良い性能を示し、LLaMA、PaLMなどがそれを採用している。

なぜFFNが重要なのか？

• 注意力は「情報を集約する」ことであり、FFNは「情報を加工する」ことである。
• FFNは大量のパラメータを持ち、モデルが知識を「記憶」する主要な場所である。
• FFNがないと、Transformerの表現能力は大幅に低下する。

レイヤー正規化（Layer Norm）

Transformerにはもう一つ重要な構成要素があります：層正規化（Layer Normalization）。

レイヤー正規化の役割

層正規化は、各サンプルの特徴を平均0、分散1に正規化する：

LN(x) = γ ⊗ ((x - μ) / √σ²) + β

このうち：

• μ は x の平均値、σ² は x の分散です。
• γ（スケール）とβ（シフト）は学習可能なパラメータです。
• ⊗ は要素ごとの乗算です。

Pre-Norm vs Post-Norm

層正規化には2つの置き方がある：

• Post-Normサブレイヤー → 残差 → 正規化（元のTransformer）
• Pre-Norm：正規化 → サブレイヤー → 残差（現在主流）

Pre-Norm トレーニングはより安定しており、現在の大規模モデルはほぼすべてがそれを使用しています。

RMS Norm

RMS Norm層正規化の簡略版で、二乗平均平方根のみを計算し、平均を引きません：

RMS(x) = sqrt(mean(x²))
RMSNorm(x) = γ ⊗ (x / RMS(x))

RMS Normは計算がより速く、効果はほぼ同じで、LLaMAなどのモデルが使用しています。

Encoder-Decoder vs Decoder-Only のアーキテクチャ

元のTransformerはEncoder-Decoderアーキテクチャですが、現在の大規模言語モデルのほとんどはDecoder-Onlyです。

Encoder-Decoder：翻訳などのタスクに使用

エンコーダー・デコーダーアーキテクチャ：

• エンコーダー：入力系列（例：原言語の文）を読み込み、文脈表現を生成する。
• デコーダー：エンコーダーの出力に基づいてターゲットシーケンス（翻訳結果など）を生成する。

デコーダーには2種類のアテンションがあります：

1. マスク付き自己注意：前の単語だけを見ることができる（未来を見ることはできない）
2. 交差注意：エンコーダーの出力に注目する

適したタスク：機械翻訳、音声認識、要約生成（入力を出力に「書き換える」必要がある）。

Decoder-Only：GPT シリーズ、生成に使用

Decoder-Only アーキテクチャは Decoder のみで、Encoder がありません。その特徴：

• マスク付き自己注意（因果注意）のみ
• 自己回帰生成：一語ずつ出力する
• 事前学習＋ファインチューニングに適したパラダイム

現在のGPT、LLaMA、Claude、Gemini……は、ほとんどがDecoder-Onlyです。

Encoder-Only：BERT シリーズ、理解に使用

Encoder-Only アーキテクチャは Encoder のみを備えている。その特徴は：

• 双方向アテンション：各単語はすべての単語を見ることができる
• 理解タスク向け：分類、固有表現認識、抽出型質問応答
• マスク言語モデル（MLM）を用いた事前学習

なぜ Decoder-Only が主流になったのか？それは単純で、大規模な事前学習において生成能力が極めて強いからだ。「一括り」のほうが「専用設計」よりもむしろ効果が高い。

Flash Attention：アテンション計算を高速かつ省メモリにする

標準セルフアテンションの時間とメモリの複雑度はどちらもO(n²)であり、シーケンスが長くなると（例えばn=8192）、遅い上にGPUメモリも足りなくなる。

Flash Attentionこれは重要な最適化であり、2022年に登場したことで、長いシーケンスのトレーニングが実現可能になりました。

標準アテンションのメモリボトルネック

標準自己アテンションは、逆伝播のために中間結果（アテンション重み行列）を保存する必要があります。n=8192 の場合、これは 8192×8192 ≈ 6700 万要素となり、これだけで数十 GB の GPUメモリを占有します。

Flash Attention の最適化原理

Flash Attention の核心的な考え方：

1. ブロック計算：Q/K/V を小さなブロックに分けて、一つずつ計算する
2. オンライン Softmax：完全なアテンション行列を保存せず、数学的なテクニックを使って逆伝播時に再計算する
3. SRAM の活用：ブロックを GPU の高速キャッシュ（SRAM）に入れ、HBM へのアクセスを減らす

結果は：

• メモリ複雑度が O(n²) から O(n) に下がる
• 速度は 2〜4 倍速くなる
• 精度は完全に同じ（数学的に等価）

現在の大規模モデルのトレーニングは、ほぼすべて Flash Attention またはその変種（Flash Attention v2、Memory-Efficient Attention など）を使用しています。

KV Cache：推論高速化の原理

トレーニングの最適化が終わったら、推論（生成）も最適化が必要です。KV Cacheこれは推論高速化の鍵です。

問題：自己回帰生成における重複計算

自己回帰生成では、新しい単語を生成するたびに、以前のすべての単語の K と V を再計算する必要があります——これは非常に無駄です。

例えば 100 番目の単語を生成するとき、前の 99 個の単語の K/V はすでに計算済みなので、再計算する必要はありません。

KV Cache はどうやるのか

KV Cache の考え方はとてもシンプルです：

• 以前のすべての位置の K と V をキャッシュする
• 新しい単語を生成するときは、新しい単語の K/V だけを計算してキャッシュに追加する
• 完全な K/V を使ってアテンションを行う

これにより、各ステップの計算量が O(n²) から O(n) に減り、生成速度が大幅に向上します。

KV Cache には小さなコストがあります：K と V を保存するための追加の GPU メモリが必要です。7B モデル、4k コンテキストの場合、KV Cache は約 1〜2GB の GPU メモリを占有します——これは価値があります。

さらに高度な最適化もあります：

• Multi-Query Attention複数のヘッドで K/V を共有する
• Grouped Query Attentionグループ単位で K/V を共有する

これらは GPU メモリ使用量をさらに減らし、推論速度を向上させることができます。

まとめ：Transformer の全体フロー

すべてのコンポーネントを繋げて、Transformer の完全なフローをまとめましょう。

1つの Decoder-Only Transformer 層

x → LayerNorm → Masked Multi-Head Attention → 残差连接 →
    → LayerNorm → FFN → 残差连接 → 输出

完全な Decoder-Only モデル

1. 入力 token IDs → 単語埋め込み
2. 位置エンコーディングを加える
3. N 個の Transformer 層を通過
4. 最終 LayerNorm
5. 線形層で vocab サイズにマッピング
6. Softmax で次の単語の確率を得る

重要なハイパーパラメータ

コード実装ガイド

ゼロから簡略化した Transformer を実装したい場合、手順は次のとおりです：

1. 層正規化を実装
2. 自己アテンション（マスク付き）を実装
3. マルチヘッドアテンションを実装
4. FFN を実装
5. Transformer 層を実装
6. 位置エンコーディングを実装
7. 完全なモデルを組み立てる
8. トレーニングループを実装

実際には、純粋な Python ではなく PyTorch などのフレームワークを使用します。ここでの純粋な Python 実装は原理を説明するためのもので、各ステップで何をしているのかを理解してもらうためです。

Transformer を理解する最良の方法は、実際に一度実装してみることです。たとえ簡略版でも、多くの詳細について新たな認識が得られます。