ディープラーニング基礎

ディープラーニングは神秘的なブラックテクノロジーではありません。本質的には数学的な関数フィッティング器です。大量の入出力データを与えると、それらの間の複雑な関係を自動的に見つけ出します。

例を挙げると、100万枚の猫の画像を与え、各画像に「猫」というラベルを対応させます。ディープラーニングはどのようなピクセルの組み合わせが猫のように見えるかを自動的に見つけ出します。

もう一つの例：10億文の人間の言語を与え、各文の次の単語をターゲットにします。ディープラーニングは、与えられた文脈に対して次の単語が最も可能性が高いものを自動的に学習します。

ディープラーニングの核となる利点は、データ量が増えるにつれて性能が向上し続けることです。これは従来の機械学習にはできないことです。

この章では、ゼロからディープラーニングの各構成要素を一つずつ分解していきます：

• ニューラルネットワークの数学基礎
• 順伝播の計算プロセス
• 活性化関数の役割
• 損失関数の設計
• 逆伝播の原理
• オプティマイザの選択
• 正則化技術
• 正規化手法
• 学習率スケジューリング

最後に、PyTorchを使って完全な多層パーセプトロン（MLP）を実装し、すべての知識ポイントを結び付けます。

この章ではいくつかの数学が出てきますが、心配はいりません。すべての公式を直感的に説明するので、暗記する必要はありません。重要なのは「なぜこのように設計するのか」を理解することで、「どう計算するか」ではありません。

ニューラルネットワークの数学基礎

ディープラーニングは3つの数学分野の上に成り立っています：線形代数、微積分、確率論です。

数学の専門家になる必要はありませんが、いくつかの核となる概念を理解する必要があります。

線形代数：行列乗算

ニューラルネットワークの最も基本的な演算は行列乗算です。

なぜ行列を使うのでしょうか？それは「複数の入力が複数のニューロンによる変換を経る」というプロセスを簡潔に表現できるからです。

まず直感的な例を見てみましょう：

行列乗算の幾何学的な意味は「線形変換」です。ベクトル空間を回転・拡大縮小・伸縮できます。

しかし、線形変換だけでは不十分です。

すべての層が単なる行列乗算であれば、ネットワークがどれだけ深くても、全体は単一層のネットワークと等価です。複数の線形変換の合成は依然として線形変換だからです。

これが活性化関数が必要な理由です——非線形性を導入するためです。

微積分：導関数と連鎖律

ニューラルネットワークのトレーニングの核心は「勾配降下法」です。損失を最小にするパラメータの方向を見つけます。

勾配とは「多変数関数の導関数」です。各パラメータが少し変化したときに、損失がどれだけ変化するかを教えてくれます。

まず簡単な例を見てみましょう：

多変数関数の場合、各変数について偏導関数を計算し、それらを1つのベクトルにまとめます。これが勾配です。

連鎖律は逆伝播の数学的基礎です。合成関数の導関数を「層ごとに分解」することを可能にします。

連鎖律の核心的な考え方は：複雑な関数を単純な関数に分解し、それぞれ微分してから掛け合わせる。

逆伝播は、ニューラルネットワークにおける連鎖律の応用です。出力から始めて、層ごとに勾配を逆向きに伝播させます。

確率論：条件付き確率

分類問題では、ニューラルネットワークの出力はしばしば「確率分布」です。入力が与えられたとき、各カテゴリの確率がどれだけかを表します。

条件付き確率 P(Y|X) は「X が起こったと分かっている場合に、Y が起こる確率」を表します。

:.2%}"

:.2%}"

3つの数学的基礎の核心ポイント：

順伝播（フォワードプロパゲーション）

順伝播とは、入力データがニューラルネットワークを「流れ」、入力層から隠れ層、出力層へと進む計算プロセスです。

計算グラフ

ニューラルネットワークを計算グラフとして表現すると、順伝播と逆伝播のロジックがより明確になります。

計算グラフはノード（演算）とエッジ（データの流れ）で構成されます。

単純な2層ニューラルネットワークの計算グラフ：

計算グラフの利点は、各ステップが明確で、逆伝播の際は逆順に勾配を計算するだけでよいことです。

行列乗算から見たニューラルネットワーク

行列積の観点から見ると、ニューラルネットワークは「線形変換 + 非線形活性化」の連続です。

各層は次のように抽象化できます：

aᵢ = activation(Wᵢ · aᵢ₋₁ + bᵢ)

ここで a₀ は入力 x そのものです。

この式は簡潔ですが強力で、単純なロジスティック回帰から複雑な Transformer まで、ほぼすべてのニューラルネットワーク構造を表現できます。

行列積の次元の一致に注意してください。入力ベクトルが n 次元で、次の層に m 個のニューロンがある場合、重み行列 W の形状は必ず m×n になります。これにより W·x の結果は m 次元ベクトルになります。

活性化関数の役割

前に述べたように、活性化関数がないと、深層ネットワークは単層ネットワークと同等です。

簡単な例でこれを証明します：

活性化関数こそが、深層ネットワークに意味をもたらす重要な構成要素です。非線形性を導入することで、ネットワークが複雑なパターンを学習できるようにします。

活性化関数の詳細

活性化関数は、ニューロンの出力が入力にどのように反応するかを決定します。

優れた活性化関数はいくつかの条件を満たす必要があります：

• 非線形性：必須
• 微分可能：勾配を計算できるようにするため
• 計算が簡単：順伝播と逆伝播の両方が高速
• 飽和しない：勾配が消失したり爆発したりしない

最もよく使われるいくつかの活性化関数を見てみましょう。

Sigmoid：飽和と勾配消失

Sigmoid は最も初期に使われた活性化関数の1つです。任意の実数を (0, 1) の範囲に圧縮します。

公式：σ(x) = 1 / (1 + e⁻ˣ)

Sigmoid の問題は明らかです：

• |x| > 6 のとき、勾配はほぼ 0 になり、勾配消失が起こります
• 出力が 0 を中心としていないため、最適化に影響します
• 指数計算は比較的遅い

これらの問題があるため、Sigmoid は現代の深層学習では隠れ層であまり使われなくなりました。

ReLU とその変種

ReLU（Rectified Linear Unit）は、現在最もよく使われている活性化関数です。

公式：ReLU(x) = max(0, x)

単純ですが非常に効果的です。

いくつかの一般的な活性化関数の比較：

選択の原則

活性化関数の選択に関するアドバイス：

• 隠れ層：優先的にReLUを使用。シンプルで効果的
• 死亡ReLUに遭遇した場合：Leaky ReLUまたはGELUを試す
• Transformer：GELUまたはSwiGLUが標準的な選択
• 二分類の出力層：Sigmoid（出力確率）
• 多分類の出力層：Softmax（出力確率分布）
• 回帰の出力層：活性化関数を追加しない（任意の実数を出力）

活性化関数の選択にあまりこだわりすぎないこと。通常はReLUで十分です。ReLUがボトルネックだと確認できたときに、他のものに変えても遅くはありません。

損失関数

損失関数は「モデルの予測」と「正解」の間のギャップを測定します。

トレーニングの目標は、このギャップをできるだけ小さくすることです。

クロスエントロピー損失（分類）

分類問題で最もよく使われる損失関数は交差エントロピー損失（Cross-Entropy Loss）です。

その直感的な意味は、「モデルが予測する確率分布と真の分布の間にどれだけの差があるか」です。

交差エントロピー損失の簡略版：ラベルがone-hotエンコーディングではなくカテゴリインデックスの場合、より効率的な計算方法を使えます：

loss = -log(probs[target_class])

これが、PyTorch で CrossEntropyLoss がカテゴリインデックスをラベルとして直接受け付ける理由です。

MSE損失（回帰）

回帰問題（連続値を予測）で最もよく使われる損失は平均二乗誤差（Mean Squared Error，MSE）です。

公式：MSE = mean((pred - target)²)

言語モデルの次語予測損失

大規模言語モデル（GPTなど）のトレーニング目標はシンプル：与えられた文脈から次の単語を予測する。

これは本質的に多分類問題です——語彙内の各単語が1つのカテゴリです。

一般的な損失関数のまとめ：

逆伝播（バックプロパゲーション）

バックプロパゲーション（Backpropagation）はニューラルネットワークを訓練するための中核アルゴリズムです。

その目標は：損失関数の各パラメータに対する勾配を計算し、勾配降下法でパラメータを更新することです。

連鎖律による導出

簡単な例を使って、バックプロパゲーションを段階的に導出します。

この例は単純ですが、逆伝播のすべての核心的な考え方が含まれています：

1. 順伝播：すべての中間変数を計算する
2. 逆伝播：出力から始めて、連鎖律を使って層ごとに勾配を計算する
3. パラメータ更新：勾配降下法を使ってパラメータを更新する

計算グラフにおける勾配の流れ

多層ニューラルネットワークでは、勾配は計算グラフ内を逆方向に流れます。

各層の勾配は、後方の層から伝わってきた勾配に依存します。

この例は逆伝播の完全な流れを示しています。

核心となる規則は次のとおりです：

• 線形層 y = Wx + b の場合：dL/dW = (dL/dy)·xᵀ、dL/db = dL/dy
• 活性化関数 y = f(z) の場合：dL/dz = dL/dy ⊙ f'(z)（⊙ は要素ごとの乗算）
• 勾配は後ろから前へ伝播し、各層は連鎖律を使って勾配を「蓄積」します

良い知らせは、現代の深層学習フレームワーク（PyTorch、TensorFlow など）が自動的に逆伝播を計算してくれることです。順伝播を定義するだけで、フレームワークが自動微分（autograd）を使ってすべての勾配計算を行います。

勾配降下オプティマイザ

勾配を計算したら、オプティマイザを使ってパラメータを更新する必要があります。

最も単純なオプティマイザは確率的勾配降下法（SGD）ですが、他にも多くの高度なオプティマイザがあります。

SGD：確率的勾配降下法

公式：θ = θ - η·∇L(θ)

ここで η は学習率です。

SGD は単純ですが欠点があります：

• すべてのパラメータに同じ学習率を使用する
• 収束が遅い可能性がある
• 局所最適解や鞍点に陥りやすい
• ノイズに敏感

Momentum：モメンタムによる加速

Momentum は「速度」の概念を導入します——勾配更新に慣性を持たせます。

公式：

v = β·v + (1-β)·∇L(θ)
θ = θ - η·v

β は通常 0.9 に設定します。

Adam：適応的学習率

Adam（Adaptive Moment Estimation）は、現在最もよく使われているオプティマイザの1つです。

Momentum（1次モーメント）と RMSProp（2次モーメント）の考え方を組み合わせ、各パラメータに適応的な学習率を維持します。

公式：

m = β₁·m + (1-β₁)·∇L(θ)
v = β₂·v + (1-β₂)·(∇L(θ))²
m̂ = m / (1-β₁ᵗ)
v̂ = v / (1-β₂ᵗ)
θ = θ - η·m̂ / (√v̂ + ε)

ハイパーパラメータのデフォルト値：β₁=0.9、β₂=0.999、ε=1e-8、η=1e-3。

AdamW：重み減衰の修正

AdamW は Adam の改良版です——重み減衰（Weight Decay）を勾配から分離します。

これは正則化に役立ちます。

オプティマイザの比較：

オプティマイザの選択に関するアドバイス：まず Adam を試し、学習率を 1e-3 に設定します（3e-4 の方がより安全な選択です）。効果が満足できない場合は、ハイパーパラメータを調整するか、他のオプティマイザに切り替えてみてください。

正則化技術

正則化の目的は過学習を防ぐことです——未見のデータでもモデルが良好に機能するようにします。

L1/L2 正則化

L1 正則化と L2 正則化は、最も基本的な正則化手法です。

それらは損失関数にパラメータに対するペナルティを追加します：

L_total = L + λ·L_reg

L1 正則化（Lasso）：L_reg = |w|

L2 正則化（Ridge）：L_reg = w²

Dropout

Dropout は単純だが効果のな正規化技術です：トレーニング時にニューロンの一部をランダムに「オフ」にします。

これによりモデルはよりロバストな特徴を学習せざるを得なくなります——特定のニューロンに依存できなくなるからです。

データ拡張

データ拡張は最も効果的な正則化手法の1つです——既存のデータを変換して、より多くの訓練サンプルを作り出します。

画像の場合、よく使われるデータ拡張には、反転、回転、スケーリング、クロップ、色のジッターなどがあります。

テキストの場合、よく使われるデータ拡張には、同義語置換、ランダム挿入、ランダム削除、バック翻訳などがあります。

正則化手法のまとめ：

バッチ正規化 vs レイヤー正規化

正規化手法は訓練を加速し、最適化をより安定させられます。

内部共変量シフト

深いネットワークを訓練するとき、各層の入力分布は前の層のパラメータの変化に応じて変化します。これが「内部共変量シフト」（Internal Covariate Shift）です。

これにより、各層が新しい分布に絶えず適応する必要があるため、訓練が遅くなります。

正規化手法の目標は、各層の入力分布を安定に保つことです。

バッチ正規化（Batch Normalization）

バッチ正規化（BatchNorm）は batch 次元で正規化を行います。

式：

μ = 1/N · sum(xᵢ)
σ² = 1/N · sum((xᵢ - μ)²)
x̂ᵢ = (xᵢ - μ) / √(σ² + ε)
yᵢ = γ·x̂ᵢ + β

ここで γ と β は学習可能なパラメータです。

バッチ正規化の利点：

• 訓練を加速
• より大きな学習率を許容
• 初期化への敏感さを軽減
• わずかな正則化効果がある

バッチ正規化の欠点：

• batch サイズに依存する——batch が小さすぎると効果が良くない
• 訓練時とテスト時で動作が異なる
• 系列モデル（RNN、Transformer など）には不向き

レイヤー正規化（Layer Normalization）

レイヤー正規化（LayerNorm）は batch 次元ではなく特徴量次元で正規化を行います。

これにより batch サイズに依存せず、系列モデルに非常に適しています。

2つの正規化手法の比較：

Transformer や大規模言語モデルにとって、LayerNorm は標準的な選択です。各位置で独立に統計量を計算し、batch サイズに依存せず、running 統計量を維持する必要もありません。

学習率スケジューリング

学習率は最も重要なハイパーパラメータの1つです——大きすぎると収束せず、小さすぎると収束が遅すぎます。

学習率スケジューリング（Learning Rate Scheduling）とは、訓練中に学習率を動的に調整することです。

ウォームアップ（Warmup）

訓練初期は、まず小さな学習率で「ウォームアップ」してモデルを安定させ、その後目標の学習率まで引き上げます。

これは Transformer にとって特に重要です。

コサインアニーリング

コサインアニーリング（Cosine Annealing）は、学習率をコサイン関数の形に沿って徐々に低下させます。

学習率がトレーニングに与える影響

学習率の影響：

• 大きすぎる：訓練が不安定で、発散する可能性がある
• 小さすぎる：収束が遅く、局所最適に留まる可能性がある
• 適切：速く安定して収束する

よく使われる戦略は「学習率レンジテスト」（Learning Rate Finder）です。最初に小さい学習率から大きい学習率に向かって数ステップ訓練し、どの学習率で損失が最も速く下がるかを確認します。

学習率スケジューリング手法のまとめ：

実践：PyTorchでMLPをゼロから実装する

ここまで学んだすべての知識を統合し、PyTorch で完全な多層パーセプトロン（MLP）を実装し、単純な分類タスクで訓練します。

この例には、ディープラーニングトレーニングのすべての標準コンポーネントが含まれています：

• データ処理：Dataset、DataLoader
• モデル定義：MLP（LayerNorm と Dropout 付き）
• 損失関数：CrossEntropyLoss
• オプティマイザ：AdamW
• 学習率スケジューリング：Warmup + Cosine
• トレーニングループ：トレーニング段階 + 検証段階
• モデルの保存と推論

このプロセスは、より複雑なタスクやモデルに直接拡張できます。