教師なし学習 - 次元削減

想像してみてください。あなたは写真家で、数百万枚の高解像度写真を含むライブラリを整理しているとします。各写真は数百万のピクセル（特徴量）で構成されています。海辺の夕日の写真をすばやく見つけたい場合、各写真のすべてのピクセルを直接比較することはほぼ不可能です。データ量が大きすぎて、あまりにも「太っている」からです。

機械学習では、同様の困難に直面することがよくあります。データセットには何百、何千もの特徴量（次元）があります。これにより、計算速度が極端に遅くなるだけでなく（次元の呪い）、多くの特徴量が冗長または無関係であるために、データ内の真のパターンを見つける妨げになることもあります。

次元削減（Dimensionality Reduction）は、教師なし学習における中核技術の一つであり、データのフィットネストレーナーのように、高次元データを低次元空間にダイエットさせながら、可能な限り重要な情報を保持してくれます。今日は、次元削減についてわかりやすく学んでいきましょう。

次元削減の基本概念

次元削減とは？

簡単に言うと、次元削減とは、データセットの特徴量の数を減らすプロセスです。それは何らかの数学的変換によって、元の高次元空間内のデータ点を、新しくより低い次元の空間にマッピングします。

なぜ次元削減が必要なのか？

次元削減は単にデータを捨てるのではなく、その核心的な価値は次のとおりです：

1. 可視化：人間が直感的に理解できるのは最大でも三次元空間までです。2Dや3Dに次元削減することで、高次元データを描画し、その構造、グループ分け、異常点を直感的に観察できます。
2. 効率の向上：データの次元が少ないほど、ストレージ容量が小さく、トレーニング速度が速く、計算コストが低くなります。
3. ノイズと冗長性の除去：多くのアルゴリズム（特にKNNのような距離計算系アルゴリズム）は、高次元空間では無関係または重複した特徴によって性能が低下します。次元削減はデータの本質を抽出できます。
4. 次元の呪いの緩和：高次元空間ではデータが極めて疎になり、多くの機械学習モデルが有効なパターンを見つけにくくなります。

核心的な考え方：情報の保持

次元削減の重要な課題は次のとおりです：次元を減らしながら、元のデータ内の価値ある情報（分散、データ構造など）を最大限に保持するにはどうすればよいか？異なる次元削減アルゴリズムには、それぞれ異なる答えがあります。

主流の次元削減アルゴリズム詳解

次元削減アルゴリズムは主に2つのカテゴリに分けられます：線形次元削減と非線形次元削減。

線形次元削減：主成分分析

主成分分析（PCA）は、最も古典的で最も一般的に使われる線形次元削減法です。その目標は、データに対して新しい座標軸（「主成分」と呼ばれる）のセットを見つけ、データがこれらの新しい軸上で投影されたときの分散が最大になるようにすることです。

PCAの動作原理（4つのステップ）：

1. 中心化：各特徴量からその平均値を引き、データ分布の中心を座標原点に移動させます。
2. 共分散行列の計算：この行列は、データの各特徴量間の相関を記述します。
3. 固有値分解：共分散行列の固有値と固有ベクトルを計算します。固有ベクトルは新しい座標軸（主成分）の方向を示し、固有値はその方向におけるデータの分散の大きさを表します。固有値が大きいほど、その方向に含まれる情報が多くなります。
4. 主成分の選択：固有値を大きい順に並べ、上位k個の最大固有値に対応する固有ベクトルを選択し、射影行列を構成します。
5. データ変換：元のデータにこの射影行列を掛けると、次元削減されたk次元の新しいデータが得られます。

コード解説：

• PCA(n_components=2)：モデルを初期化し、n_componentsパラメータは保持する主成分の数（つまり次元削減後の次元）を指定します。
• fit_transform(X)：これは組み合わせメソッドであり、最初にデータの平均と主成分方向を計算し（fit）、その後すぐにデータを新しい空間に変換します（transform）。
• explained_variance_ratio_：これはPCAの非常に重要な属性であり、各新特徴量（主成分）が元のデータのどれだけの分散（情報量）を保持しているかを示します。これにより、主成分をいくつ選択するのが適切かを判断できます。

PCAの長所と短所

• 長所：計算効率が高く、原理が明確で、線形相関を効果的に除去できます。
• 短所：これは線形手法であり、データの主成分が線形であることを前提としています。「スイスロール」のような非線形多様体データに対しては、PCAは効果が良くありません。

非線形次元削減：t-SNE

データが複雑な非線形構造を持つ場合、非線形次元削減法が必要になります。t-分布確率的近傍埋め込み（t-SNE）は、現在最も人気のある可視化指向の非線形次元削減アルゴリズムです。

t-SNEの核心的な考え方

t-SNEはデータの局所構造の保持に焦点を当てています。高次元空間で「類似している」（距離が近い）点は低次元のマッピングでも「類似」し、高次元で「類似していない」点は低次元では遠ざかるように試みます。

コード解読：

• perplexityパラメータ：各点に対して何個の近傍を考慮するかと理解できる。値が小さいと局所構造により注目し、値が大きいと大域構造により注目する。これはt-SNEで最も重要な調整パラメータである。
• random_state：結果の再現性を確保する。t-SNEの最適化プロセスはランダムだからである。
• 可視化結果から明確にわかるように、PCAはスイスロールを「押しつぶして」しまい、非線形の巻き構造を失っている。一方t-SNEは2次元平面上でこの巻きをより良く展開し、データの局所的な隣接関係を保持している。

t-SNEの長所と短所

長所：複雑な非線形データの可視化に非常に優れ、クラスタ構造を明確に示すことができる。

短所：

1. 計算速度が遅い、大規模データセットには不向きである。
2. 結果にはランダム性があり、実行ごとに結果が少し異なる場合がある。
3. ハイパーパラメータに敏感，perplexity調整が必要である。
4. 主に可視化（2D/3D）に使用される（2D/3D）に使用され、次元削減後の特徴量は通常、その後の機械学習タスクには使用されない。低次元空間での距離の意味が変わってしまうためである。

次元削減方法と主要パラメータの選び方

アルゴリズム選択フローチャート

主要パラメータガイド

PCA: n_components

• 整数（例：2）に設定でき、具体的な次元数を指定できる。
• 設定できるのは、0 < n < 1の小数（例：0.95）で、累積分散寄与率がそのしきい値に達するために必要な最小の主成分数を表す。

t-SNE: perplexity

• 典型的な値は5から50の間である。
• 小規模データセット（<100サンプル）の場合は、より小さい値を推奨する。
• 最適な値は通常、データ内の各点の「近傍」数に近い。可視化効果を実験で確認しながら選択する必要がある。

実践演習とまとめ

実践演習：MNIST手書き数字データセットに次元削減を適用する

演習の目標：異なる数字（0-9）が2次元平面上で明確なクラスタを形成しているかを観察する。以下のperplexityパラメータ（例：10や50に変更）を修正して、可視化結果がどう変わるか確認する。

まとめと核心ポイント

次元削減の本質：情報の圧縮と抽出であり、単にデータを捨てることではない。目標は、より少ない次元でできるだけ多くの元の情報を表現することである。。

PCA（線形の王者）：分散の最大化を通じてデータの最も主要な線形方向を見つける。効率ので安定しており、前処理や線形相関の除去に適している。

t-SNE（可視化の利器）：データ点間の局所的類似性を保つことで非線形構造を明らかにする。効果は驚くべきものだが、計算が遅く、結果がランダムであり、主に探索的データ分析に使用される。

ワークフロー：

• 目標を明確にする：可視化のためか、それとも下流モデルにより精錬された特徴量を入力するためか？
• データ探索：まず一部のデータを可視化し、その線形性/非線形性について初期の感触を得る。
• 手法の実験：目標とデータ構造に基づいてアルゴリズムを選択し、主要パラメータを調整する。
• 結果の評価：可視化、情報保持率、または下流タスクの性能を通じて次元削減の効果を評価する。

次元削減は、高次元データのブラックボックスを開くための重要な鍵である。

PCA と t-SNE を習得すれば、複雑なデータに直面したときに、全体構造を俯瞰できるだけでなく、その後の機械学習モデルのために精選された特徴量を準備でき、データ分析の効率と深さを大幅に向上させることができる。