Vektorräume und Basen -- Die Welt durch ein anderes Koordinatensystem sehen
Derselbe Ort hat unterschiedliche Längen-/Breitengradwerte im GPS-Koordinatensystem und im BeiDou-Koordinatensystem — aber der Ort selbst hat sich nicht geändert.
Dasselbe gilt für Vektoren:Derselbe Vektor hat unterschiedliche Koordinaten unter verschiedenen Basen.Wenn du das verstehst, wirst du das Wesen der PCA-Dimensionsreduktion und der Word-Embedding-Räume verstehen.
Vektorräume
Ein Vektorraum ist eine Menge, deren Elemente (Vektoren) unter Addition und Skalarmultiplikation abgeschlossen sind.
Abgeschlossenheit = Die Addition zweier beliebiger Vektoren im Raum oder die Multiplikation eines beliebigen Vektors mit einem Skalar ergibt immer noch einen Vektor innerhalb des Raums.
Basis: Das Koordinatenlineal zur Beschreibung des Raums
Eine Basis ist eine Menge von Vektoren, deren Linearkombinationen jeden Vektor im Raum eindeutig darstellen können.
Standardbasis: (1,0,0), (0,1,0), (0,0,1) — die jeweils den x-, y- und z-Achsenrichtungen entsprechen.
Lineare Unabhängigkeit: Keine Redundanz
Eine Menge von Vektoren ist linear unabhängig = keiner der Vektoren kann durch eine Linearkombination der anderen Vektoren dargestellt werden.
Intuition: Jeder Vektor bringt eine wirklich 'neue Richtung' ohne Verschwendung.
Linear unabhängig
{(1,0), (0,1)}
Jeder Vektor liefert eine neue Richtung
Rang = 2 (voller Rang)
Linear abhängig
{(1,2), (2,4)}
Der zweite = der erste × 2
Rang = 1 (redundant)
Eine Basis muss zwei Bedingungen erfüllen: lineare Unabhängigkeit (keine Redundanz) + Aufspannen des gesamten Raums (alle Vektoren darstellen können).
Eine Basis eines n-dimensionalen Raums enthält genau n Vektoren.
Praxisbeispiele
Wechsel der Koordinatensysteme
Die Lage von Beijing ist (x₁, y₁) im Beijing-54-Koordinatensystem und (x₂, y₂) im WGS-84-Koordinatensystem.
Der Ort selbst hat sich nicht geändert, aber das zur Beschreibung verwendete „Lineal“ (Basis) unterscheidet sich, daher unterscheiden sich die Koordinatenzahlen.
Word-Embedding-Raum
Das Word-Embedding-Modell bildet jedes Wort auf einen Vektor in einem 300-dimensionalen Raum ab. Jede Dimension dieses Raums entspricht einer latenten semantischen Richtung.
„King - Man + Woman ≈ Queen“ — diese Vektoroperationen finden alle in diesem 300-dimensionalen Vektorraum statt.
Mathematische Definition
\( \{\mathbf{v}_1, \dots, \mathbf{v}_n\} \) ist eine Basis = sie sind linear unabhängig + span{\(\mathbf{v}_1,\dots,\mathbf{v}_n\)} = der gesamte Raum.
Linearkombination: \( c_1\mathbf{v}_1 + \cdots + c_n\mathbf{v}_n = \mathbf{0} \) hat nur die Nulllösung → linear unabhängig.
Praktische Python-Übung
Beispiel
# Standardbasis
e1, e2, e3 = np.array([1,0,0]), np.array([0,1,0]), np.array([0,0,1])
v = np.array([4, 5, 6])
print("v = 4*e1 + 5*e2 + 6*e3:", 4*e1 + 5*e2 + 6*e3)
# Lineare Unabhängigkeit mit Rang bestimmen
v1, v2 = np.array([1,2]), np.array([2,4]) # v2 = 2*v1
M = np.column_stack([v1, v2])
print(f"Rang von {{v1, v2}}: {np.linalg.matrix_rank(M)} (< 2 → linear abhängig)")
# Basiswechsel: Derselbe Vektor hat unter verschiedenen Basen unterschiedliche Koordinaten
v_std = np.array([3.0, 2.0])
B_new = np.array([[2.0, 0], [0, 3.0]]) # Neue Basis
v_new = np.linalg.inv(B_new) @ v_std
print(f"Standardkoordinaten: {v_std}, Koordinaten unter der neuen Basis: {v_new}")
print(f"Verifiziere B @ neue Koordinaten = {B_new @ v_new}")
v = 4*e1 + 5*e2 + 6*e3: [4 5 6]
{v1, v2} 的秩: 1 (< 2 → 线性相关)
标准坐标: [3. 2.], 新基下坐标: [1.5 0.67]
验证 B @ 新坐标 = [3. 2.]
Anwendungsszenarien in der KI
PCA-Dimensionalitätsreduktion = Basiswechsel
PCA findet eine neue Menge orthonormaler Basisvektoren (Hauptkomponentenrichtungen), die die Varianz der Daten entlang der ersten k Koordinaten unter der neuen Basis maximieren. Dimensionsreduktion = nur die ersten k Koordinaten der neuen Basis behalten und die Richtungen mit geringer Varianz danach verwerfen. Dies ist im Wesentlichen eine Koordinatensystemtransformation – der Wechsel von einem 784-dimensionalen Pixelraum zu einem 50-dimensionalen Hauptkomponentenraum.
Word-Embedding-Raum
Word2Vec und GloVe bilden jedes Wort auf einen Punkt in einem 300-dimensionalen Vektorraum ab. Dieser Raum ist nicht willkürlich konstruiert – die geometrischen Beziehungen zwischen Wörtern spiegeln semantische Beziehungen wider. Synonyme haben einen geringen Abstand zueinander, während Antonyme in bestimmten Richtungen genau entgegengesetzt sind. Lineare Operationen (Addition und Subtraktion) im Vektorraum entsprechen semantischen Operationen.
Transformation des Merkmalsraums
Jede Schicht eines neuronalen Netzwerks kann als Abbildung der Eingabe in einen neuen Vektorraum angesehen werden. Daten, die im ursprünglichen Raum linear nicht trennbar sind (wie das XOR-Problem), werden nach der Transformation durch versteckte Schichten in den Merkmalsraum linear trennbar. Dies ist die zentrale Intuition des Deep Learning – schrittweise Transformation, schließlich im Merkmalsraum mit einem einfachen Klassifikator trennbar.
Andere Erweiterungen