Espaces vectoriels et bases -- Voir le monde à travers un système de coordonnées différent
Le même emplacement a des valeurs de longitude/latitude différentes dans le système de coordonnées GPS et le système de coordonnées BeiDou — mais l’emplacement lui-même n’a pas changé.
Il en va de même pour les vecteurs :Un même vecteur a des coordonnées différentes selon les bases.En comprenant cela, vous comprendrez l’essence de la réduction de dimensionnalité par ACP et des espaces de plongement de mots.
Espaces vectoriels
Un espace vectoriel est un ensemble dont les éléments (vecteurs) sont stables par addition et par multiplication par un scalaire.
Fermeture = additionner deux vecteurs quelconques de l’espace, ou multiplier un vecteur quelconque par un scalaire, donne toujours un vecteur appartenant à l’espace.
Base : la règle de coordonnées pour décrire l’espace
Une base est un ensemble de vecteurs dont les combinaisons linéaires peuvent représenter de manière unique tout vecteur de l’espace.
Base canonique : (1,0,0), (0,1,0), (0,0,1) — correspondant respectivement aux directions des axes x, y et z.
Indépendance linéaire : aucune redondance
Un ensemble de vecteurs est linéairement indépendant = aucun des vecteurs ne peut être représenté par une combinaison linéaire des autres vecteurs.
Intuition : chaque vecteur apporte une véritable « nouvelle direction », sans gaspillage.
Linéairement indépendants
{(1,0), (0,1)}
Chaque vecteur apporte une nouvelle direction
Rang = 2 (rang complet)
Linéairement dépendants
{(1,2), (2,4)}
Le second = le premier × 2
Rang = 1 (redondant)
Une base doit satisfaire deux conditions : indépendance linéaire (aucune redondance) + engendrer tout l’espace (pouvoir représenter tous les vecteurs).
Une base d'un espace de dimension n contient exactement n vecteurs.
Exemples concrets
Changement de systèmes de coordonnées
La position de Pékin est (x₁, y₁) dans le système de coordonnées Beijing 54 et (x₂, y₂) dans le système de coordonnées WGS-84.
L'emplacement lui-même n'a pas changé, mais la « règle » (base) utilisée pour le décrire diffère, donc les nombres de coordonnées diffèrent.
Espace de plongement de mots
Le modèle de plongement de mots associe chaque mot à un vecteur dans un espace à 300 dimensions. Chaque dimension de cet espace correspond à une direction sémantique latente.
« King - Man + Woman ≈ Queen » — ces opérations vectorielles ont toutes lieu dans cet espace vectoriel à 300 dimensions.
Définition mathématique
\( \{\mathbf{v}_1, \dots, \mathbf{v}_n\} \) est une base = ils sont linéairement indépendants + l'ensemble engendré par \(\{\mathbf{v}_1,\dots,\mathbf{v}_n\}\) = l'espace entier.
Combinaison linéaire : \( c_1\mathbf{v}_1 + \cdots + c_n\mathbf{v}_n = \mathbf{0} \) n'a que la solution nulle → linéairement indépendants.
Exercice pratique Python
Exemple
# Base canonique
e1, e2, e3 = np.array([1,0,0]), np.array([0,1,0]), np.array([0,0,1])
v = np.array([4, 5, 6])
print("v = 4*e1 + 5*e2 + 6*e3:", 4*e1 + 5*e2 + 6*e3)
# Déterminer l'indépendance linéaire à l'aide du rang
v1, v2 = np.array([1,2]), np.array([2,4]) # v2 = 2*v1
M = np.column_stack([v1, v2])
print(f"Rang de {{v1, v2}} : {np.linalg.matrix_rank(M)} (< 2 → linéairement dépendants)")
# Changement de base : le même vecteur possède des coordonnées différentes dans des bases différentes
v_std = np.array([3.0, 2.0])
B_new = np.array([[2.0, 0], [0, 3.0]]) # Nouvelle base
v_new = np.linalg.inv(B_new) @ v_std
print(f"Coordonnées standard : {v_std}, coordonnées dans la nouvelle base : {v_new}")
print(f"Vérifier B @ nouvelles coordonnées = {B_new @ v_new}")
v = 4*e1 + 5*e2 + 6*e3: [4 5 6]
{v1, v2} 的秩: 1 (< 2 → 线性相关)
标准坐标: [3. 2.], 新基下坐标: [1.5 0.67]
验证 B @ 新坐标 = [3. 2.]
Scénarios d'application en IA
Réduction de dimensionnalité par ACP = Changement de base
L'ACP trouve un nouvel ensemble de vecteurs de base orthonormés (directions des composantes principales) qui maximisent la variance des données le long des k premières coordonnées dans la nouvelle base. La réduction de dimensionnalité = ne conserver que les k premières coordonnées dans la nouvelle base et écarter ensuite les directions à faible variance. Il s'agit essentiellement d'une transformation de système de coordonnées — passer d'un espace de pixels à 784 dimensions à un espace de composantes principales à 50 dimensions.
Espace de plongement de mots
Word2Vec et GloVe associent chaque mot à un point dans un espace vectoriel à 300 dimensions. Cet espace n'est pas construit de manière arbitraire — les relations géométriques entre les mots reflètent des relations sémantiques. Les synonymes sont proches en distance, tandis que les antonymes sont exactement opposés dans certaines directions. Les opérations linéaires (addition et soustraction) dans l'espace vectoriel correspondent à des opérations sémantiques.
Transformation de l'espace des caractéristiques
Chaque couche d'un réseau de neurones peut être considérée comme une mise en correspondance de l'entrée vers un nouvel espace vectoriel. Des données linéairement inséparables dans l'espace d'origine (comme le problème XOR) deviennent linéairement séparables après avoir été transformées par les couches cachées dans l'espace des caractéristiques. C'est l'intuition centrale de l'apprentissage profond — une transformation couche par couche, finalement séparable dans l'espace des caractéristiques avec un classifieur simple.
Autres extensions