Variables aléatoires continues et distributions courantes
Une variable aléatoire continue peut prendre n'importe quelle valeur sur la droite des nombres réels.La distribution normale (gaussienne) est la distribution la plus importante en IA, sans exception.
Explication du concept
PDF : fonction de densité de probabilité
La PDF n'est pas la probabilité elle-même ; l'aire est la probabilité.La valeur f(x) de la PDF en un point particulier n'a pas de sens en elle-même — la probabilité qu'une variable continue soit égale à une valeur précise est 0. Mais l'intégrale de la PDF sur un intervalle = la probabilité que X tombe dans cet intervalle.
Distribution normale N(μ, σ²)
\[ f(x) = \frac{1}{\sigma\sqrt{2\pi}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \]Déterminé par la moyenne μ (position) et l'écart-type σ (largeur). Environ 68% des données se situent dans μ±σ, et environ 95% dans μ±2σ.
Théorème central limite
La superposition de nombreux facteurs indépendants → le résultat tend vers une loi normale. Cela explique pourquoi la loi normale est partout dans la nature et en IA.
Initialisation des poids des réseaux de neurones, Batch Normalization, espace latent des VAE, et ajout de bruit/débruitage dans les modèles de diffusion — tout repose sur la loi normale.
Exemples concrets
Taille humaine : 170.1, 170.12, 170.128 cm — la taille peut prendre n'importe quelle valeur dans un intervalle continu et suit globalement une loi normale.
La taille de la plupart des gens est proche de la moyenne ; les personnes extrêmement grandes et extrêmement petites sont minoritaires — c'est la courbe en cloche.
Exercice pratique Python
Exemple
samples = np.random.normal(0, 1, 10000)
print(f"N(0,1) échantillonnage : moyenne={samples.mean():.3f}, écart-type={samples.std():.3f}")
# 68-95-99.7 règle
for k in [1, 2, 3]:
within = np.mean(np.abs(samples) < k)
theory = {1:0.6827, 2:0.9545, 3:0.9973}[k]
print(f"μ±{k}σ: {within:.4f} (théorique {theory:.4f})")
# Théorème central limite : somme de 12 dés ≈ normale
dice = np.random.randint(1,7,(100000,12)).sum(axis=1)
print(f"\nSomme de 12 dés : moyenne={dice.mean():.1f} (théorique 42), proche de la normale)
Sortie de l'exécution :
N(0,1) 采样: 均值=-0.002, 标准差=1.001 μ±1σ: 0.6827 (理论 0.6827) μ±2σ: 0.9545 (理论 0.9545) μ±3σ: 0.9973 (理论 0.9973) 12个骰子和: 均值=42.0(理论42), 接近正态
Histogramme de distribution normale
Scénarios d'application en IA
Initialisation des poids
Les poids des réseaux de neurones sont généralement initialisés aléatoirement à partir d'une distribution normale ou d'une distribution uniforme. Initialisation Kaiming (pour les réseaux ReLU) : \( W \sim N(0, \sqrt{2/n_{in}}) \) ; Initialisation Xavier : \( W \sim U(-\sqrt{6/(n_{in}+n_{out})}, \sqrt{6/(n_{in}+n_{out})}) \). La variance soigneusement choisie garantit que les signaux se propagent de manière stable en propagation avant et arrière, sans exploser ni disparaître.
Normalisation par lots
BN suppose que les activations de chaque couche approximent une distribution normale. Il soustrait la moyenne et divise par l'écart-type pour les standardiser à N(0,1), puis effectue une mise à l'échelle et un décalage via des paramètres apprenables \(\gamma\) et \(\beta\). Cela accélère l'entraînement, permet des taux d'apprentissage plus élevés et réduit la sensibilité à l'initialisation. BN est l'une des techniques d'entraînement les plus importantes de l'histoire de l'apprentissage profond.
Hypothèse sur l'espace latent du VAE
L'autoencodeur variationnel suppose que la variable latente z suit une distribution normale standard N(0, I). L'encodeur produit μ et log(σ²), et le décodeur échantillonne z à partir de N(μ, σ²) pour reconstruire l'entrée. La perte de divergence KL contraint N(μ, σ²) à être proche de la distribution a priori N(0, I), empêchant l'encodeur de s'effondrer vers une distribution de Dirac.
Bruitage et débruitage dans les modèles de diffusion
Le processus direct des modèles de diffusion (DDPM) ajoute progressivement un bruit gaussien \epsilon ∼ N(0, I) aux données jusqu'à ce qu'elles deviennent du bruit pur. Le processus inverse entraîne un réseau de neurones à prédire le bruit ajouté à chaque étape, puis débruite progressivement à partir du bruit pur pour générer des images. Stable Diffusion et DALL·E reposent tous deux sur ce principe.
Autres extensions