Variables aleatorias continuas y distribuciones comunes
Una variable aleatoria continua puede tomar cualquier valor en el eje real.La distribución normal (gaussiana) es la distribución más importante en IA, sin excepción.
Explicación de conceptos
PDF: Función de densidad de probabilidad
El PDF no es la probabilidad en sí; el área es la probabilidad.El valor f(x) del PDF en un punto no tiene significado por sí mismo: la probabilidad de que una variable continua sea exactamente igual a un valor específico es 0. Pero la integral del PDF en un intervalo = probabilidad de que X caiga en ese intervalo.
Distribución normal N(μ, σ²)
\[ f(x) = \frac{1}{\sigma\sqrt{2\pi}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \]Determinada por la media μ (ubicación) y la desviación estándar σ (amplitud). Aproximadamente el 68% de los datos caen en μ±σ, y aproximadamente el 95% en μ±2σ.
Teorema del límite central
La superposición de muchos factores independientes → el resultado tiende a una distribución normal. Esto explica por qué la distribución normal es omnipresente en la naturaleza y en la IA.
Inicialización de pesos en redes neuronales, Batch Normalization, espacio latente de VAE, ruido y eliminación de ruido en modelos de difusión — todo depende de la distribución normal.
Ejemplos de la vida real
Altura humana: 170.1, 170.12, 170.128 cm — la altura puede tomar cualquier valor en un rango continuo y en conjunto sigue una distribución normal.
La mayoría de las personas tienen una altura cercana al promedio; los muy altos y los muy bajos son minoría — esa es la curva de campana.
Práctica con Python
Ejemplo
samples = np.random.normal(0, 1, 10000)
print(f"Muestreo N(0,1): media={samples.mean():.3f}, desviación estándar={samples.std():.3f}")
# Regla 68-95-99.7
for k in [1, 2, 3]:
within = np.mean(np.abs(samples) < k)
theory = {1:0.6827, 2:0.9545, 3:0.9973}[k]
print(f"μ±{k}σ: {within:.4f} (teórico {theory:.4f})")
# Teorema del límite central: suma de 12 dados ≈ normal
dice = np.random.randint(1,7,(100000,12)).sum(axis=1)
print(f"\n"Suma de 12 dados: media={dice.mean():.1f} (teórico 42), cercano a normal")
Salida de ejecución:
N(0,1) 采样: 均值=-0.002, 标准差=1.001 μ±1σ: 0.6827 (理论 0.6827) μ±2σ: 0.9545 (理论 0.9545) μ±3σ: 0.9973 (理论 0.9973) 12个骰子和: 均值=42.0(理论42), 接近正态
Histograma de distribución normal
Casos de uso en IA
Inicialización de pesos
Los pesos de las redes neuronales generalmente se inicializan aleatoriamente a partir de una distribución normal o uniforme. Inicialización Kaiming (para redes ReLU): \( W \sim N(0, \sqrt{2/n_{in}}) \); Inicialización Xavier: \( W \sim U(-\sqrt{6/(n_{in}+n_{out})}, \sqrt{6/(n_{in}+n_{out})}) \). Una varianza cuidadosamente elegida asegura que la señal se transmita de manera estable en la propagación hacia adelante y hacia atrás, sin explotar ni desaparecer.
Batch Normalization
BN asume que las activaciones de cada capa se aproximan a una distribución normal; resta la media y divide por la desviación estándar para estandarizarlas a N(0,1), y luego las reescala y desplaza mediante los parámetros aprendibles \(\gamma\) y \(\beta\). Esto acelera el entrenamiento, permite tasas de aprendizaje más altas y reduce la sensibilidad a la inicialización. BN es una de las técnicas de entrenamiento más importantes en la historia del deep learning.
Supuesto del espacio latente en VAE
El autoencoder variacional asume que la variable latente z sigue una distribución normal estándar N(0, I). El codificador genera μ y log(σ²), y el decodificador muestrea z de N(μ, σ²) para reconstruir la entrada. La pérdida por divergencia KL restringe N(μ, σ²) para que se acerque a la distribución previa N(0, I), evitando que el codificador colapse a una distribución de Dirac.
Ruido y eliminación de ruido en modelos de difusión
El proceso hacia adelante de los modelos de difusión (DDPM) añade gradualmente ruido gaussiano \epsilon ∼ N(0, I) a los datos hasta convertirlos en ruido puro. El proceso inverso entrena una red neuronal para predecir el ruido añadido en cada paso y, a partir de ruido puro, elimina el ruido paso a paso para generar imágenes. Stable Diffusion y DALL·E se basan en este principio.
Otras extensiones