Estimación de máxima verosimilitud y estimación máximo a posteriori

MLE y MAP son dos métodos centrales de la inferencia estadística.La esencia del entrenamiento de redes neuronales ≈ la estimación de máxima verosimilitud.

Análisis de conceptos

Supongamos que tienes un conjunto de datos observados y crees que provienen de un tipo conocido de distribución de probabilidad (por ejemplo, una distribución normal), pero no conoces los parámetros de esta distribución (media μ y desviación estándar σ).

MLE y MAP responden a la misma pregunta: dados los datos, ¿cuál es el valor de parámetro más razonable?

La diferencia entre ambos es que — MLE solo considera los datos en sí, mientras que MAP también tiene en cuenta tu conocimiento previo sobre los parámetros.

Verosimilitud vs probabilidad: dos perspectivas sobre lo mismo

Probabilidad P(datos|parámetros): con los parámetros fijos, se pregunta «bajo estos parámetros, ¿cuál es la probabilidad de observar estos datos?»

Verosimilitud L(parámetros|datos): con los datos fijos, se pregunta «¿qué valor de parámetro es más probable que genere estos datos?»

El valor de la función de verosimilitud en sí no está normalizado (no se requiere que sume 1); su significado radica encomparar la razonabilidad relativa de diferentes valores de parámetros。

MLE: ¿qué parámetros tienen más probabilidad de generar estos datos?

\[ \hat{\theta}_{\text{MLE}} = \arg\max_\theta P(D | \theta) \]

Considerando solo los datos, se elige el parámetro que con mayor probabilidad genera los datos observados.

¿Por qué usar log?

  • El producto continuo se convierte en suma continua: numéricamente más estable (evita el subdesbordamiento)
  • Derivar es más fácil: el logaritmo convierte la multiplicación en suma
  • No cambia los puntos extremos: log es una función monótona creciente

MAP: introduciendo conocimiento previo

\[ \hat{\theta}_{\text{MAP}} = \arg\max_\theta P(\theta | D) = \arg\max_\theta P(D | \theta) \cdot P(\theta) \]

MAP = MLE + prior P(θ). Cuando el prior es una distribución uniforme, MAP = MLE.

MLE solo considera los datos; MAP también considera el prior. Cuando el volumen de datos es grande, la influencia del prior se diluye y MAP se acerca a MLE.

Cuando el volumen de datos es pequeño, el prior actúa como una «regularización» — la regularización L2 ≡ MAP con prior Gaussiano.

Ejemplo de la vida cotidiana

Estimación de las ventas diarias promedio

Ventas diarias de una tienda en línea durante 10 días consecutivos: [23, 25, 22, 24, 26, 23, 25, 24, 22, 24].

Suponiendo que las ventas siguen una distribución normal, la estimación MLE de la media = el promedio de estos números ≈ 23.8.

Intuitivamente, tú también harías esto — MLE simplemente matematiza la intuición.

Práctica con Python

Ejemplo

import numpy as np

np.random.seed(42)
data = np.random.normal(5.0, 2.0, 100)  # μ real=5, σ=2

# MLE: μ = media muestral
mu_mle = np.mean(data)
print(f"MLE μ = {mu_mle:.3f} (real=5.0)")

# MAP: prior μ ~ N(0, 1), se contrae hacia el prior
prior_mu, prior_var = 0.0, 1.0
n = len(data)
mu_map = (prior_mu/prior_var + n*mu_mle/np.std(data)**2) / (1/prior_var + n/np.std(data)**2)
print(f"MAP μ = {mu_map:.3f} (compromiso entre MLE y prior 0)")

Salida de ejecución:

MLE μ = 4.968 (真实=5.0)
MAP μ = 4.776 (在MLE和先验0之间折中)

Escenarios de aplicación en IA

Diseño de función de pérdida = MLE

Minimizar la pérdida de entropía cruzada ≈ realizar estimación de máxima verosimilitud bajo el supuesto de una distribución multinomial. Minimizar el MSE ≈ hacer MLE bajo el supuesto de que los errores siguen una distribución normal. La función de pérdida no se elige de forma arbitraria — cada función de pérdida corresponde a un supuesto de distribución de probabilidad implícito.

Regularización L2 = MAP con prior Gaussiano

Añadir \( \lambda\|w\|^2 \) a la pérdida equivale a suponer que el prior de los pesos w es \( N(0, 1/\lambda) \). MAP hace un compromiso entre la verosimilitud de los datos y el prior — con pocos datos el prior domina (los pesos tienden a 0), con muchos datos domina la verosimilitud.

Regularización L1 = MAP con prior de Laplace

Añadir \( \lambda\|w\|_1 \) a la pérdida equivale a suponer que el prior de los pesos w sigue una distribución \( Laplace(0, 1/\lambda) \). La distribución de Laplace es puntiaguda en 0 — MAP tiende a producir soluciones dispersas (muchos pesos exactamente 0), logrando una selección automática de características.

Redes neuronales bayesianas

Los pesos de una red neuronal ordinaria son estimaciones puntuales deterministas (MLE/MAP). Una red neuronal bayesiana asigna a cada peso una distribución de probabilidad (posterior), y la salida también es una distribución de probabilidad — lo que proporciona una estimación de incertidumbre natural. Al predecir, se pueden muestrear los pesos varias veces y observar la varianza de las salidas para juzgar la confianza del modelo en sus propias predicciones.

Otras extensiones