Cantidad de información y entropía -- Cuantificando la incertidumbre
La teoría de la información proporciona a la IA herramientas matemáticas para cuantificar la «información» y la «incertidumbre».
Cuanto más improbable es un evento, mayor es la cantidad de información que aporta una vez que ocurre.
Análisis de conceptos
La teoría de la información busca responder una pregunta fundamental:¿Cómo cuantificar cuánta «información» contiene un mensaje?
Perspectiva clave: la cantidad de información es inversamente proporcional a la probabilidad de ocurrencia del evento: cuanto más improbable es un evento, más información te aporta una vez que ocurre.
¿Por qué la cantidad de información se define como -log P(x)?
Esta definición incorpora tres intuiciones más naturales:
- Relación inversa: cuanto menor sea P(x) (más sorprendente), mayor debería ser I(x). El signo negativo garantiza esto.
- Aditividad: la cantidad de información de dos eventos independientes que ocurren simultáneamente = la suma de sus cantidades de información individuales. El logaritmo convierte el producto de probabilidades en suma de cantidades de información: \( -\log(p_1 \cdot p_2) = -\log p_1 + (-\log p_2) \)
- Evento determinista tiene valor cero: cuando el evento seguro P=1, \( -\log 1 = 0 \) —lo que ya se sabe no aporta información alguna.
Cantidad de información (autoinformación)
\[ I(x) = -\log P(x) \]Base 2 → unidad bit, base e → unidad nat. En IA se suele usar el logaritmo natural (conveniente para la derivación).
Entropía: valor esperado de la cantidad de información
\[ H(X) = -\sum_x P(x) \log P(x) \]La entropía mide la incertidumbre de toda la distribución de probabilidad.
- Evento determinista (P=1): H = 0 (sin incertidumbre alguna)
- Distribución uniforme: H alcanza su valor máximo (la mayor incertidumbre)
Cuanto mayor es la entropía = más difícil de predecir. Esto proporciona la base teórica para el criterio de división en árboles de decisión (ganancia de información) y las estrategias de exploración en el aprendizaje por refuerzo.
Ejemplos cotidianos
Valor de la noticia
«Mañana saldrá el sol» → cantidad de información ≈ 0 (ya lo sabías).
«Mañana habrá un terremoto de magnitud 8» → cantidad de información enorme (ha ocurrido un evento extremadamente raro).
Cuanto más sorprendente es la noticia, mayor es la cantidad de información —esta es la intuición de I(x) = -log P(x).
Práctica con Python
Ejemplo
def entropy(probs):
probs = np.array(probs)
probs = probs[probs > 0]
return -np.sum(probs * np.log(probs))
print(Distribución determinista [1,0,0]:, entropy([1,0,0])) # 0
print(Uniforme de 2 clases [0.5,0.5]:, entropy([0.5,0.5])) # 0.693
print(Uniforme de 10 clases:, entropy([0.1]*10)) # 2.303
print(Sesgada [0.9,0.05,0.05]:, entropy([0.9,0.05,0.05])) # 0.394
Salida de ejecución:
确定分布 [1,0,0]: 0.0 2类均匀 [0.5,0.5]: 0.6931471805599453 10类均匀: 2.302585092994046 有偏 [0.9,0.05,0.05]: 0.3944479480436973
Curva de entropía para clasificación binaria
Escenarios de aplicación en IA
Criterio de división en árboles de decisión: ganancia de información
Cuando un árbol de decisión selecciona la característica de división, calcula la diferencia de entropía antes y después de la división —ganancia de información = H(antes de dividir) - H(después de dividir). Se selecciona la característica y el punto de división con mayor ganancia de información. Los algoritmos C4.5 e ID3 se basan en este principio.
Pérdida de entropía cruzada = minimizar la diferencia entre la distribución predicha y la distribución real
En tareas de clasificación, la entropía de la distribución real p (etiquetas one-hot) es H(p)=0, por lo que la entropía cruzada H(p,q) es igual a KL(p||q). Minimizar la entropía cruzada = hacer que la distribución predicha q se acerque lo más posible a la distribución real p. El siguiente capítulo lo desarrollará en detalle.
Regularización de entropía en el aprendizaje por refuerzo
El algoritmo SAC (Soft Actor-Critic) añade un término de entropía de la política al objetivo de optimización: maximizar recompensa + \( \alpha \cdot H(\pi) \). Esto anima a la política a mantener cierta aleatoriedad (no estar demasiado segura), favorece la exploración y evita la convergencia prematura a políticas subóptimas. \(\alpha\) es el coeficiente de regularización de entropía, que controla el equilibrio entre exploración y explotación.
Entropía en la calibración de modelos
Un buen clasificador no solo tiene una alta precisión; la entropía de la distribución predicha también debería reflejar la incertidumbre real. Cuando el modelo encuentra muestras fuera de la distribución (OOD), idealmente la entropía de la salida Softmax debería ser alta (cercana a la distribución uniforme), indicando «no estoy seguro». Si la entropía es baja pero la predicción es incorrecta, significa que el modelo está demasiado confiado (overconfident).
Otras extensiones