Contenu informationnel et entropie -- Quantifier l'incertitude
La théorie de l'information fournit à l'IA des outils mathématiques pour quantifier « information » et « incertitude ».
Moins un événement est probable, plus il porte d'information une fois qu'il se produit.
Analyse du concept
La théorie de l'information cherche à répondre à une question fondamentale :Comment quantifier la quantité d'« information » contenue dans un message ?
Idée clé : le contenu informationnel est inversement proportionnel à la probabilité d'un événement — moins un événement est probable, plus il vous apporte d'information une fois qu'il se produit.
Pourquoi le contenu informationnel est-il défini comme -log P(x) ?
Cette définition englobe les trois intuitions les plus naturelles :
- Relation inverse: Plus P(x) est petit (plus c'est surprenant), plus I(x) doit être grand. Le signe négatif garantit cela.
- Additivité: Le contenu informationnel de deux événements indépendants qui se produisent ensemble est égal à la somme de leurs contenus informationnels individuels. Le logarithme transforme le produit des probabilités en addition de contenus informationnels : \( -\log(p_1 \cdot p_2) = -\log p_1 + (-\log p_2) \)
- Les événements certains ont une information nulle: Lorsqu'un événement certain a P=1, \( -\log 1 = 0 \) — les faits connus n'apportent aucune information.
Contenu informationnel (auto-information)
\[ I(x) = -\log P(x) \]Base 2 → unité bits, base e → unité nats. En IA, le logarithme népérien est couramment utilisé (pratique pour la dérivation).
Entropie : espérance du contenu informationnel
\[ H(X) = -\sum_x P(x) \log P(x) \]L'entropie mesure l'incertitude de l'ensemble de la distribution de probabilité.
- Événements certains (P=1) : H = 0 (aucune incertitude)
- Distribution uniforme : H atteint son maximum (la plus incertaine)
Une entropie plus élevée = plus difficile à prédire. Cela fournit le fondement théorique des critères de partitionnement des arbres de décision (gain d'information) et des stratégies d'exploration en apprentissage par renforcement.
Exemples concrets
Valeur d'une nouvelle
"Demain le soleil se lèvera" → contenu informationnel ≈ 0 (vous le saviez déjà).
「明天Yes 8 levelground震」→ contenu informationnel extrêmement élevé (un événement extrêmement rare s'est produit).
Plus la nouvelle est surprenante, plus le contenu informationnel est grand—c'est l'intuition derrière I(x) = -log P(x).
Exercices pratiques Python
Exemple
def entropy(probs):
probs = np.array(probs)
probs = probs[probs > 0]
return -np.sum(probs * np.log(probs))
print("Distribution certaine [1,0,0] :", entropy([1,0,0])) # 0
print("Uniforme à 2 classes [0.5,0.5] :", entropy([0.5,0.5])) # 0.693
print("Uniforme à 10 classes :", entropy([0.1]*10)) # 2.303
print("Biaisée [0.9,0.05,0.05] :", entropy([0.9,0.05,0.05])) # 0.394
Sortie de l'exécution :
确定分布 [1,0,0]: 0.0 2类均匀 [0.5,0.5]: 0.6931471805599453 10类均匀: 2.302585092994046 有偏 [0.9,0.05,0.05]: 0.3944479480436973
Courbe d'entropie de classification binaire
Scénarios d'application en IA
Critère de division d'un arbre de décision : gain d'information
Lorsqu'un arbre de décision choisit une caractéristique de division, il calcule la différence d'entropie avant et après la division — gain d'information = H(avant division) - H(après division). Il sélectionne la caractéristique et le point de division ayant le plus grand gain d'information. Les algorithmes C4.5 et ID3 sont tous deux fondés sur ce principe.
Perte d'entropie croisée = minimiser la différence entre la distribution prédite et la distribution réelle
Dans les tâches de classification, l'entropie de la distribution réelle p (étiquettes one-hot) est H(p)=0, et l'entropie croisée H(p,q) est égale à KL(p||q). Minimiser l'entropie croisée = rendre la distribution prédite q aussi proche que possible de la distribution réelle p. Le chapitre suivant approfondira ce point.
Régularisation par entropie en apprentissage par renforcement
L'algorithme SAC (Soft Actor-Critic) ajoute un terme d'entropie de politique à l'objectif d'optimisation : maximiser la récompense + \( \alpha \cdot H(\pi) \). Cela encourage la politique à maintenir un certain degré d'aléatoire (sans être trop certaine), favorise l'exploration et évite une convergence prématurée vers des politiques sous-optimales. \(\alpha\) est le coefficient de régularisation par entropie, qui contrôle l'équilibre entre exploration et exploitation.
Entropie dans la calibration du modèle
Un bon classifieur n'a pas seulement une grande exactitude ; l'entropie de sa distribution prédite doit également refléter la véritable incertitude. Lorsque le modèle rencontre des échantillons hors distribution (OOD), idéalement, l'entropie de la sortie Softmax devrait être élevée (proche d'une distribution uniforme), indiquant « je suis incertain ». Si l'entropie est très faible mais que la prédiction est fausse, le modèle est trop confiant.
Autres extensions