Variables aléatoires discrètes -- Du lancer de dés à la fonction de masse de probabilité
Une variable aléatoire formalise les « événements aléatoires » comme un outil mathématique.Une variable aléatoire discrète prend un nombre fini ou dénombrable de valeurs.
Analyse du concept
Variable aléatoire
Variable aléatoire = une variable dont la valeur est incertaine, avec une probabilité associée à chaque valeur.
PMF (fonction de masse de probabilité)
\[ P(X = x_k) = p_k, \quad \sum_k p_k = 1 \]Loi de Bernoulli
Un essai, deux issues : P(succès)=p, P(échec)=1-p. Modélisation mathématique pour les problèmes de classification binaire.
Loi binomiale
\[ P(X=k) = \binom{n}{k} p^k (1-p)^{n-k} \]La probabilité d'obtenir k succès dans n épreuves de Bernoulli indépendantes.
Exemples concrets
Lancer un dé : X est la valeur de la face, P(X=1)=1/6, P(X=2)=1/6, ...
Lancez une pièce 10 fois ; le nombre de faces X suit une loi binomiale Binomial(10, 0.5), et la valeur la plus probable est 5.
Exercice pratique Python
Exemple
# PMF du lancer de dés
rolls = np.random.randint(1, 7, size=10000)
for v in range(1, 7):
print(f"Valeur {v}: {np.mean(rolls==v):.4f}")
# Bernoulli
print(f"\nBernoulli p=0.3, 1000 essais, taux de réussite={np.random.binomial(1,0.3,1000).mean():.3f}")
# Loi binomiale : Binomial(10, 0.3)
samples = np.random.binomial(10, 0.3, 10000)
k_best = np.bincount(samples).argmax()
print(f"Loi binomiale n=10,p=0.3 : k le plus probable={k_best} (théorique=np=3)")
Sortie :
点数1: 0.1628 点数2: 0.1661 点数3: 0.1686 点数4: 0.1686 点数5: 0.1637 点数6: 0.1702 伯努利 p=0.3, 1000次试验, 成功率=0.295 二项分布 n=10,p=0.3: 最可能 k=3 (理论=np=3)
Graphique interactif de la PMF de la loi binomiale
Fonction de masse de probabilité (PMF) de la loi binomiale Binomial(n=10, p=0.3). Ajustez le curseur pour observer la forme de la distribution pour différentes valeurs de p :
Scénarios d'application en IA
Étiquettes de classification binaire = loi de Bernoulli
La régression logistique et les classificateurs binaires modélisent l'étiquette y ∈ {0,1} comme une loi de Bernoulli : P(y=1|x) = \sigma(wx+b), P(y=0|x) = 1-\sigma(wx+b). La perte d'entropie croisée binaire est la log-vraisemblance négative sous cette hypothèse. C'est pourquoi la couche de sortie des tâches de classification binaire utilise Sigmoid + BCE.
Classification multiclasse = loi catégorielle (un seul essai d'une loi multinomiale)
En classification multiclasse, les étiquettes sont des vecteurs one-hot, et les probabilités de chaque classe produites par Softmax ont une somme égale à 1. Cela équivaut à un seul lancer d'un « dé » à n faces avec des probabilités différentes pour chaque face. Sous cette hypothèse, la perte d'entropie croisée est égale à la log-vraisemblance négative.
Régularisation Dropout = épreuve de Bernoulli
Pendant l'entraînement, chaque neurone est conservé avec une probabilité p (une épreuve de Bernoulli) et abandonné avec une probabilité 1-p. Cela équivaut à entraîner un sous-réseau différent à chaque itération, ce qui produit un effet d'apprentissage ensembliste. Au moment du test, tous les neurones sont actifs, mais les sorties sont mises à l'échelle par p en compensation.
Exploration en apprentissage par renforcement = échantillonnage à partir d'une loi discrète
DQN utilise souvent la stratégie ε-greedy : avec une probabilité ε, choisir une action aléatoire (Bernoulli), et avec une probabilité 1-ε, choisir l'action optimale. C'est la stratégie d'exploration la plus simple, garantissant que l'agent ne reste pas bloqué indéfiniment dans une politique sous-optimale.