Bases des probabilités -- Espace d'échantillonnage, événements et probabilité conditionnelle
La théorie des probabilités est un outil essentiel pour l'IA afin de gérer l'incertitude.Des sorties de classifieurs à l'échantillonnage de modèles génératifs, la probabilité est partout.
Analyse du concept
Espace d'échantillonnage
L'ensemble de tous les résultats possibles
Lancer d'un dé : {1,2,3,4,5,6}
Événement
Un sous-ensemble de l'espace d'échantillonnage
Pair = {2,4,6}
Probabilité P(A)
La probabilité que A se produise, [0,1]
0 = impossible, 1 = certain
Probabilité conditionnelle : mise à jour du jugement à partir d'informations partielles
\[ P(A|B) = \frac{P(A \cap B)}{P(B)} \]Intuition : réduire l'espace d'échantillonnage à l'ensemble où B se produit, et voir quelle proportion de celui-ci est occupée par A.
Loi des probabilités totales : résumer à travers les cas
\[ P(A) = \sum_i P(A|B_i) P(B_i) \]Exemples du quotidien
Loi des grands nombres
Lancez une pièce 10 fois, vous pourriez obtenir 4 faces et 6 piles. Lancez-la 10,000 fois, la proportion de faces sera certainement très proche de 0.5.
Plus il y a d'essais, plus la fréquence est stable — c'est le fondement de la théorie des probabilités.
Exercices pratiques Python
Exemple
# Vérification de la loi des grands nombres
for n in [10, 100, 1000, 10000]:
tosses = np.random.choice(['H','T'], size=n)
freq = np.mean(tosses == 'H')
print(f"EXEMPLE lancé {n:5d} fois, fréquence de face={freq:.4f}")
# Problème de Monty Hall : changer gagne 2/3
def monty_hall(switch=True, trials=10000):
wins = 0
for _ in range(trials):
car = np.random.randint(0, 3)
choice = np.random.randint(0, 3)
revealed = np.random.choice([d for d in range(3) if d != car and d != choice])
if switch:
choice = [d for d in range(3) if d != choice and d != revealed][0]
wins += (choice == car)
return wins/trials
print(f"\n"Monty Hall: no switch={monty_hall(False):.3f}, switch={monty_hall(True):.3f} (theoretical: 1/3, 2/3)")
Sortie :
EXAMPLE 掷 10次, 正面频率=0.8000 EXAMPLE 掷 100次, 正面频率=0.5500 EXAMPLE 掷 1000次, 正面频率=0.4870 EXAMPLE 掷10000次, 正面频率=0.4987 蒙提霍尔: 不换=0.329, 换=0.663 (理论: 1/3, 2/3)
Scénarios d'application en IA
Sortie du classifieur = distribution de probabilité
Softmax produit la probabilité pour chaque classe, et la somme des probabilités sur toutes les classes est 1. Le modèle ne vous dit pas seulement « c'est un chat », il vous dit aussi « 80% de probabilité qu'il s'agisse d'un chat, 15% d'un chien, 5% autre chose ». Ce type de sortie probabiliste est crucial pour l'évaluation des risques et la calibration de la confiance.
Modèle génératif = échantillonnage à partir d'une distribution de probabilité
VAE échantillonne à partir d'une distribution latente apprise pour générer de nouvelles images, GAN échantillonne à partir d'une distribution de bruit aléatoire pour générer des images réalistes, et les modèles de diffusion partent d'un bruit pur et débruissent progressivement pour générer des images haute définition. L'opération centrale de tous ces processus de génération est « l'échantillonnage à partir d'une certaine distribution de probabilité ».
Politique stochastique en apprentissage par renforcement
Dans les méthodes de gradient de politique, les actions de l'agent ne sont pas déterministes, mais sont échantillonnées à partir d'une distribution de probabilité produite par le réseau de politique (par exemple, 70% à gauche, 30% à droite). Ce caractère aléatoire garantit l'exploration—si vous choisissez toujours l'action de plus haute probabilité, vous ne découvrirez peut-être jamais une meilleure politique.
Autres extensions