Grundlagen der Wahrscheinlichkeit -- Ergebnisraum, Ereignisse und bedingte Wahrscheinlichkeit
Wahrscheinlichkeitstheorie ist ein Kernwerkzeug der KI für den Umgang mit Unsicherheit.Von Klassifikatorausgaben bis zur Stichprobenziehung generativer Modelle ist Wahrscheinlichkeit überall.
Konzeptanalyse
Ergebnisraum
Die Menge aller möglichen Ergebnisse
Einen Würfel werfen: {1,2,3,4,5,6}
Ereignis
Eine Teilmenge des Ergebnisraums
Gerade = {2,4,6}
Wahrscheinlichkeit P(A)
Die Wahrscheinlichkeit, dass A eintritt, [0,1]
0 = unmöglich, 1 = sicher
Bedingte Wahrscheinlichkeit: Beurteilung anhand von Teilinformationen aktualisieren
\[ P(A|B) = \frac{P(A \cap B)}{P(B)} \]Intuition: Den Ergebnisraum auf die Menge einschränken, in der B eintritt, und sehen, welchen Anteil davon A einnimmt.
Gesetz der totalen Wahrscheinlichkeit: Zusammenfassung über Fälle hinweg
\[ P(A) = \sum_i P(A|B_i) P(B_i) \]Alltagsbeispiele
Gesetz der großen Zahlen
Wirf eine Münze 10-mal, du könntest 4-mal Kopf und 6-mal Zahl erhalten. Wirf sie 10,000-mal, wird der Anteil an Kopf definitiv sehr nahe bei 0.5 liegen.
Je mehr Versuche, desto stabiler die Häufigkeit – das ist die Grundlage der Wahrscheinlichkeitstheorie.
Python-Praxisübung
Beispiel
# Verifikation des Gesetzes der großen Zahlen
for n in [10, 100, 1000, 10000]:
tosses = np.random.choice(['H','T'], size=n)
freq = np.mean(tosses == 'H')
print(f"BEISPIEL {n:5d}-mal geworfen, Kopfhäufigkeit={freq:.4f}")
# Monty-Hall-Problem: Wechseln gewinnt 2/3
def monty_hall(switch=True, trials=10000):
wins = 0
for _ in range(trials):
car = np.random.randint(0, 3)
choice = np.random.randint(0, 3)
revealed = np.random.choice([d for d in range(3) if d != car and d != choice])
if switch:
choice = [d for d in range(3) if d != choice and d != revealed][0]
wins += (choice == car)
return wins/trials
print(f"\n"Monty Hall: ohne Wechsel={monty_hall(False):.3f}, mit Wechsel={monty_hall(True):.3f} (theoretisch: 1/3, 2/3)")
Ausgabe:
EXAMPLE 掷 10次, 正面频率=0.8000 EXAMPLE 掷 100次, 正面频率=0.5500 EXAMPLE 掷 1000次, 正面频率=0.4870 EXAMPLE 掷10000次, 正面频率=0.4987 蒙提霍尔: 不换=0.329, 换=0.663 (理论: 1/3, 2/3)
Anwendungsszenarien in der KI
Klassifikator-Ausgabe = Wahrscheinlichkeitsverteilung
Softmax gibt die Wahrscheinlichkeit für jede Klasse aus, und die Summe der Wahrscheinlichkeiten über alle Klassen ist 1. Das Modell sagt dir nicht nur "das ist eine Katze", sondern auch "80% Wahrscheinlichkeit, dass es eine Katze ist, 15% ein Hund, 5% etwas anderes." Diese Art probabilistischer Ausgabe ist entscheidend für Risikobewertung und Konfidenzkalibrierung.
Generatives Modell = Sampling aus einer Wahrscheinlichkeitsverteilung
VAE zieht Stichproben aus einer gelernten latenten Verteilung, um neue Bilder zu erzeugen, GAN zieht Stichproben aus einer zufälligen Rauschverteilung, um realistische Bilder zu erzeugen, und Diffusionsmodelle starten mit reinem Rauschen und entrauschen schrittweise, um hochauflösende Bilder zu erzeugen. Die Kernoperation all dieser Generierungsprozesse ist "Sampling aus irgendeiner Wahrscheinlichkeitsverteilung".
Stochastische Policy im Reinforcement Learning
Bei Policy-Gradient-Methoden sind die Aktionen des Agenten nicht deterministisch, sondern werden aus einer vom Policy-Netzwerk ausgegebenen Wahrscheinlichkeitsverteilung gesampelt (z. B. 70% links, 30% rechts). Diese Zufälligkeit gewährleistet Exploration — wenn du immer die Aktion mit der höchsten Wahrscheinlichkeit wählst, entdeckst du möglicherweise nie eine bessere Policy.
Weitere Erweiterungen