Gängige Differentiationsregeln — Potenz, Exponential und Logarithmus
Im vorigen Kapitel haben wir die Bedeutung von Ableitungen verstanden. In diesem Kapitel meistern wir die tatsächliche Berechnung. Die drei am häufigsten verwendeten Arten von Ableitungsregeln in der KI — prägen Sie sie sich ein, und Sie können die meisten Szenarien bewältigen.
Schnellreferenztabelle der Ableitungen von Grundfunktionen
| Funktion f(x) | Ableitung f'(x) | Szenarien in der KI |
|---|---|---|
| \( c \) (Konstante) | \( 0 \) | Die Konstante verschwindet beim Differenzieren des Bias-Terms |
| \( x^n \) | \( nx^{n-1} \) | \( x^2 \) im MSE-Verlust |
| \( e^x \) | \( e^x \) | Sigmoid, Softmax |
| \( \ln x \) | \( \frac{1}{x} \) | Cross-Entropy-Verlust |
Ableitungsregeln für die vier Grundrechenarten
| Regel | Formel |
|---|---|
| Summe/Differenz | \( (f \pm g)' = f' \pm g' \) |
| Produkt | \( (fg)' = f'g + fg' \) |
| Skalarmultiplikation | \( (cf)' = cf' \) |
Die wichtigste Ableitung:\( (e^x)' = e^x \)—Die Ableitung der Exponentialfunktion ist sie selbst.
Das macht die Exponentialfunktion in Differentialgleichungen und im Deep Learning allgegenwärtig.
Alltagsbeispiele
Ableitungsregeln zu lernen ist wie Messertechniken beim Kochen zu lernen — jede Regel ist eine Grundfertigkeit, und wenn man sie kombiniert, kann man jedes Rezept bewältigen.
\( (e^x)' = e^x \) ist wie eine unveränderliche Zutat: Egal wie man sie verarbeitet, sie bleibt immer gleich.
Mathematische Definition
Ableitung von Potenzfunktionen: Exponent um eins verringern und mit dem ursprünglichen Exponenten multiplizieren
\[ \frac{d}{dx} x^n = n x^{n-1} \]Dies ist die grundlegendste Differentiationsformel. Zum Beispiel: \( (x^2)' = 2x \), \( (x^3)' = 3x^2 \).
Im MSE-Verlust ist \( (y - \hat{y})^2 \) eine Potenzfunktion; ihre Ableitung ergibt \( 2(y - \hat{y}) \).
Ableitung der Exponentialfunktion: Die Ableitung ist sie selbst
\[ \frac{d}{dx} e^x = e^x \]Dies ist eine der einzigartigsten Funktionen in der Mathematik.Die Ableitung von e^x ist immer noch e^x — egal wie oft man sie differenziert, sie bleibt gleich.
Diese Eigenschaft lässt e^x in der Sigmoid-Funktion \( \sigma(x) = 1/(1+e^{-x}) \) und in Softmax immer wieder auftreten.
Ableitung der Logarithmusfunktion
\[ \frac{d}{dx} \ln x = \frac{1}{x} \]Die Ableitung des Log-Terms im Kreuzentropieverlust verwendet dies. Die Ableitungen von Logarithmus und Exponentialfunktion sind Kehrwerte — sie sind Umkehrfunktionen voneinander.
Summen- und Differenzregel
\[ (f \pm g)' = f' \pm g' \]Die Ableitung einer Summe = die Summe der Ableitungen. Die Differentiation kann Plus- und Minuszeichen „durchlaufen“ und jeden Term einzeln differenzieren.
Produktregel
\[ (f \cdot g)' = f' \cdot g + f \cdot g' \]Die Ableitung eines Produkts ≠ das Produkt der Ableitungen. Stattdessen gilt: „Ableitung des ersten mal zweites + erstes mal Ableitung des zweiten“.
Diese Regel taucht häufig in der Backpropagation auf — bei der Berechnung der partiellen Ableitung von \( w \cdot x \) nach w wird die Produktregel verwendet.
Die Kombination dieser drei Funktionstypen und drei Regeln ermöglicht es, die Ableitungen der überwiegenden Mehrheit der Funktionen in der KI zu finden.
Zum Beispiel erhält man die Ableitung der Sigmoid-Funktion \( \sigma'(x) = \sigma(x)(1-\sigma(x)) \), indem man die Quotientenregel, die Ableitung der Exponentialfunktion und die Kettenregel umfassend anwendet.
Praktische Python-Übung
Beispiel
x = sp.Symbol('x')
funcs = {'x^3': x**3, 'e^x': sp.exp(x), 'ln(x)': sp.log(x),
'x^2 + 3x + 5': x**2 + 3*x + 5}
print("=== Verifikation der symbolischen Differentiation ===")
for name, f in funcs.items():
print(f"f(x)={name:15s} → f'(x)={sp.diff(f, x)}")
# Produktregel
f = x**2 * sp.exp(x)
print(f"\n(x^2 · e^x)' = {sp.diff(f, x)}")
# Kettenregel: Ableitung von (2x+1)^3
g = (2*x + 1)**3
print(f"((2x+1)^3)' = {sp.diff(g, x)}")
Anwendungsszenarien in der KI
Gradientenberechnung in der Backpropagation
Jede Schicht eines neuronalen Netzwerks verwendet diese grundlegenden Differentiationsregeln. Die lineare Schicht y = Wx + b verwendet die Produktregel für die Ableitung nach dem Parameter W und für b die Tatsache, dass die Ableitung einer Konstante 0 ist.
Herleitung der Ableitung der Sigmoid-Aktivierungsfunktion
\( \sigma(x) = 1/(1+e^{-x}) \); die Anwendung der Quotientenregel ergibt \( \sigma'(x) = \sigma(x)(1-\sigma(x)) \). Diese kompakte Form ist in der Backpropagation extrem schnell zu berechnen – sie benötigt nur den bereits während des Vorwärtsdurchlaufs berechneten Wert \sigma(x); die Exponentialfunktion muss nicht erneut berechnet werden.
Kombinierter Gradient von Softmax + Cross-Entropy
Softmax umfasst Exponentialfunktionen, Summation und Division, und es allein zu differenzieren ist komplex. In Kombination mit der Cross-Entropy-Verlustfunktion vereinfacht sich der Gradient jedoch auf wundersame Weise zu \( \hat{y} - y \) (Vorhersage - wahres Label) – dies ist eine der elegantesten Ableitungsvereinfachungen im Deep Learning und der grundlegende Grund, warum Softmax+CE für Klassifikationsaufgaben Standard ist.
Weitere Erweiterungen