Einführung in die Ableitung -- Momentane Änderungsrate und Tangente
Ableitung = die momentane Änderungsrate einer Funktion an einem Punkt = die Steigung der Tangente an diesem Punkt.
Das Verständnis der Ableitung hilft zu verstehen, warum sich der Gradientenabstieg in die entgegengesetzte Richtung bewegt.
Von der durchschnittlichen Änderungsrate zur momentanen Änderungsrate
Durchschnittliche Änderungsrate (Sekantensteigung) → Δx wird immer kleiner → Sekante wird zur Tangente →Ableitung = Steigung der Tangente。
Das Vorzeichen der Ableitung verrät das Verhalten der Funktion
f'(x) > 0
Die Funktion steigt hier
Die Tangente steigt nach rechts an
f'(x) < 0
Die Funktion fällt hier
Die Tangente fällt nach rechts ab
f'(x) = 0
Horizontal — möglicherweise ein Extremum
Die Tangente ist horizontal
Die Intuition hinter dem Gradientenabstieg liegt im Vorzeichen der Ableitung:
f'(x) > 0 → die Funktion steigt → bewege dich in die entgegengesetzte Richtung. f'(x) < 0 → die Funktion fällt → bewege dich weiter in diese Richtung.
Dies ist der Ursprung der 'negativen Gradientenrichtung'.
Praxisbeispiel
Tachometer = Ableitung der Ortsfunktion
Die gesamte Fahrt war 120 km lang und dauerte 2 Stunden → Durchschnittsgeschwindigkeit 60 km/h.
Aber die momentane Geschwindigkeit auf dem Tacho ändert sich ständig. Diese 'Geschwindigkeit in diesem Moment' ist die Ableitung der Wegfunktion nach der Zeit.
Mathematische Definition
\[ f'(x) = \lim_{\Delta x \to 0} \frac{f(x + \Delta x) - f(x)}{\Delta x} \]Wenn dieser Grenzwert existiert, ist f an der Stelle x differenzierbar.
Praktische Python-Übung
Beispiel
def numerical_derivative(f, x, h=1e-5):
return (f(x + h) - f(x - h)) / (2 * h)
f = lambda x: x**2
# f'(2) = 2*2 = 4
print(f"f'(2) value={numerical_derivative(f, 2):.6f}, theoretical=4")
# Ableitung an jedem Punkt
for x in [-2, -1, 0, 1, 2]:
d = numerical_derivative(f, x)
dir = falling if d < 0 else (rising if d > 0 else horizontal)
print(f"x={x:2d}, f'(x)={d:5.1f}, {dir}")
f'(2) 数值=4.000000, 理论=4 x=-2, f'(x)= -4.0, 下降 x=-1, f'(x)= -2.0, 下降 x= 0, f'(x)= 0.0, 水平 x= 1, f'(x)= 2.0, 上升 x= 2, f'(x)= 4.0, 上升
Anwendungsszenarien in der KI
Eindimensionaler Prototyp des Gradientenabstiegs
Für eine univariate Funktion reduziert sich der Gradientenabstieg auf \( x_{new} = x_{old} - \eta \cdot f'(x_{old}) \). Die Ableitung sagt Ihnen, in welche Richtung der Funktionswert abnimmt — wenn die Ableitung positiv ist, bewegen Sie sich nach links; wenn sie negativ ist, nach rechts.
Die Ableitung der Aktivierungsfunktion bestimmt die Effizienz der Backpropagation
Die Ableitung von ReLU ist 1, wenn x > 0, und 0, wenn x ≤ 0. Sie ist extrem schnell zu berechnen, und der Gradient klingt im positiven Bereich nicht ab — dies ist der Hauptgrund, warum ReLU für tiefe Netzwerke besser geeignet ist als Sigmoid. Die maximale Ableitung von Sigmoid beträgt nur 0.25, und nach der Multiplikation über mehrere Schichten hinweg klingt der Gradient exponentiell ab (verschwindender Gradient).
Die Ableitung der Verlustfunktion ist bei der optimalen Lösung null
Wenn das Modell zu einem lokalen Optimum konvergiert, sind die partiellen Ableitungen der Verlustfunktion nach allen Parametern nahe bei 0 — der Gradientenabstieg stoppt von selbst. Dies ist ein Signal für die Trainingskonvergenz: die Gradientennorm ||\nabla J|| \approx 0.
Weitere Erweiterungen