Introduction à la dérivée -- Taux de variation instantané et droite tangente
Dérivée = le taux de variation instantané d'une fonction en un point = la pente de la droite tangente en ce point.
Comprendre la dérivée vous aide à comprendre pourquoi la descente de gradient se déplace dans la direction opposée.
Du taux de variation moyen au taux de variation instantané
Taux de variation moyen (pente de la sécante) → Δx devient de plus en plus petit → la sécante devient tangente →Dérivée = pente de la droite tangente。
Le signe de la dérivée révèle le comportement de la fonction
f'(x) > 0
La fonction est croissante ici
La droite tangente est inclinée vers le haut à droite
f'(x) < 0
La fonction est décroissante ici
La droite tangente est inclinée vers le bas à droite
f'(x) = 0
Horizontale — peut-être un extremum
La droite tangente est horizontale
L'intuition derrière la descente de gradient réside dans le signe de la dérivée :
f'(x) > 0 → la fonction est croissante → se déplacer dans la direction opposée. f'(x) < 0 → la fonction est décroissante → continuer à se déplacer dans cette direction.
C'est la racine de la « direction du gradient négatif ».
Exemple concret
Compteur de vitesse = dérivée de la fonction de position
Le trajet complet était de 120 km et a duré 2 heures → vitesse moyenne 60 km/h.
Mais la vitesse instantanée affichée au tableau de bord ne cesse de changer. Cette « vitesse à cet instant » est la dérivée de la fonction de distance par rapport au temps.
Définition mathématique
\[ f'(x) = \lim_{\Delta x \to 0} \frac{f(x + \Delta x) - f(x)}{\Delta x} \]Si cette limite existe, f est dérivable en x.
Exercice pratique Python
Exemple
def numerical_derivative(f, x, h=1e-5):
return (f(x + h) - f(x - h)) / (2 * h)
f = lambda x: x**2
# f'(2) = 2*2 = 4
print(f"f'(2) value={numerical_derivative(f, 2):.6f}, theoretical=4")
# Dérivée en chaque point
for x in [-2, -1, 0, 1, 2]:
d = numerical_derivative(f, x)
dir = falling if d < 0 else (rising if d > 0 else horizontal)
print(f"x={x:2d}, f'(x)={d:5.1f}, {dir}")
f'(2) 数值=4.000000, 理论=4 x=-2, f'(x)= -4.0, 下降 x=-1, f'(x)= -2.0, 下降 x= 0, f'(x)= 0.0, 水平 x= 1, f'(x)= 2.0, 上升 x= 2, f'(x)= 4.0, 上升
Scénarios d'application en IA
Prototype unidimensionnel de la descente de gradient
Pour une fonction univariée, la descente de gradient se réduit à \( x_{new} = x_{old} - \eta \cdot f'(x_{old}) \). La dérivée indique dans quelle direction la valeur de la fonction diminue — si la dérivée est positive, se déplacer vers la gauche ; si elle est négative, vers la droite.
La dérivée de la fonction d'activation détermine l'efficacité de la rétropropagation
La dérivée de ReLU vaut 1 lorsque x > 0 et 0 lorsque x ≤ 0. Son calcul est extrêmement rapide, et le gradient ne diminue pas dans la région positive — c'est la raison clé pour laquelle ReLU est plus adapté aux réseaux profonds que Sigmoid. La dérivée maximale de Sigmoid n'est que de 0.25, et après avoir été multiplié à travers plusieurs couches, le gradient décroît exponentiellement (gradient évanescent).
La dérivée de la fonction de perte est nulle à la solution optimale
Lorsque le modèle converge vers un optimum local, les dérivées partielles de la fonction de perte par rapport à tous les paramètres sont proches de 0 — la descente de gradient s'arrête naturellement. C'est un signal de convergence de l'entraînement : la norme du gradient ||\nabla J|| \approx 0.
Autres extensions