Règles de dérivation courantes — Puissance, Exponentielle et Logarithme
Dans le chapitre précédent, nous avons compris la signification des dérivées. Dans ce chapitre, nous maîtrisons le calcul effectif. Les trois types de règles de dérivation les plus utilisés en IA — mémorisez-les et vous pourrez gérer la plupart des scénarios.
Tableau de référence rapide des dérivées des fonctions de base
| Fonction f(x) | Dérivée f'(x) | Scénarios en IA |
|---|---|---|
| \( c \) (constante) | \( 0 \) | La constante disparaît lorsqu'on dérive le terme de biais |
| \( x^n \) | \( nx^{n-1} \) | \( x^2 \) dans la perte MSE |
| \( e^x \) | \( e^x \) | Sigmoid, Softmax |
| \( \ln x \) | \( \frac{1}{x} \) | Perte d'entropie croisée |
Règles de dérivation pour les quatre opérations arithmétiques
| Règle | Formule |
|---|---|
| Somme/différence | \( (f \pm g)' = f' \pm g' \) |
| Produit | \( (fg)' = f'g + fg' \) |
| Multiplication par un scalaire | \( (cf)' = cf' \) |
La dérivée la plus importante :\( (e^x)' = e^x \)—La dérivée de la fonction exponentielle est égale à elle-même.
Cela rend la fonction exponentielle omniprésente dans les équations différentielles et l'apprentissage profond.
Exemples du quotidien
Apprendre les règles de dérivation, c'est comme apprendre à manier le couteau en cuisine — chaque règle est une compétence de base, et les combiner permet de s'attaquer à n'importe quelle recette.
\( (e^x)' = e^x \) est comme un ingrédient immuable : quelle que soit la façon dont vous le transformez, il reste toujours identique.
Définition mathématique
Dérivation des fonctions puissance : réduisez l'exposant de un et multipliez par l'exposant d'origine
\[ \frac{d}{dx} x^n = n x^{n-1} \]C'est la formule de dérivation la plus élémentaire. Par exemple, \( (x^2)' = 2x \), \( (x^3)' = 3x^2 \).
Dans la perte MSE, \( (y - \hat{y})^2 \) est une fonction puissance ; la dériver donne \( 2(y - \hat{y}) \).
Dérivation de la fonction exponentielle : la dérivée est elle-même
\[ \frac{d}{dx} e^x = e^x \]C'est l'une des fonctions les plus uniques en mathématiques.La dérivée de e^x est encore e^x — peu importe combien de fois on la dérive, elle reste la même.
Cette propriété fait que e^x apparaît de façon répétée dans la fonction sigmoïde \( \sigma(x) = 1/(1+e^{-x}) \) et Softmax.
Dérivation de la fonction logarithme
\[ \frac{d}{dx} \ln x = \frac{1}{x} \]La dérivée du terme log dans la perte d'entropie croisée utilise ceci. Les dérivées du logarithme et de l'exponentielle sont réciproques — ce sont des fonctions inverses l'une de l'autre.
Règle de la somme et de la différence
\[ (f \pm g)' = f' \pm g' \]La dérivée d'une somme = la somme des dérivées. L'opération de dérivation peut « passer à travers » les signes plus et moins, en dérivant chaque terme séparément.
Règle du produit
\[ (f \cdot g)' = f' \cdot g + f \cdot g' \]La dérivée d'un produit ≠ le produit des dérivées. Au lieu de cela, c'est « dérivée du premier fois le second + le premier fois la dérivée du second ».
Cette règle apparaît fréquemment dans la rétropropagation—lors du calcul de la dérivée partielle de \( w \cdot x \) par rapport à w, la règle du produit est utilisée.
Combiner ces trois types de fonctions et ces trois règles permet de trouver les dérivées de la grande majorité des fonctions en IA.
Par exemple, la dérivée de la sigmoïde \( \sigma'(x) = \sigma(x)(1-\sigma(x)) \) est obtenue en appliquant de manière complète la règle du quotient, la dérivation de la fonction exponentielle et la règle de la chaîne.
Python pratique
Exemple
x = sp.Symbol('x')
funcs = {'x^3': x**3, 'e^x': sp.exp(x), 'ln(x)': sp.log(x),
'x^2 + 3x + 5': x**2 + 3*x + 5}
print("=== Vérification de la dérivation symbolique ===")
for name, f in funcs.items():
print(f"f(x)={name:15s} → f'(x)={sp.diff(f, x)}")
# Règle du produit
f = x**2 * sp.exp(x)
print(f"\n(x^2 · e^x)' = {sp.diff(f, x)}")
# Règle de la chaîne : dérivée de (2x+1)^3
g = (2*x + 1)**3
print(f"((2x+1)^3)' = {sp.diff(g, x)}")
Scénarios d'application en IA
Calcul du gradient en rétropropagation
Chaque couche d'un réseau de neurones fait intervenir ces règles de dérivation de base. La couche linéaire y = Wx + b utilise la règle du produit pour la dérivée par rapport au paramètre W, et pour b utilise le fait que la dérivée d'une constante est 0.
Calcul de la dérivée de la fonction d'activation Sigmoïde
\( \sigma(x) = 1/(1+e^{-x}) \), en utilisant la règle du quotient, on obtient \( \sigma'(x) = \sigma(x)(1-\sigma(x)) \). Cette forme compacte est extrêmement rapide à calculer en rétropropagation — elle n'a besoin que de la valeur de \sigma(x) déjà calculée lors de la propagation avant, sans avoir à recalculer l'exponentielle.
Gradient combiné de Softmax + entropie croisée
Softmax fait intervenir des exponentielles, une somme et une division, et le dériver seul est complexe. Mais lorsqu'il est combiné à la perte d'entropie croisée, le gradient se simplifie miraculeusement en \( \hat{y} - y \) (prédiction - vraie étiquette) — c'est l'une des simplifications de dérivée les plus élégantes en apprentissage profond, et la raison fondamentale pour laquelle Softmax+CE est la norme pour les tâches de classification.
Autres extensions