Symboles mathématiques courants
Le premier obstacle à la compréhension des articles et tutoriels sur l'IA n'est souvent pas les mathématiques elles-mêmes, mais les pages remplies de symboles mathématiques.
Ce chapitre organise les symboles les plus couramment utilisés en apprentissage de l'IA dans des tableaux. Vous pouvez d'abord les parcourir rapidement, ou y revenir plus tard lorsque vous avez besoin de chercher quelque chose :
-
À lire dans l'ordreChaque symbole est accompagné d'une explication de son contexte d'utilisation ; parcourez-les grossièrement pour vous faire une impression générale.
-
À consulter au besoinLorsque vous êtes bloqué sur un symbole en lisant des articles ou des tutoriels, revenez au tableau.
La plupart des symboles sont accompagnés d'exemples Python exécutables. Les essayer soi-même une fois est plus efficace que de les lire dix fois.
Nombres et opérations de base
Ces symboles sont utilisés depuis les mathématiques de l'école primaire et constituent la base de toutes les formules.
| Symbole | Signification | Exemple |
|---|---|---|
| Addition, soustraction, multiplication et division | ||
| Signe plus-moins, indiquant deux valeurs possibles | ||
| Différent de | ||
| Inférieur à, supérieur à, inférieur ou égal à, supérieur ou égal à | ||
| Environ égal à | ||
| Valeur absolue, supprime le signe négatif | ||
| Racine carrée | ||
| Racine n-ième | ||
| Carré, puissance n-ième | ||
| Réciproque (exposant négatif) | ||
| Factorielle, multiplier de 1 à n | ||
| Infini |
Dans les articles, le signe de multiplication est généralement omis ou écrit sous la forme d'un petit point :Représente w multiplié par x ; les deux notations ont exactement la même signification.
Variables et conventions relatives aux lettres
En mathématiques, les lettres ne sont pas choisies arbitrairement ; différentes lettres ont des rôles par défaut.
| Lettre | Rôle par défaut | Signification typique dans le contexte de l'IA |
|---|---|---|
| Constante | Un coefficient fixe et invariable | |
| Variable | x est la caractéristique d'entrée, y est l'étiquette de sortie | |
| Poids et biais | Paramètres que le réseau de neurones doit apprendre | |
| Ensemble de paramètres | Terme collectif pour tous les paramètres du modèle, prononcé thêta | |
| Quantité | Nombre d'échantillons, dimension des caractéristiques | |
| Pi | ||
| Nombre d'Euler |
Lorsque vous utilisez à la fois x et X, faites attention à les distinguer :Les minuscules désignent généralement un nombre unique (scalaire), les majuscules désignent généralement une matriceCela sera détaillé dans la section sur les minuscules.
Lorsque vous voyezNe paniquez pas, c'est juste le symbole conventionnel de « paramètre », etIl n'y a pas de différence essentielle ; le choix de l'auteur de l'article relève purement de la préférence.
Exposants et logarithmes
La paire de fonctions la plus courante en IA.
Apparaît dans sigmoid et softmax, responsable « d'amplifier ou de compresser » les valeurs ;Apparaît dans la perte d'entropie croisée, responsable de « transformer la multiplication en addition ».
| Symbole | Signification | Exemple |
|---|---|---|
| a à la puissance n | ||
| Tout nombre non nul élevé à la puissance 0 | ||
| Fonction exponentielle de base e | ||
| Logarithme de x en base a | ||
| Logarithme népérien (base e) | ||
| Dans les articles, il prend généralement la valeur par défaut |
Les quatre règles arithmétiques doivent être maîtrisées ; elles sont utilisées de manière répétée lors de la dérivation des fonctions de perte :
La formule de changement de base permet de convertir un logarithme de base quelconque en logarithme népérien ; elle est couramment utilisée en programmation :
Exemples
# La fonction math.log(x, base) de Python effectue cela en interne
import math
x = 100
base = 2
# Appel direct
print(math.log(x, base))
# Formule manuscrite de changement de base : log_2(100) = ln(100) / ln(2)
print(math.log(x) / math.log(base))
La sortie du code ci-dessus est :
6.643856189774725 6.643856189774725
Pourquoi ajouter une petite constante ε: L’argument d’un logarithme doit être supérieur à 0, mais au début de l’entraînement, le modèle peut produire une probabilité de 0 ; à ce moment-làon obtient un infini négatif, ce qui provoque l’effondrement de l’entraînement.
Par conséquent, dans les implémentations, on l’écrit généralement sous la forme, oùest un très petit nombre positif, comme 0.0000001.
Symboles liés aux fonctions
Une fonction est la « règle de correspondance de l’entrée vers la sortie » ; un réseau de neurones est essentiellement une composition de nombreuses couches de fonctions.
| Symbole | Signification | Exemple / Explication |
|---|---|---|
| Fonction ; le résultat après application de f à x | ||
| f envoie les éléments de l’ensemble A vers l’ensemble B | Décrire la « signature de type » d’une fonction. | |
| Fonction réciproque, annule l'opération de f. | ||
| Fonction composée, calculez d'abord g(x) puis substituez dans f. | ||
| La variation de x. | ||
| La valeur prédite de y (se lit y-hat). | Pour le distinguer de l'étiquette réelle y. | |
| fonction d'activation sigmoïde. |
En apprentissage automatique,(se lit y-hat) désigne spécifiquement la valeur prédite du modèle,désigne l'étiquette réelle ; la différence entre les deux est l'erreur de prédiction.
Les fonctions composées sont essentielles pour comprendre les réseaux de neurones : un réseau à deux couches est essentiellement, la rétropropagation calcule les gradients couche par couche, en s'appuyant précisément sur la règle de la chaîne pour dériver les fonctions composées.
Exemples
# Soit g(x) = x + 1, f(x) = x^2
def g(x):
return x + 1 # Fonction interne
def f(x):
return x ** 2 # Fonction externe
# Composition : d'abord calculer g(x), puis substituer le résultat dans f
print(f(g(3))) # g(3)=4, f(4)=16
print(f(g(3)) == (3 + 1) ** 2)
L'exécution du code ci-dessus produit :
16 True
Sommation et produit
sont, sans conteste, les symboles les plus fréquents dans les formules d'IA.
Cela signifie : laisser l'indice i aller de la borne inférieure à la borne supérieure, et additionner chaque terme.
Se lit « i de 1 à n, somme sur x indice i ». Lire une expression de sommation en trois étapes :
| Étapes | Ce qu'il faut regarder | Dans cet exemple |
|---|---|---|
| 1 | Quelle variable est sommée (indice) | i |
| 2 | Intervalle de sommation (borne inférieure à borne supérieure) | 1 à n |
| 3 | À quoi ressemble chaque terme |
Symbole produitLa structure est la même, remplacez simplement "addition" par "multiplication" :
Les deux formules d'IA les plus courantes reposent sur la sommation :
Perte d'erreur quadratique moyenne :
Somme pondérée d'un neurone :
Exemples
w = [0.5, -1.0, 2.0] # Poids, correspondant à w_i dans la formule
x = [2.0, 3.0, 1.0] # Entrées, correspondant à x_i dans la formule
b = 0.1 # Biais
# sum_{i=1}^{3} w_i * x_i correspond exactement à la ligne suivante
z = sum(wi * xi for wi, xi in zip(w, x)) + b
print(z)
# Vérification développée : 0.5*2 + (-1.0)*3 + 2.0*1 + 0.1
print(0.5*2 + (-1.0)*3 + 2.0*1 + 0.1)
L'exécution du code ci-dessus produit :
0.1 0.1
Ensembles et logique
Les symboles d'ensembles décrivent « à quelle catégorie appartiennent les données », les symboles logiques décrivent « comment les conditions sont combinées », et la théorie des probabilités et de l'apprentissage automatique les utilise abondamment.
| Symbole | Signification | Exemple |
|---|---|---|
| appartient à | ||
| n'appartient pas à | ||
| sous-ensemble | ||
| union | ||
| intersection | ||
| ensemble vide (ne contient aucun élément) | ||
| ensemble des nombres réels | ||
| arbitraire, tout (quantificateur universel) | ||
| il existe (quantificateur existentiel) | ||
| NON logique | ||
| ET logique, OU logique | ||
| implique, implication | ||
| équivalent (si et seulement si) |
Ces symboles apparaissent le plus souvent dans les sections théorème et hypothèses des articles, par exemple,se lit comme « pour tout epsilon supérieur à 0, il existe un N ».
Exposants, indices et plages de valeurs
Cette section résout deux confusions courantes : ce que les indices signifient réellement et comment lire la notation d'intervalle.
Indice : numérotation des variables de même type
Les données d'entraînement comportent de nombreux échantillons ; utiliser x pour tous serait source de confusion, c'est pourquoi des indices sont utilisés pour les distinguer :。
Lorsqu'il y a deux indices, comme, cela signifie généralement « la i-ème ligne et la j-ème colonne », ce qui est exactement un élément d'une matrice.
Un vecteur s'écrit(en gras), ses composantes sont; matriceSa forme est décrite par « lignes × colonnes », notée。
Intervalles et plages de valeurs
Les parenthèses signifient « bornes exclues », et les crochets signifient « bornes incluses ».
| Symbole | Lecture | Signification |
|---|---|---|
| Intervalle ouvert | Tous les nombres entre a et b, en excluant les deux bornes | |
| Intervalle fermé | Tous les nombres entre a et b, en incluant les deux bornes | |
| Intervalle semi-ouvert | Inclut b, exclut a | |
| x appartient à l’intervalle fermé | x prend des valeurs entre 0 et 1, bornes autorisées |
L’intervalle de valeurs de la fonction sigmoïde est, cet intervalle ouvert signifie que la sortie est toujours strictement supérieure à 0 et inférieure à 1, ce qui est exactement la raison mathématique pour laquelle elle peut être utilisée comme une "probabilité".
Table de l’alphabet grec
Les nombreuses lettres grecques dans les articles ne sont pas de la décoration ; chacune a une signification par défaut. Les connaître toutes rendra la lecture des articles beaucoup plus fluide.
| Majuscule | Minuscule | Name | Significations courantes en IA |
|---|---|---|---|
| alpha | Taux d'apprentissage | ||
| bêta | Coefficient de momentum, taux de décroissance du second moment dans Adam | ||
| gamma | Facteur d'actualisation (apprentissage par renforcement) | ||
| delta | Changement, incrément | ||
| epsilon | Très petit nombre positif, probabilité d'exploration | ||
| theta | Paramètres du modèle | ||
| lambda | Coefficient de régularisation | ||
| pi | Politique (apprentissage par renforcement), pi | ||
| sigma | Sommation / fonction sigmoïde, écart type | ||
| phi | Fonction de mappage de caractéristiques | ||
| omega | Poids du modèle (certains articles) |
Le même symbole a des significations différentes selon les domaines :Dans le contexte des fonctions d'activation, il s'agit de la sigmoïde ; dans le contexte statistique, il s'agit de l'écart-type ; et dans les formules de sommation, la majusculeest l'opérateur de sommation. Pour comprendre la signification, il faut d'abord regarder le contexte : c'est l'habitude la plus importante lorsqu'on lit des articles.
Probabilités et statistiques
Le langage fondamental de l'apprentissage automatique. La « confiance » émise par les modèles de classification, la dérivation des fonctions de perte et les méthodes bayésiennes reposent toutes sur ces symboles.
| Symbole | Signification | Exemple / Explication |
|---|---|---|
| Probabilité que l'événement A se produise | ||
| Probabilité conditionnelle : probabilité de A sachant B | La barre verticale se lit « sachant » | |
| Probabilité conjointe : A et B se produisent simultanément | ||
| Théorème de Bayes | Fondement de toutes les méthodes bayésiennes | |
| Espérance (moyenne) | ||
| Variance (degré de dispersion) | ||
| Moyenne | Centre de la distribution des données | |
| Variance (sigma au carré) | ||
| Suit une distribution ... | ||
| Distribution normale (distribution gaussienne) | Entre parenthèses se trouvent la moyenne et la variance | |
| Entropie de l'information |
La perte d'entropie croisée est l'aboutissement de ces symboles, combinant la sommation, la probabilité conditionnelle et le logarithme
Décomposons symbole par symbole :est la véritable étiquette du i-ème échantillon,est la probabilité prédite par le modèle,transforme la multiplication des probabilités en addition, et le signe négatif fait que « plus la perte est petite, mieux c'est ».
est la forme calligraphiée de « Normal », faisant référence à la distribution normale, et non à la lettre N. Les symboles calligraphiés、sont souvent utilisés pour représenter des objets « similaires » tels que les distributions, la perte, et ...
Algèbre linéaire
La structure sous-jacente des réseaux de neurones. Chaque opération matricielle dans les frameworks d'apprentissage profond utilise ces symboles.
| Symbole | Signification | Exemple / Explication |
|---|---|---|
| Vecteur (minuscule en gras) | ||
| Matrice (en gras majuscule) | Un tableau de nombres à m lignes et n colonnes | |
| Transposée : échanger les lignes et les colonnes | Un vecteur ligne devient un vecteur colonne | |
| Multiplication matricielle | Pas une multiplication terme à terme | |
| Multiplication terme à terme (produit de Hadamard) | Multiplier les positions correspondantes de matrices de même forme | |
| Norme (la "longueur" d'un vecteur) | ||
| Norme L1 : somme des valeurs absolues | Base de la régularisation L1 | |
| Inverse d'une matrice | ||
| Matrice identité | Les entrées diagonales sont 1, toutes les autres sont 0 | |
| Produit scalaire (produit intérieur) |
Le produit scalaire est la pierre angulaire du mécanisme d’attention : chaque couche du transformer calcule le produit scalaire entre les vecteurs de requête et les vecteurs de clé, mesurant leur « similarité ».
Exemples
# x · y = sum(x_i * y_i)，||x||_2 = sqrt(sum(x_i^2))
import math
x = [1.0, 2.0, 3.0]
y = [4.0, 0.0, -1.0]
# Produit scalaire x · y
dot = sum(xi * yi for xi, yi in zip(x, y))
print(dot)
# Norme L2 ||x||_2
norm2 = math.sqrt(sum(xi ** 2 for xi in x))
print(norm2)
# Développer et vérifier
print(1.0*4.0 + 2.0*0.0 + 3.0*(-1.0))
print(math.sqrt(1 + 4 + 9))
L'exécution du code ci-dessus produit la sortie suivante :
1.0 3.7416573867739413 1.0 3.7416573867739413
Calcul infinitésimal
L'essence de l'entraînement consiste à « ajuster les paramètres dans la direction opposée au gradient » ; les sections d'optimisation des articles ne peuvent donc pas se passer de ces symboles.
Vous n'avez pas encore besoin de pouvoir les calculer ; il suffit de pouvoir reconnaître chacun d'eux.
| Symbole | Signification | Exemple / Description |
|---|---|---|
| Dérivée : le taux de variation de y par rapport à x | ||
| Notation alternative pour la dérivée | ||
| Dérivée partielle : le taux de variation de f lorsque seul x change | Utilisé pour les fonctions à plusieurs variables | |
| Gradient : un vecteur de toutes les dérivées partielles | ||
| Intégrale, l’opération inverse de la dérivation | ||
| Limite : la valeur lorsque x tend vers a |
La formule la plus importante en apprentissage profond n’utilise que deux lignes du tableau ci-dessus : la règle de mise à jour des paramètres pour la descente de gradient.
Décomposition de chaque symbole :est le paramètre,signifie « mettre à jour le côté gauche avec la valeur de droite »,est le taux d’apprentissage,est le gradient de la fonction de perte J par rapport au paramètre θ.
En une phrase :nouveau paramètre = ancien paramètre − taux d’apprentissage × gradient, c’est-à-dire faire un petit pas dans la direction qui fait diminuer la perte le plus rapidement.
Lu comme nabla ou l’« opérateur gradient », ce n’est pas un nombre mais une instruction pour prendre les dérivées partielles par rapport à toutes les variables qui suivent, un peu comme une fonction d’ordre supérieur en programmation.
Optimisation et autres symboles à haute fréquence
Cette dernière section traite des symboles qui apparaissent sporadiquement dans les articles mais qui sont néanmoins essentiels.
| Symbole | Signification | Exemple / Description |
|---|---|---|
| le x qui maximise f | renvoie x, pas la valeur maximale elle-même | |
| le x qui minimise f | L'entraînement consiste à trouver | |
| le minimum de f | renvoie la valeur elle-même | |
| fonction softmax | ||
| composition de fonctions | ||
| défini comme | le membre de gauche est défini comme la valeur à droite | |
| proportionnel à | ||
| fonction d'activation ReLU | ||
| Notation Big O : ordre de croissance | Ignorer les constantes, ne regarder que l'échelle. |
Ce qu'un modèle de classification fait pendant la prédiction est exactement: prendre la classe avec la probabilité la plus élevée ; argmax renvoie l'indice de classe, pas la valeur de probabilité.
etFacile à confondre :Réponse « quelle est la valeur maximale »,Réponse « en quel x le maximum est atteint. » Les tâches de classification se soucient de cette dernière.
Conseils d'étude
Il n'est pas nécessaire d'apprendre par cœur les tables de symboles ; les méthodes sont plus efficaces que la mémorisation.
Premièrement, prenez l'habitude de décomposer les symboles un par un : lorsque vous obtenez une formule, demandez-vous d'abord si chaque symbole est un opérateur, une variable ou une fonction, puis demandez-vous ce qu'il représente dans le contexte actuel. Après l'avoir décomposée, elle cesse souvent d'être mystérieuse.
Deuxièmement, maîtrisez en priorité trois choses :la sommation, les exposants et les logarithmes, la notation indicielle. Ce sont les prérequis pour lire les formules d'algèbre linéaire et d'analyse. Cet article consacre une section dédiée à chacune.
Troisièmement, lorsque vous rencontrez un symbole inconnu, recherchez directement « nom du symbole + signification mathématique », ce qui est plus rapide que de potasser les manuels.
autres extensionsLes symboles sont la carte, pas le terrain. La véritable compréhension vient du calcul d'exemples concrets avec eux ; chaque exemple Python dans le texte vaut la peine d'être exécuté à la main.