Estimation par maximum de vraisemblance et estimation du maximum a posteriori

MLE et MAP sont deux méthodes fondamentales de l’inférence statistique.L’essence de l’entraînement des réseaux de neurones ≈ l’estimation par maximum de vraisemblance.

Analyse du concept

Supposons que vous disposiez d’un ensemble de données observées et que vous pensiez que ces données proviennent d’un type connu de distribution de probabilité (par ex. une distribution normale), mais que vous ne connaissiez pas les paramètres de cette distribution (moyenne μ et écart type σ).

MLE et MAP répondent à la même question : étant donné les données, quelle est la valeur de paramètre la plus raisonnable ?

La différence est que MLE ne regarde que les données elles-mêmes, tandis que MAP fait aussi référence à vos connaissances a priori sur les paramètres.

Vraisemblance vs probabilité : deux façons de voir la même chose

Probabilité P(données|paramètres) : les paramètres sont fixés, on demande « Étant donné ces paramètres, quelle est la probabilité d’observer ces données ? »

Vraisemblance L(paramètres|données) : les données sont fixées, on demande « Quelle valeur de paramètre est la plus susceptible de produire ces données ? »

La valeur de la fonction de vraisemblance elle-même n'est pas normalisée (la somme ne doit pas nécessairement être égale à 1) ; son importance réside dansla comparaison de la plausibilité relative de différentes valeurs de paramètres。

MLE : quels paramètres sont les plus susceptibles de générer ces données ?

\[ \hat{\theta}_{\text{MLE}} = \arg\max_\theta P(D | \theta) \]

En ne regardant que les données, choisissez les paramètres qui sont les plus susceptibles de produire les données observées.

Pourquoi prendre le logarithme ?

  • Le produit devient une somme : numériquement plus stable (évite le sous-dépassement)
  • La dérivation est plus facile : le logarithme transforme la multiplication en addition
  • Ne change pas les extrema : le logarithme est une fonction monotone croissante

MAP : prise en compte de connaissances a priori

\[ \hat{\theta}_{\text{MAP}} = \arg\max_\theta P(\theta | D) = \arg\max_\theta P(D | \theta) \cdot P(\theta) \]

MAP = MLE + loi a priori P(θ). Lorsque la loi a priori est une distribution uniforme, MAP = MLE.

MLE ne regarde que les données, MAP regarde aussi la loi a priori. Lorsque les données sont nombreuses, l'influence de la loi a priori est diluée et MAP se rapproche de MLE.

Lorsque les données sont peu nombreuses, l'a priori agit comme une « régularisation » — la régularisation L2 ≡ MAP avec un a priori gaussien.

Exemple concret

Estimation des ventes quotidiennes moyennes

Ventes quotidiennes d'une boutique en ligne sur 10 jours consécutifs : [23, 25, 22, 24, 26, 23, 25, 24, 22, 24].

Supposons que les ventes suivent une distribution normale. L'estimation MLE de la moyenne = la moyenne de ces nombres ≈ 23.8.

Intuitivement, vous feriez cela aussi — MLE transforme simplement l'intuition en mathématiques.

Travaux pratiques avec Python

Exemple

import numpy as np

np.random.seed(42)
data = np.random.normal(5.0, 2.0, 100)  # Vrai μ=5, σ=2

# MLE : μ = moyenne de l'échantillon
mu_mle = np.mean(data)
print(f"MLE μ = {mu_mle:.3f} (vrai=5.0)")

# MAP : a priori μ ~ N(0, 1), se contracte vers l'a priori
prior_mu, prior_var = 0.0, 1.0
n = len(data)
mu_map = (prior_mu/prior_var + n*mu_mle/np.std(data)**2) / (1/prior_var + n/np.std(data)**2)
print(f"MAP μ = {mu_map:.3f} (compromis entre MLE et le prior 0)")

Sortie de l'exécution :

MLE μ = 4.968 (真实=5.0)
MAP μ = 4.776 (在MLE和先验0之间折中)

Scénarios d'application en IA

Conception de la fonction de perte = MLE

Minimiser la perte d'entropie croisée ≈ estimation du maximum de vraisemblance sous une hypothèse de distribution multinomiale. Minimiser MSE ≈ MLE sous une hypothèse de distribution d'erreur normale. La fonction de perte n'est pas choisie arbitrairement — chaque fonction de perte correspond à une hypothèse de distribution de probabilité implicite.

Régularisation L2 = MAP avec a priori gaussien

Ajouter \( \lambda\|w\|^2 \) à la perte équivaut à supposer que la loi a priori des poids w est \( N(0, 1/\lambda) \). MAP réalise un compromis entre la vraisemblance des données et la loi a priori — lorsque les données sont rares, la loi a priori domine (les poids tendent vers 0) ; lorsque les données sont abondantes, la vraisemblance domine.

Régularisation L1 = MAP avec a priori de Laplace

Ajouter \( \lambda\|w\|_1 \) à la perte équivaut à supposer que la loi a priori des poids w est une distribution \( Laplace(0, 1/\lambda) \). La distribution de Laplace est pointue en 0 — MAP tend à produire des solutions parcimonieuses (de nombreux poids exactement à 0), ce qui permet une sélection automatique des variables.

Réseaux de neurones bayésiens

Les poids d'un réseau de neurones ordinaire sont des estimations ponctuelles déterministes (MLE/MAP). Un réseau de neurones bayésien attribue une distribution de probabilité (a posteriori) à chaque poids, et la sortie est également une distribution de probabilité — offrant ainsi une estimation naturelle de l'incertitude. Lors de la prédiction, vous pouvez échantillonner les poids plusieurs fois et examiner la variance des sorties pour juger la confiance du modèle dans ses propres prédictions.

Autres extensions