Métriques de classification

Dans le monde de l'apprentissage automatique, construire un modèle de classification n'est que la première étape. Tout comme un médecin ne peut pas juger une maladie par simple intuition, nous avons aussi besoin d'un ensemble de mesures scientifiquesde contrôle de santépour évaluer la santé du modèle. Ces métriques sontmétriques de classification, qui peuvent nous dire à quel point les prédictions du modèle sont précises, ce qu'il fait bien et où il échoue.

Aujourd'hui, nous allons découvrir ensemble ces outils d'évaluation essentiels.

Pourquoi avons-nous besoin de métriques de classification ?

Imaginez que vous avez entraîné un modèle pour identifier si un e-mail est un spam. Le modèle a fait des prédictions sur 100 e-mails, et vous pourriez demander :

• "Combien en a-t-il prédit correctement ?" -> Cela mène àl'exactitude。
• "Parmi les e-mails qui sont réellement du spam, combien en a-t-il trouvés ?" -> Cela mène aurappel。
• « Parmi les e-mails qu'il a déclarés comme spam, combien sont réellement du spam ? » -> Cela mène àla précision。

Si nous jugeons uniquement par le nombre de réponses correctes, c'est comme évaluer un étudiant uniquement par sa note totale à l'examen, en ignorant beaucoup d'informations importantes. Différents scénarios métier ont des priorités différentes :

• Diagnostic médical: Nous tenons davantage à ne manquer aucun patient (rappel élevé), même si cela signifie examiner plus de personnes en bonne santé (sacrifier un peu de précision).
• Filtrage des spams: Nous tenons davantage à ne pas jeter d'e-mails importants dans le dossier des indésirables (précision élevée), même si cela signifie manquer certains e-mails indésirables (sacrifier un peu de rappel).

Par conséquent, nous avons besoin d'une série de métriques pour évaluer de manière complète les performances du modèle sous différents angles.

Concept clé : Matrice de confusion

Presque toutes les métriques de classification proviennent d'un outil puissant —la matrice de confusion.Il s'agit d'une « carte panoramique » pour comprendre les résultats de prédiction du modèle.

Qu'est-ce qu'une matrice de confusion ?

C'est un tableau qui montre les quatre situations possibles entre les résultats prédits par le modèle et les vraies étiquettes.

Pour mieux le comprendre, visualisons-le :

Décomposons ces quatre termes essentiels :

Astuce mnémotechnique：

• Vrai/Fauxfait référence àsi la prédiction est correcte。
• Positif/Négatifdésignele résultat de prédiction du modèle。

3. Explication détaillée des métriques de classification principales

Avec la matrice de confusion, nous pouvons dériver diverses métriques d'évaluation, tout comme en calculant avec des formules.

1. Exactitude - La métrique la plus intuitive

Exactitudemesure la proportion d'échantillons correctement prédits sur l'ensemble des échantillons.

\[ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} \]

Caractéristiques et limites：

• Avantages: Très intuitif et facile à comprendre.
• Inconvénients: Dansles données déséquilibrées,cela peut être trompeur. Par exemple, si 99% des e-mails sont normaux, un « modèle naïf » qui prédit tous les e-mails comme normaux peut aussi atteindre 99% d'exactitude, mais il ne peut pas détecter un seul e-mail spam.

2. Précision - La métrique « Qualité plutôt que quantité »

La précisionse concentre sur le nombre d'échantillons positifs prédits par le modèlequi sont réellement de vrais positifs. Elle mesure lafiabilitédes résultats de prédiction ouet la précision.。

\[ \text{Precision} = \frac{TP}{TP + FP} \]

Question: Parmi les e-mails que nous avons prédits comme spam, combien sont réellement du spam ?Une précision élevée signifie: Lorsque le modèle dit « ceci est du spam », la crédibilité est très élevée.

3. Rappel - La métrique « Mieux vaut ratisser large »

Le rappelse concentre sur tous les échantillons réellementpositifscombien ont été trouvés par le modèle. Il mesure la capacité du modèleà découvrir des échantillons positifs.。

\[ \text{Rappel} = \frac{TP}{TP + FN} \]

Question: Sur tous les e-mails spam réels, combien en avons-nous trouvés ?Un rappel élevé signifie: Le modèle rate rarement de vrais e-mails spam.

4. Score F1 - La moyenne harmonique de la précision et du rappel

La précision et le rappel sont généralement en tension (améliorer l'un abaisse souvent l'autre).Le score F1est la moyenne harmonique des deux, visant à trouver un équilibre.

\[ \text{Score F1} = 2 \times \frac{\text{Précision} \times \text{Rappel}}{\text{Précision} + \text{Rappel}} \]

Caractéristiques de la moyenne harmonique: Elle tend à pénaliser les valeurs extrêmes. Ce n'est que lorsque la précision et le rappel sont tous deux élevés que le score F1 sera élevé.

Guide de comparaison et de sélection des métriques

4. Métriques avancées : courbe ROC et AUC

Lorsque le résultat de prédiction du modèle est une valeur de probabilité (par exemple, la probabilité qu'un e-mail soit un spam est de 0.8), nous devons définir unseuil(par exemple, 0.5) pour décider de la classification finale. La courbe ROC nous aide à évaluer la performance globale du modèle sous différents seuils.

1. Taux de vrais positifs et taux de faux positifs

• Taux de vrais positifs (TPR): est en fait lerappel。TPR = TP / (TP + FN)
• Taux de faux positifs (FPR): La proportion de tous les échantillons réellement négatifs qui sont incorrectement prédits comme positifs. FPR = FP / (FP + TN)

2. Courbe ROC

La courbe ROC utiliseFPR comme axe horizontal，TPR comme axe vertical. Chaque point de la courbe correspond à un seuil de classification spécifique.

• Point idéal: coin supérieur gauche (0, 1), c'est-à-dire FPR=0 (aucun faux positif), TPR=1 (tous rappelés).
• Ligne aléatoire: diagonale de (0,0) à (1,1), représentant la performance d'un modèle qui devine au hasard.

3. Valeur de l'AUC

L'AUC est l'aire sous la courbe ROC.

• AUC = 1: modèle parfait.
• AUC = 0.5: le modèle n'a aucune capacité discriminante, équivalent à deviner au hasard.
• 0.5 < AUC < 1: le modèle a une certaine capacité prédictive, plus la valeur est élevée, mieux c'est.
• AUC < 0.5: le modèle est moins bon que deviner au hasard, ce qui signifie généralement que le sens de la prédiction est inversé.

L'avantage de l'AUC est qu'ilest insensible au déséquilibre des classes, et qu'il évalue la capacité de classement globale du modèle (la capacité à classer les échantillons positifs avant les échantillons négatifs).

Sortie :

AUC 值: 1.00

Métriques pour les problèmes de classification multiclasse

Lorsqu'il y a plus de deux classes (par exemple, identifier des chats, des chiens, des lapins), les métriques ci-dessus peuvent être étendues de la manière suivante :

1. Moyenne macro: calculez d'abord la métrique pour chaque classe (par ex., la précision), puis prenez la moyenne arithmétique des métriques de toutes les classes.Traiter chaque classe de manière égale。
2. Moyenne micro: agrégez d'abord les TP, FP, etc. de toutes les classes, puis utilisez les valeurs agrégées pour calculer une métrique globale.Traiter chaque échantillon de manière égale, plus influencée par les classes nombreuses.

Dans Scikit-learn, vous pouvez spécifier viaaverageles paramètres :

6. Exercice pratique : Évaluation complète d'un modèle de classification

Maintenant, entraînons-nous avec un jeu de données réel. Nous allons utiliser le célèbre jeu de données Iris.

Exécutez ce code et vous verrez un rapport complet d'évaluation du modèle. Essayez de modifier les paramètres du modèle ou d'utiliser un modèle différent (tel quesklearn.tree.DecisionTreeClassifier) et observez comment ces métriques changent.

=== 混淆矩阵 ===
[[19  0  0]
 [ 0 13  0]
 [ 0  0 13]]

=== 分类报告（包含精确率、召回率、F1）===
              precision    recall  f1-score   support

      setosa       1.00      1.00      1.00        19
  versicolor       1.00      1.00      1.00        13
   virginica       1.00      1.00      1.00        13

    accuracy                           1.00        45
   macro avg       1.00      1.00      1.00        45
weighted avg       1.00      1.00      1.00        45


=== 准确率 ===
1.0000

=== 宏平均 AUC (OvR) ===
1.0000