Bayes naïf

Imaginez que vous parcourez une librairie en ligne, et que le système vous recommande « Boule de foudre » en fonction de vos achats précédents de « Le Problème à trois corps » et de « La Terre errante ». Cette fonctionnalité« Recommandé pour vous »utilise probablement l'algorithme Naive Bayes.

Naive Bayes est un algorithme de classification simple et efficace basé sur lethéorème de Bayes, de typeprobabiliste.。

L'idée centrale de Naive Bayes est : à partir de certaines caractéristiques connues (comme les livres que vous avez achetés), calculer la probabilité d'un événement (comme le fait que vous aimiez un autre livre), puis sélectionner la catégorie avec la probabilité la plus élevée comme résultat de prédiction.

Son caractère« Naive »réside dans une hypothèse clé :toutes les caractéristiques sont mutuellement indépendantesAutrement dit, lorsqu'il détermine si vous aimez « Boule de foudre », l'algorithme considère les deux caractéristiques que sont avoir acheté « Le Problème à trois corps » et avoir acheté « La Terre errante » comme indépendantes dans leur influence sur votre décision. Bien qu'en réalité les caractéristiques soient souvent corrélées, cette hypothèse simplifiée rend le calcul très efficace et fonctionne étonnamment bien dans de nombreux scénarios pratiques (en particulier la classification de texte).

Principe fondamental : Théorème de Bayes

Pour comprendre Naive Bayes, vous devez d'abord comprendre sa pierre angulaire—le théorème de Bayes. Il décrit comment mettre à jour la probabilité d'un événement étant donné certaines conditions connues.

1. Formule de Bayes

La formule peut sembler un peu abstraite, mais utilisons un exemple pour la comprendre :

P(A|B) = [P(B|A) * P(A)] / P(B)

Scénario: Déterminer si un e-mail est un spam (Spam).

• A: L'événement selon lequel l'e-mail est "spam".
• B: La caractéristique selon laquelle l'e-mail contient le mot "free".
• P(A): La probabilité qu'un e-mail quelconque soit un spam, c'est-à-dire laprobabilité a priori(par exemple, d'après les données historiques, 20 e-mails sur 100 sont du spam, donc P(spam) = 0.2).
• P(B|A): Étant donné que l'e-mail est un spam, la probabilité que le mot "free" y apparaisse, c'est-à-dire laprobabilité conditionnelle(par exemple, 80% des e-mails de spam contiennent "free", donc P(free|spam) = 0.8).
• P(B): La probabilité que le mot "free" apparaisse dans n'importe quel e-mail, c'est-à-dire laprobabilité globale。
• P(A|B): Ce que nous cherchons finalement à déterminer : sous la conditionque l'e-mail soit connu comme contenant le mot "free", la probabilité que cet e-mail soit un spamprobabilité a posteriori。

L'essence du théorème de Bayes: Il utilise les informations que nous connaissons déjà (la règle générale du spamP(A)et les habitudes d'utilisation des mots de spamP(B|A)), combinées à une preuve nouvellement observée (cet e-mail contient "free"), pour réviser notre jugement sur cet événement précis (la probabilité que cet e-mail soit un spamP(A|B)）。

2. Où est le "Naïf" ?

Un véritable classifieur bayésien, lorsqu'il calculeP(B|A), doit prendre en compte la probabilité conjointe de toutes les caractéristiques (B1, B2, B3...)P(B1， B2， B3... | A), ce qui est très complexe.

Naive Bayes fait une puissante hypothèse simplificatrice :toutes les caractéristiques sont conditionnellement indépendantes les unes des autres. Cela signifie :

P(B1， B2， B3... | A) ≈ P(B1|A) * P(B2|A) * P(B3|A) * ...

Cette hypothèse réduit le calcul complexe de probabilité conjointe à la multiplication de plusieurs probabilités simples, ce qui réduit considérablement le coût de calcul.

3. Flux de travail et types de classificateurs

Le flux de travail d’un classificateur Naive Bayes peut être résumé par les étapes suivantes :

Selon les différents types de données de caractéristiques, Naive Bayes présente principalement les variantes suivantes :

4. Mise en pratique : implémenter la classification de spam avec Python

Utilisons un exemple simplifié pour implémenter manuellement un classificateur de spam basé sur Naive Bayes multinomial.

1. Scénario et préparation des données

Nous avons quelques textes d'e-mails pré-étiquetés (spamouhame-mails normaux).

2. Étapes de mise en œuvre du code

3. Explication du code

Séparation des données: Stockez le texte et les étiquettes des données d'entraînement dans deux listes distinctes ; c'est lesklearnformat requis par la bibliothèque.

Construire le pipeline du modèle：

• CountVectorizer(): Il s'agit d'unextracteur de caractéristiques textuelles. Il convertit chaque e-mail (un texte) en un vecteur numérique. Chaque position du vecteur représente un mot (par ex. « free », « meeting »), et la valeur représente le nombre de fois où ce mot apparaît dans l'e-mail.
• MultinomialNB(): Voici notreclassificateur bayésien naïf multinomial. Il reçoit les vecteurs numériques produits à l'étape précédente et apprend la relation probabiliste entre ces vecteurs et les étiquettes (spam/ham).
• make_pipeline()Il enchaîne automatiquement ces deux étapes : d'abord la transformation, puis la classification pendant l'entraînement, et il en va de même pour la prédiction.

Entraînement du modèle：model.fit(texts, labels)C'est le processus d'entraînement central. L'algorithme calcule ici :

• Probabilité a prioriP(ham)etP(spam)。
• Pour chaque mot :hametspamprobabilité conditionnelle selon la catégorieP(单词 | ham)etP(单词 | spam)。

Prédiction et sortie: Pour un nouvel e-mail, le modèle le convertit d'abord en un vecteur de caractéristiques, puis calcule la probabilité qu'il appartienne à chaque catégorie selon la formule de Bayes, et enfin produit la catégorie ayant la probabilité la plus élevée.

Sortie :

  属于'ham'的概率: 0.5000
  属于'spam'的概率: 0.5000
----------------------------------------
邮件内容: "明天上午十点电话会议讨论预算"
  预测类别: ham
  属于'ham'的概率: 0.5000
  属于'spam'的概率: 0.5000

5. Avantages, inconvénients et précautions

Avantages

• Simple et efficace: Le principe est simple, et l'entraînement et la prédiction sont très rapides, ce qui le rend adapté aux jeux de données à grande échelle.
• Bonnes performances sur des données à petite échelle: Même avec des données d'entraînement limitées, il peut encore obtenir de bons résultats.
• Adapté aux données de grande dimension: Particulièrement performant pour traiter des données dont la dimension des caractéristiques (nombre de mots) est très élevée, comme le texte.
• Relativement robuste aux caractéristiques non pertinentes: En raison de l'hypothèse d'indépendance « naïve », les caractéristiques non pertinentes individuelles ont peu d'impact sur le résultat global.

Inconvénients et précautions

• Limites de l'hypothèse « naïve »: En réalité, les caractéristiques sont souvent corrélées, et cette hypothèse forte peut affecter la précision. Par exemple, dans le texte, « New York » et « Times » apparaissent souvent ensemble et ne sont pas indépendants.
• Exactitude de l'estimation de probabilité: Les valeurs de « probabilité » calculées servent davantage au classement pour la classification ; leurs valeurs absolues peuvent ne pas être entièrement exactes.
• Problème de probabilité nulle: Si une caractéristique n'apparaît jamais dans une certaine catégorie dans l'ensemble d'entraînement, sa probabilité conditionnelle est 0, ce qui entraînera une probabilité a posteriori globale de 0. Lelissage de Laplacecouramment utilisé (danssklearnvia lealpharéglage du paramètre) est utilisé pour résoudre ce problème, c'est-à-dire en ajoutant une petite constante aux effectifs de toutes les caractéristiques afin d'éviter les valeurs nulles.

6. Exercices et défis

Pour consolider votre compréhension de Naive Bayes, essayez les exercices suivants :

1. Exercice de modification: Dans le code ci-dessus, essayez d'ajouter davantage de données d'entraînement, en particulier des e-mails contenant des mots tels que "lien", "réunion" et "rapport", et observez les changements dans les résultats de prédiction et les probabilités.
2. Réglage du paramètre: Reportez-vous à lasklearndocumentation pour comprendreMultinomialNB'salphale paramètre (paramètre de lissage). Essayez de le définir à 0.1, 0.5, 1.0, et observez l'impact que cela a sur les probabilités prédites.
3. Changer de classifieur: Dans le code, remplacez leMultinomialNB()withBernoulliNB()(Naive Bayes de Bernoulli). Notez queCountVectorizervous devrez peut-être définirbinary=Truepour générer des caractéristiques binaires. Comparez les performances des deux sur un exemple simple.
4. Défi pratique: Utilisez lesklearnintégréfetch_20newsgroupsjeu de données (un jeu de données classique de classification de textes d'actualités) et essayez d'utiliser Naive Bayes pour classer des actualités sur différents sujets.

Naive Bayes est un excellent point de départ pour apprendre l'apprentissage automatique. Avec des formules mathématiques concises, il démontre le charme de la théorie des probabilités et, par son aspect pratique, il occupe fermement une place dans des domaines tels que la classification de texte, les systèmes de recommandation et l'analyse de sentiments. Le comprendre signifie que vous avez saisi la première clé pour ouvrir la boîte noire de nombreuses applications intelligentes.