Evaluierung von Regressionsmodellen

In der Welt des maschinellen Lernens ist das Erstellen eines Modells nur der erste Schritt. So wie wir einen Kuchen backen, müssen wir ihn probieren, um zu wissen, ob er gelungen ist. Für Regressionsmodelle (eine Art von Modell, das zur Vorhersage kontinuierlicher numerischer Werte wie Hauspreise, Temperatur oder Verkaufszahlen verwendet wird),Modellbewertungist unserVerkostungsschritt. Sie sagt uns, wie genau die Vorhersagen des Modells sind, wo es gut abschneidet und wo Verbesserungspotenzial besteht.

Dieser Artikel führt Sie durch eine systematische Untersuchung der Bewertungsmethoden für Regressionsmodelle, von Kernkonzepten über spezifische Metriken bis hin zur Codepraxis, sodass Sie nicht nur Bewertungsberichte verstehen, sondern Ihr Modell auch selbst "bewerten" können.

Kernkonzepte von Regressionsmodellen und Bewertung

Bevor wir in die Metriken eintauchen, müssen wir einige grundlegende Konzepte verstehen; sie sind der Grundstein aller Bewertungsmethoden.

Was ist ein Regressionsproblem?

Regression ist eine Art des überwachten Lernens, deren Ziel es ist, einenkontinuierlichen numerischen Wert vorherzusagen。

• Beispiel: Vorhersage des Verkaufspreises (ein kontinuierlicher numerischer Wert) basierend auf Fläche, Alter und Lage des Hauses (Merkmale).

Warum brauchen wir eine Evaluierung?

1. Modellauswahl: Vergleiche, welcher von verschiedenen Algorithmen (z. B. lineare Regression, Entscheidungsbaum-Regression) auf deinen Daten besser abschneidet.
2. Parameterabstimmung: Beim Anpassen von Modellparametern (z. B. Regularisierungsstärke) benötigen wir ein objektives Kriterium, um zu beurteilen, ob die Anpassung wirksam ist.
3. Leistungsbestätigung: Stelle sicher, dass das Modell eine zuverlässige Vorhersagefähigkeit für ungesehene Daten besitzt, um eine "Sesselstrategie" zu vermeiden.

Schlüsselbegriff: Fehler

Alle Evaluierungsmetriken drehen sich um den "Fehler". Der Fehler ist die Differenz zwischen dem vorhergesagten Wert des Modells (ŷ) und dem wahren Wert (y).

• Fehler an einem einzelnen Punkt：误差 = y - ŷ
• Die Essenz der Evaluierung istdas Zusammenfassen und Analysieren dieser Fehler auf unterschiedliche Weise.。

Detaillierte Erklärung der wichtigsten Evaluierungsmetriken

Wir werden die am häufigsten verwendeten und wichtigsten Bewertungsmetriken vorstellen und dabei durchgehend ein einfaches Beispiel verwenden.

Angenommen, wir haben die Preise von 5 Häusern vorhergesagt:

1. Mittlerer absoluter Fehler (MAE)

Intuitives Verständnis: Addiere die Absolutwerte aller Vorhersagefehler und berechne dann den Durchschnitt. Es spiegelt direkt wider, „im Durchschnitt, um wie viele Einheiten der vorhergesagte Wert vom wahren Wert abweicht“.

Berechnungsformel： MAE = (1/n) * Σ|y_i - ŷ_i|wobeinist die Anzahl der Stichproben,Σist das Summenzeichen.

Berechnungsbeispiel： MAE = (|-10| + |5| + |-10| + |20| + |-5|) / 5 = (10+5+10+20+5)/5 = 50/5 = 10

Interpretation: Im Durchschnitt weicht unsere Hauspreisvorhersage um100,000 yuan vom wahren Preis ab。

Eigenschaften：

• Vorteile: Intuitiv und leicht zu verstehen; nicht übermäßig von extremen Fehlerwerten (Ausreißern) beeinflusst.
• Nachteile: Die Betragsfunktion ist in der Mathematik nicht überall differenzierbar, was in einigen Optimierungsszenarien unpraktisch ist.

2. Mittlerer quadratischer Fehler (MSE)

Intuitives Verständnis: Zuerst wird jeder Fehler „quadriert“ (um das negative Vorzeichen zu eliminieren und Fehler zu verstärken), dann wird der Durchschnitt gebildet. Es istsehr empfindlich gegenüber großen Fehlern.。

Berechnungsformel： MSE = (1/n) * Σ(y_i - ŷ_i)^2

Berechnungsbeispiel： MSE = [(-10)^2 + (5)^2 + (-10)^2 + (20)^2 + (-5)^2] / 5 = (100+25+100+400+25)/5 = 650/5 = 130

Interpretation: Der Durchschnitt der quadrierten Fehler beträgt 130. Dieser Wert selbst hat keine direkte Einheitenbedeutung (er ist 10,000 yuan zum Quadrat), aber er ist sehr effektiv für den Vergleich von Modellen.

Eigenschaften：

• Vorteile: Hervorragende mathematische Eigenschaften (überall differenzierbar); es ist die Zielfunktion, die beim Training vieler Modelle minimiert wird (z. B. lineare Regression).
• Nachteile: Seine Dimension unterscheidet sich von den Originaldaten, was die Größenordnung schwer interpretierbar macht; empfindlich gegenüber Ausreißern.

3. Wurzel des mittleren quadratischen Fehlers (RMSE)

Intuitives Verständnis: Es ist die Quadratwurzel des MSE. Es entspricht einer „Wiederherstellung“ des MSE in seine ursprüngliche Form, wodurch er wieder dieselbe Dimension wie die wahren Werte und die vorhergesagten Werte erhält.

Berechnungsformel： RMSE = sqrt(MSE)

Berechnungsbeispiel： RMSE = sqrt(130) ≈ 11.4

Interpretation: Im Durchschnitt weichen unsere Vorhersagen um etwa114,000 yuanvon den wahren Werten ab. Diese Interpretation ähnelt dem MAE (100,000 yuan), aber da RMSE zuerst quadriert und dann die Quadratwurzel zieht, gewichtet es größere Fehler stärker, weshalb es normalerweise größer als MAE ist.

Eigenschaften：

• Vorteile: Es hat dieselbe Dimension wie die Originaldaten und ist besser interpretierbar als MSE; es bestraft große Fehler stärker und wird häufig in Szenarien eingesetzt, in denen große Fehler wichtig sind (z. B. Finanzrisikovorhersage).
• Nachteile: Es ist ebenfalls empfindlich gegenüber Ausreißern.

4. R²-Score (Bestimmtheitsmaß)

Intuitives Verständnis: Wie viel besser ist mein Modell als „blind zu raten“ (mit dem Mittelwert zu raten)? Es ist einVerhältniswert, der die Fähigkeit des Modells misst, die Variation in den Daten zu erklären.

Berechnungsformel： R² = 1 - (Σ(y_i - ŷ_i)^2 / Σ(y_i - y_mean)^2)wobeiy_meanist der Mittelwert der wahren Werte.

„Blindes Raten“-Modell: Für jedes Haus sage ich den mittleren Hauspreis voraus (y_mean）。

• berechnet alsy_mean = (200+150+300+400+250)/5 = 260
• Die Summe der quadrierten Fehler des „Blindes Raten“-Modells:Σ(y_i - 260)^2 = 1600+12100+1600+19600+100 = 35000

Berechnungsbeispiel： R² = 1 - (650 / 35000) = 1 - 0.01857 ≈ 0.9814

Interpretation: Unser Modell kann die Schwankung der Zielvariable (Hauspreis)98.14%erklären. Dies zeigt, dass das Modell sehr gut passt.

Eigenschaften：

• Wertebereich: Theoretisch ist der Wertebereich von R²(-∞, 1]。
  • R² = 1: Perfekte Vorhersage.
  • R² = 0: Die Wirkung des Modells ist dieselbe wie die direkte Vorhersage mit dem Mittelwert.
  • R² < 0: Das Modell ist sogar schlechter als die direkte Vorhersage mit dem Mittelwert (was zeigt, dass das Modell für die Daten völlig ungeeignet ist).
• Vorteile: Dimensionslos, einfache Vergleichbarkeit der Modellleistung über verschiedene Datensätze hinweg.
• Nachteile: Mit steigender Anzahl der Modellmerkmale steigt R² naturgemäß, selbst wenn die hinzugefügten Merkmale nutzlos sind, was zu Overfitting führen kann.

Metrikvergleich und Auswahl

Zum besseren Verständnis fassen wir es in einer Tabelle zusammen:

Auswahlempfehlungen：

1. Bevorzugen Sie die Angabe von RMSE und R²: RMSE gibt die tatsächliche Fehlergröße an, während R² die relative Leistung des Modells angibt. Dies ist die vielseitigste Kombination.
2. Wenn viele Ausreißer in den Daten vorhanden sind, achte auf MAE。
3. Verwende MSE als Verlustfunktion während des Modelltrainings und der Optimierung.。
4. Schau niemals nur auf eine einzige Metrik! Kombiniere mehrere Metriken, um das Modell umfassend zu bewerten.

Code-Übung: Bewertung mit Scikit-learn

Jetzt setzen wir es mit Python und der Machine-Learning-Bibliothek Scikit-learn in die Praxis um.

Umgebungs-Setup

Stelle sicher, dass die notwendigen Bibliotheken installiert sind:

Vollständiger Beispielcode

Zeilenweise Code-Erklärung

1. Daten erstellen: Wir haben simulierty = 4 + 3x + 噪声Daten, die eine typische lineare Beziehung plus zufälliges Rauschen darstellen.
2. Datensatz aufteilen：train_test_splitTeilen Sie die Daten zufällig in zwei Teile auf. Verwenden Sie das Trainingsset (X_train, y_train), um das Modell zu lernen, und verwenden Sie das ungesehene Testset (X_test, y_test), um seine Generalisierungsfähigkeit zu bewerten. Dies ist ein entscheidender Schritt bei der Evaluierung!
3. Modell trainieren: ErstellenLinearRegressionObjekt und Aufruf.fit()Methode zum Trainieren.
4. Vorhersagen treffen: Rufen Sie.predict()die Methode auf den Testset-Merkmalen aufX_testum vorhergesagte Werte zu erzeugeny_pred。
5. Metriken berechnen: Verwenden Sie Scikit-learnsmetricsFunktionen im Modul, um MAE, MSE, R² einfach zu berechnen. RMSE erhält man durch Ziehen der Quadratwurzel aus MSE.
6. Ergebnisse ausgeben: Formatieren Sie und geben Sie alle Metriken und die vom Modell gelernten Parameter aus.
7. Visualisierung：
   • Linker Plot: Idealerweise sollten die Punkte im Streudiagramm eng um die rote gestrichelte Linie (perfekte Vorhersagelinie) liegen.
   • Rechter Plot: Das Histogramm der Fehlerverteilung sollte ungefähr um 0 zentriert und annähernd normalverteilt sein, was normalerweise ein gutes Zeichen ist.

Praktische Übungen und Zusammenfassung

Praktische Übung

1. Code ausführen: Kopieren Sie den obigen Code in Ihre Python-Umgebung und führen Sie ihn aus. Beobachten Sie die Ausgabeergebnisse und Plots.
2. Daten ändern: Erhöhen Sie versuchsweisenp.random.randn()die Rauschskala darin, und führen Sie es dann erneut aus. Beobachten Sie, wie sich alle Evaluationsmetriken ändern? Wie unterscheiden sich die Diagramme?
3. Modell ändern: Versuchen Sie, zu verwendenfrom sklearn.tree import DecisionTreeRegressorum das lineare Regressionsmodell zu ersetzen. Vergleichen Sie die Evaluationsmetriken der beiden Modelle.
4. Rechenübung: Berechnen Sie manuell die MAE, MSE, RMSE und R² für die folgenden drei Stichproben.
   • Wahre Werte y: [10, 20, 30]
   • Vorhergesagte Werte ŷ: [12, 18, 28]