Evaluación de modelos de regresión

En el mundo del aprendizaje automático, construir un modelo es solo el primer paso. Es como cuando horneamos un pastel: debemos probarlo para saber si tuvo éxito. Para los modelos de regresión (un tipo de modelo utilizado para predecir valores numéricos continuos, como el precio de una vivienda, la temperatura o las ventas),la evaluación del modeloes nuestradegustaciónPaso: nos indica qué tan precisas son las predicciones del modelo, qué se hizo bien y dónde hay margen de mejora.

Este artículo te guiará para aprender de forma sistemática los métodos de evaluación de modelos de regresión, desde los conceptos clave hasta las métricas específicas y la práctica con código, para que no solo puedas comprender los informes de evaluación, sino también "calificar" tus propios modelos con tus propias manos.

Conceptos clave de los modelos de regresión y su evaluación

Antes de profundizar en las métricas, necesitamos entender algunos conceptos básicos que son los cimientos de todos los métodos de evaluación.

¿Qué es un problema de regresión?

El problema de regresión es un tipo de aprendizaje supervisado cuyo objetivo es predecir unvalor numérico continuo。

  • Ejemplo: predecir el precio de venta (valor numérico continuo) basándose en la superficie, la antigüedad y la ubicación geográfica (características) de la vivienda.

¿Por qué es necesaria la evaluación?

  1. Selección del modelo: comparar qué algoritmo (como regresión lineal, regresión con árboles de decisión) se desempeña mejor con tus datos.
  2. Ajuste de parámetros: al ajustar los parámetros del modelo (como la intensidad de regularización), se necesita un criterio objetivo para determinar si el ajuste es efectivo.
  3. Confirmación del rendimiento: asegurar que el modelo también tenga una capacidad de predicción fiable en datos desconocidos, evitando "teorizar sin práctica".

Término clave: error

Todas las métricas de evaluación giran en torno al "error". El error es la diferencia entre el valor predicho por el modelo (ŷ) y el valor real (y).

  • Error de un solo punto：误差 = y - ŷ
  • La esencia de la evaluación esresumir y analizar estos errores de diferentes maneras。

Explicación detallada de las métricas de evaluación principales

Presentaremos las métricas de evaluación más comunes e importantes, usando un ejemplo sencillo a lo largo de todo el artículo.

Supongamos que predecimos el precio de 5 casas:

Precio real (y) Precio predicho (ŷ) Error (y - ŷ)
200 210 -10
150 145 5
300 310 -10
400 380 20
250 255 -5

1. Error absoluto medio (MAE)

Comprensión intuitiva: se suman los valores absolutos de todos los "errores" de predicción y se calcula el promedio. Refleja directamente "en promedio, ¿cuántas unidades se desvía aproximadamente el valor predicho del valor real?".

Fórmula de cálculo： MAE = (1/n) * Σ|y_i - ŷ_i|dondenes el número de muestras,Σes el símbolo de sumatorio.

Ejemplo de cálculo： MAE = (|-10| + |5| + |-10| + |20| + |-5|) / 5 = (10+5+10+20+5)/5 = 50/5 = 10

Interpretación: en promedio, nuestra predicción del precio de la vivienda se desvía del precio real en100 000 yuanes。

Características：

  • Ventajas: intuitivo y fácil de entender, no se ve excesivamente afectado por valores de error extremos (valores atípicos).
  • Desventajas: la función de valor absoluto no es diferenciable en todos los puntos en matemáticas, lo que resulta inconveniente en algunos escenarios de optimización.

2. Error cuadrático medio (MSE)

Comprensión intuitiva: primero se "eleva al cuadrado" cada error (para que desaparezca el signo negativo y se amplifique el error), y luego se calcula el promedio. Es muy sensible alos errores grandes。

Fórmula de cálculo： MSE = (1/n) * Σ(y_i - ŷ_i)^2

Ejemplo de cálculo： MSE = [(-10)^2 + (5)^2 + (-10)^2 + (20)^2 + (-5)^2] / 5 = (100+25+100+400+25)/5 = 650/5 = 130

Interpretación: el promedio de los errores al cuadrado es 130. Este valor no tiene un significado unitario directo (es 10 000 yuanes^2), pero es muy eficaz para comparar modelos.

Características：

  • Ventajas: excelentes propiedades matemáticas (diferenciable en todas partes), es la función objetivo que se minimiza durante el entrenamiento de muchos modelos (como la regresión lineal).
  • Desventajas: la dimensión es diferente de los datos originales, el valor no es fácil de interpretar; es sensible a los valores atípicos.

3. Raíz del error cuadrático medio (RMSE)

Comprensión intuitiva: es la raíz cuadrada del MSE. Equivale a "devolver" el MSE a su forma original, para que vuelva a estar en la misma dimensión que los valores reales y predichos.

Fórmula de cálculo： RMSE = sqrt(MSE)

Ejemplo de cálculo： RMSE = sqrt(130) ≈ 11.4

Interpretación: en promedio, nuestra predicción se desvía del valor real en aproximadamente114 000 yuanes. Esta interpretación es similar a la del MAE (100 000 yuanes), pero el RMSE, al elevar al cuadrado y luego extraer la raíz, otorga un mayor peso a los errores grandes, por lo que suele ser mayor que el MAE.

Características：

  • Ventajas: tiene la misma dimensión que los datos originales, su interpretabilidad es mayor que la del MSE; castiga con más dureza los errores grandes y es muy utilizado en escenarios donde se presta especial atención a los errores grandes (como la predicción de riesgos financieros).
  • Desventajas: también es sensible a los valores atípicos.

4. Puntuación R² (coeficiente de determinación)

Comprensión intuitiva: ¿cuánto mejor es mi modelo que "adivinar al azar" (adivinar usando el promedio)? Es unvalor de proporciónque mide la capacidad del modelo para explicar la variabilidad de los datos.

Fórmula de cálculo： R² = 1 - (Σ(y_i - ŷ_i)^2 / Σ(y_i - y_mean)^2)dondey_meanes el promedio de los valores reales.

Modelo "adivinar al azar": para cualquier casa, predigo el precio promedio de la vivienda (y_mean）。

  • calculado comoy_mean = (200+150+300+400+250)/5 = 260
  • Suma de errores al cuadrado del modelo "adivinar al azar":Σ(y_i - 260)^2 = 1600+12100+1600+19600+100 = 35000

Ejemplo de cálculo： R² = 1 - (650 / 35000) = 1 - 0.01857 ≈ 0.9814

Interpretación: nuestro modelo puede explicar la variabilidad de la variable objetivo (precio de la vivienda)98.14%. Esto indica que el modelo se ajusta muy bien.

Características：

  • Rango: teóricamente, el rango de R² es(-∞, 1]。
    • R² = 1: predicción perfecta.
    • R² = 0: el modelo tiene el mismo rendimiento que predecir directamente con el promedio.
    • R² < 0: el modelo es incluso peor que predecir directamente con el promedio (lo que indica que el modelo no es en absoluto adecuado para los datos).
  • Ventajas: sin dimensiones, fácil de comparar el rendimiento del modelo en diferentes conjuntos de datos.
  • Desventajas: a medida que aumentan las características del modelo, el R² aumenta naturalmente, incluso si las características añadidas no son útiles, lo que puede provocar sobreajuste.

Comparación de métricas y cómo elegirlas

Para entenderlo más claramente, usemos una tabla para resumir:

Métrica Fórmula de cálculo (simplificada) Dimensión Sensibilidad a valores atípicos Características y casos de uso
MAE Error absoluto medio Igual que y Insensible Interpretación más intuitiva. Se centra en "cuánto es la desviación promedio", adecuado para todos los escenarios de regresión, especialmente con datos con muchos valores atípicos.
MSE Error cuadrático medio y al cuadrado Muy sensible Buenas propiedades matemáticas. Es una función de pérdida común en el entrenamiento de modelos. El valor en sí no es fácil de interpretar.
RMSE Raíz cuadrada del MSE Igual que y Muy sensible Más utilizado. Combina las ventajas matemáticas del MSE con la interpretabilidad. Castiga con dureza los errores grandes y es muy popular en finanzas, predicción y otros campos.
R² 1 - (error del modelo / error de referencia) Sin dimensiones Sensible Métrica de rendimiento relativo. Se utiliza para comparar la mejora del modelo con respecto a una línea base simple. Fácil de comparar entre conjuntos de datos.

Sugerencias para elegir：

  1. Informar preferentemente RMSE y R²: el RMSE proporciona la magnitud real del error, el R² proporciona el rendimiento relativo del modelo. Es la combinación más versátil.
  2. Cuando los datos contengan muchos valores atípicos, presta atención al MAE。
  3. Durante la etapa de entrenamiento y optimización del modelo, utiliza MSE como función de pérdida。
  4. Nunca mires una sola métrica¡Combina varias métricas para evaluar el modelo de manera integral!

Práctica de código: evaluación con Scikit-learn

Ahora, pongámoslo en práctica con Python y la librería de aprendizaje automático Scikit-learn.

Preparación del entorno

Asegúrate de tener instaladas las librerías necesarias:

Ejemplo

pip install numpy scikit-learn matplotlib

Código de ejemplo completo

Ejemplo

import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score

# 1. Crear datos simulados
np.random.seed(42) # Asegurar que los resultados sean consistentes en cada ejecución
X = 2 * np.random.rand(100, 1) # 100 muestras, 1 característica, rango [0,2)
y = 4 + 3 * X + np.random.randn(100, 1) # Relación real: y = 4 + 3x + ruido

# 2. Dividir el conjunto de entrenamiento y prueba (80% entrenamiento, 20% prueba)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 3. Entrenar un modelo de regresión lineal simple
model = LinearRegression()
model.fit(X_train, y_train)

# 4. Realizar predicciones en el conjunto de prueba
y_pred = model.predict(X_test)

# 5. Calcular todas las métricas de evaluación
mae = mean_absolute_error(y_test, y_pred)
mse = mean_squared_error(y_test, y_pred)
rmse = np.sqrt(mse) # O usar mean_squared_error(y_test, y_pred, squared=False)
r2 = r2_score(y_test, y_pred)

# 6. Imprimir los resultados de evaluación
print(=== Informe de evaluación del modelo de regresión ===)
print(fError absoluto medio (MAE): {mae:.4f})
print(fError cuadrático medio (MSE): {mse:.4f})
print(fRaíz del error cuadrático medio (RMSE): {rmse:.4f})
print(fCoeficiente de determinación (R² Score): {r2:.4f})
print("\nCoeficientes del modelo:)
print(fIntercepto (Intercept): {model.intercept_)
print(fPendiente (Coeficiente para X): {model.coef_)

# 7. Visualizar los resultados
plt.figure(figsize=(10, 5))

# Subtrama 1: Diagrama de dispersión de valores reales vs. predichos
plt.subplot(1, 2, 1)
plt.scatter(y_test, y_pred, alpha=0.7, edgecolors='k')
plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--', lw=2, label='Línea de predicción perfecta')
plt.xlabel('Valores reales (y_test)')
plt.ylabel('Valores predichos (y_pred)')
plt.title('Valores reales vs. predichos')
plt.legend()
plt.grid(True, linestyle='--', alpha=0.7)

# Subtrama 2: Histograma de distribución de errores
plt.subplot(1, 2, 2)
errors = y_test.flatten() - y_pred.flatten()
plt.hist(errors, bins=15, edgecolor='black', alpha=0.7)
plt.axvline(x=0, color='r', linestyle='--', label='Línea de error cero')
plt.xlabel('Error de predicción')
plt.ylabel('Frecuencia')
plt.title('Distribución del error de predicción')
plt.legend()
plt.grid(True, linestyle='--', alpha=0.7, axis='y')

plt.tight_layout()
plt.show()

Análisis línea por línea del código

  1. Creación de datos: simulamosy = 4 + 3x + 噪声los datos, lo que es una relación lineal típica con ruido aleatorio.
  2. División del conjunto de datos：train_test_splitDividimos los datos aleatoriamente en dos partes. Usamos el conjunto de entrenamiento (X_train, y_train) para aprender el modelo, y el conjunto de prueba nunca visto (X_test, y_test) para evaluar su capacidad de generalización. ¡Este es un paso clave en la evaluación!
  3. Entrenamiento del modelo: crearLinearRegressionobjeto y llamar.fit()al método para realizar el entrenamiento.
  4. Realizar predicciones: llamar.predict()al método con las características del conjunto de pruebaX_testpara generar los valores predichos.y_pred。
  5. Cálculo de métricas: usando Scikit-learnmetricslas funciones del módulo permiten calcular fácilmente MAE, MSE y R². RMSE se obtiene al aplicar la raíz cuadrada al MSE.
  6. Impresión de resultados: salida formateada de todas las métricas y los parámetros aprendidos por el modelo.
  7. Visualización：
    • Gráfico izquierdo: idealmente, los puntos deben distribuirse estrechamente alrededor de la línea discontinua roja (línea de predicción perfecta).
    • Gráfico derecho: el histograma de distribución de errores debe ser aproximadamente normal centrado en 0, lo cual suele ser una buena señal.

Ejercicio práctico y resumen

Ejercicio práctico

  1. Ejecutar el código: Copia el código anterior en tu entorno de Python y ejecútalo, observa los resultados de salida y las figuras.
  2. Modificar los datos: Intenta aumentarnp.random.randn()la escala del ruido, vuelve a ejecutar. Observa cómo cambian todas las métricas de evaluación. ¿Qué diferencias hay en los gráficos?
  3. Cambiar el modelo: Intenta usarfrom sklearn.tree import DecisionTreeRegressorpara reemplazar el modelo de regresión lineal. Compara las métricas de evaluación de los dos modelos.
  4. Ejercicio de cálculo: Calcula manualmente el MAE, MSE, RMSE y R² de las siguientes tres muestras.
    • Valores reales y: [10, 20, 30]
    • Valores predichos ŷ: [12, 18, 28]
Otras extensiones