Regresión logística — función sigmoide y clasificación

La regresión logística es un modelo para clasificación binaria. Combina las variables de entrada en una puntuación lineal, hace pasar esa puntuación por la función sigmoide y produce un número entre $0$ y $1$ que se interpreta, bajo el modelo ajustado, como la probabilidad estimada de la clase positiva.

A pesar del nombre, la regresión logística suele usarse para decidir entre dos clases, como aprobado/reprobado, spam/no spam o impago/no impago. La palabra "regresión" se refiere a la fórmula lineal dentro del modelo, no a predecir una salida continua.

Fórmula de la regresión logística de un vistazo

La regresión logística binaria usa

$$p(y=1 \mid x) = \sigma(z), \qquad z = \beta_0 + \beta_1 x_1 + \cdots + \beta_n x_n$$

con la función sigmoide

$$\sigma(z) = \frac{1}{1 + e^{-z}}$$

La parte lineal $z$ puede ser cualquier número real. La sigmoide comprime ese valor en $(0,1)$, por eso la salida puede usarse como una estimación de probabilidad.

Por qué importa la función sigmoide

Si usaras la puntuación lineal bruta $z$ como probabilidad, podrías obtener valores imposibles como $1.7$ o $-0.4$. La sigmoide corrige eso al llevar puntuaciones muy negativas cerca de $0$, puntuaciones muy positivas cerca de $1$ y puntuaciones cercanas a $0$ cerca de $0.5$.

Eso da una interpretación práctica:

• si $z$ es muy negativo, el modelo se inclina por la clase $0$
• si $z$ está cerca de $0$, el modelo es incierto
• si $z$ es muy positivo, el modelo se inclina por la clase $1$

La curva es más empinada cerca de $z=0$. Así, un pequeño cambio en la puntuación puede cambiar mucho la probabilidad cerca de $0.5$, pero mucho menos cuando la probabilidad ya está cerca de $0$ o de $1$.

Ejemplo resuelto de regresión logística

Supón que un modelo usa una sola variable $x$ y tiene

$$z = -7 + 0.1x$$

Puedes pensar en $x$ como una puntuación de examen y en $y=1$ como "aprueba". Los coeficientes aquí son solo un ejemplo para mostrar el mecanismo.

Si $x = 65$, entonces

$$z = -7 + 0.1(65) = -0.5$$

Así que la probabilidad predicha es

$$p(y=1 \mid x=65) = \sigma(-0.5) = \frac{1}{1 + e^{0.5}} \approx 0.378$$

Si $x = 80$, entonces

$$z = -7 + 0.1(80) = 1$$

y

$$p(y=1 \mid x=80) = \sigma(1) = \frac{1}{1 + e^{-1}} \approx 0.731$$

Así, el mismo modelo da aproximadamente un $37.8\%$ de probabilidad de aprobar cuando $x=65$ y aproximadamente un $73.1\%$ cuando $x=80$. La puntuación aumentó en $1.5$, pero la salida final se mantuvo entre $0$ y $1$ porque la sigmoide transforma el resultado en una probabilidad.

Si ahora eliges un umbral de $0.5$, el primer caso se clasifica como clase $0$ y el segundo como clase $1$. Ese último paso depende del umbral. La estimación de probabilidad en sí no.

Un atajo útil: con un umbral de $0.5$, la clase cambia exactamente cuando $z=0$, porque $\sigma(0)=0.5$.

Cómo la regresión logística se convierte en un clasificador

La salida del modelo es una estimación de probabilidad. La regla de clasificación se añade después.

Por ejemplo, con umbral $0.5$:

• predice la clase $1$ si $p(y=1 \mid x) \ge 0.5$
• predice la clase $0$ si $p(y=1 \mid x) < 0.5$

Pero $0.5$ no siempre es el umbral correcto. Si los falsos positivos y los falsos negativos tienen costes distintos, o si las clases están muy desbalanceadas, otro umbral puede funcionar mejor.

Qué significan los coeficientes

El signo de un coeficiente te dice la dirección del efecto sobre la puntuación lineal $z$:

• si $\beta_i > 0$, aumentar $x_i$ eleva $z$ y tiende a aumentar $p(y=1 \mid x)$
• si $\beta_i < 0$, aumentar $x_i$ reduce $z$ y tiende a disminuir $p(y=1 \mid x)$

Esa parte es directa. El punto sutil es que la probabilidad no cambia linealmente con la variable, porque la curva sigmoide no es una línea recta.

En la regresión logística estándar, el modelo lineal está en la escala de los log-odds:

$$\log\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 x_1 + \cdots + \beta_n x_n$$

Esto significa que cada aumento de una unidad en una variable cambia linealmente los log-odds cuando las demás variables se mantienen fijas. Eso es más preciso que decir que cambia la probabilidad en una cantidad fija.

Errores comunes en regresión logística

Tratar la salida como una clase garantizada

Una predicción como $0.73$ no significa que el evento vaya a ocurrir. Significa que el modelo asigna aproximadamente una probabilidad estimada del $73\%$ a la clase positiva para esa entrada.

Suponer que el umbral debe ser $0.5$

$0.5$ es común, pero es una elección, no una ley. El mejor umbral depende de la aplicación.

Pensar que la probabilidad cambia linealmente

La puntuación $z$ es lineal en las entradas, pero la probabilidad no. Un cambio de una unidad en una variable puede tener un efecto distinto cerca de $p=0.5$ que cerca de $p=0.95$.

Olvidar que el modelo es binario salvo que se extienda

La regresión logística básica maneja dos clases. Existen versiones multiclase, pero son extensiones, no la misma configuración binaria escrita de otra forma.

Cuándo se usa la regresión logística

La regresión logística se usa a menudo cuando la variable objetivo es sí/no, como en detección de spam, presencia de enfermedad, abandono de clientes, impago de préstamos o resultados de aprobado/reprobado.

Sigue siendo popular porque es simple, rápida y razonablemente interpretable. Es especialmente útil cuando quieres un clasificador base, cuando el conjunto de datos no es enorme o cuando necesitas probabilidades estimadas en lugar de solo etiquetas duras.

Una forma sencilla de visualizarla

Piensa en la regresión logística como una máquina de dos pasos:

1. Sumar evidencia con una puntuación lineal.
2. Convertir esa puntuación en una probabilidad con la sigmoide.

Esa idea basta para entender la mayoría de los ejemplos introductorios y para ver por qué la regresión logística se sitúa entre los modelos lineales y las tareas de clasificación.

Prueba un problema similar de regresión logística

Elige una puntuación simple como

$$z = -3 + 0.5x$$

Calcula $\sigma(z)$ para algunos valores de $x$, como $2$, $6$ y $10$. Observa cómo la puntuación lineal cambia de forma constante mientras la probabilidad se curva con forma de S. Luego prueba un umbral distinto y mira cuándo cambia la clase predicha.