Regressione lineare — Equazione, formula ed esempi

La regressione lineare è un modo per descrivere come una variabile cambia rispetto a un’altra usando una retta di adattamento ottimale. Nella regressione lineare semplice, con una variabile di input $x$ e una variabile di output $y$, il modello è

$$\hat{y} = b_0 + b_1x$$

Qui $\hat{y}$ è il valore previsto, $b_1$ è la pendenza e $b_0$ è l’intercetta. Il metodo di adattamento più comune è quello dei minimi quadrati ordinari, che sceglie la retta che rende i residui quadratici il più piccoli possibile:

$$\sum_{i=1}^n \left(y_i - \hat{y}_i\right)^2 = \sum_{i=1}^n \left(y_i - (b_0 + b_1x_i)\right)^2$$

Se ti serve solo l’idea principale, ricorda questo: la pendenza indica la variazione prevista di $y$ per un aumento di una unità in $x$, purché un modello lineare sia un adattamento ragionevole.

Equazione della regressione lineare: cosa ti dice

La pendenza $b_1$ indica la variazione prevista di $y$ quando $x$ aumenta di $1$, se un modello lineare descrive ragionevolmente i dati. L’intercetta $b_0$ è il valore previsto di $y$ quando $x = 0$.

La parola "previsto" è importante. Una retta di regressione di solito non passa per ogni punto. Invece bilancia gli errori su tutti i punti, quindi riassume l’andamento generale invece di coincidere con ogni osservazione.

Formula della regressione lineare per $b_0$ e $b_1$

Per la regressione lineare semplice, se i valori di $x$ non sono tutti uguali, i coefficienti dei minimi quadrati si possono scrivere come

$$b_1 = \frac{\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n (x_i-\bar{x})^2}$$

e

$$b_0 = \bar{y} - b_1\bar{x}$$

Qui $\bar{x}$ è la media dei valori di $x$ e $\bar{y}$ è la media dei valori di $y$. Queste formule valgono per la regressione lineare semplice. Se hai più di una variabile di input, l’impostazione cambia.

Perché i minimi quadrati usano i residui quadratici

Immagina i punti dei dati come una nuvola in un diagramma di dispersione. Molte rette potrebbero passare vicino a quella nuvola. La regressione lineare sceglie la retta che mantiene complessivamente piccoli gli scarti verticali, chiamati residui.

Elevare al quadrato i residui ha due effetti utili. Impedisce che errori positivi e negativi si annullino tra loro e dà più peso agli scarti grandi.

Esempio di regressione lineare semplice

Supponiamo che i punti siano $(1,2)$, $(2,2)$, $(3,4)$ e $(4,4)$. Adatteremo una retta di regressione lineare semplice.

Per prima cosa troviamo le medie:

$$\bar{x} = \frac{1+2+3+4}{4} = 2.5$$ $$\bar{y} = \frac{2+2+4+4}{4} = 3$$

Ora calcoliamo la pendenza:

$$b_1 = \frac{(-1.5)(-1)+(-0.5)(-1)+(0.5)(1)+(1.5)(1)}{(-1.5)^2+(-0.5)^2+(0.5)^2+(1.5)^2}$$ $$b_1 = \frac{4}{5} = 0.8$$

Poi calcoliamo l’intercetta:

$$b_0 = \bar{y} - b_1\bar{x} = 3 - 0.8(2.5) = 1$$

Quindi l’equazione di regressione è

$$\hat{y} = 1 + 0.8x$$

Se $x=5$, il modello prevede

$$\hat{y} = 1 + 0.8(5) = 5$$

Puoi anche controllare un residuo. Per $x=2$, il valore previsto è

$$\hat{y} = 1 + 0.8(2) = 2.6$$

Il valore reale è $2$, quindi il residuo è

$$y-\hat{y} = 2 - 2.6 = -0.6$$

Quel punto si trova $0.6$ unità sotto la retta di regressione. Un solo residuo non dice se l’intero modello è buono, ma mostra come la regressione misura l’errore.

Errori comuni nella regressione lineare

Un errore è pensare che la retta debba passare per ogni punto. La regressione riguarda il miglior adattamento, non l’adattamento perfetto.

Un altro errore è leggere la pendenza come una regola esatta per ogni punto dei dati. La pendenza è una variazione media prevista dal modello.

Un terzo errore è trattare la regressione come una prova di causalità. Un forte andamento lineare può supportare la previsione o descrivere un’associazione, ma da solo non spiega perché le variabili si muovano insieme.

È anche facile fidarsi troppo delle previsioni al di fuori dell’intervallo dei dati osservati. L’estrapolazione può fallire anche quando la retta adattata sembra buona all’interno dell’intervallo originale.

Quando usare la regressione lineare

La regressione lineare si usa quando una sintesi con una retta è utile e la relazione è almeno approssimativamente lineare nell’intervallo che ti interessa. Usi comuni includono stimare il prezzo dalla dimensione, il punteggio dal tempo di studio o l’output dall’input in condizioni stabili.

È particolarmente utile quando vuoi un modello interpretabile. Pendenza, intercetta e residui sono abbastanza semplici da spiegare senza nascondere ciò che il modello sta facendo.

Un rapido controllo prima di fidarti della retta

Prima di usare una retta di regressione, poniti due domande. Un diagramma di dispersione appare approssimativamente lineare? Il contesto rende la pendenza significativa invece che fuorviante? Se una delle due risposte è no, un modello diverso potrebbe essere migliore.

Prova un esercizio simile

Scegli quattro punti, disegnali e adatta una retta con una calcolatrice o un software. Poi confronta i valori previsti con quelli reali. Osservare i residui è spesso il modo più rapido per capire che cosa stia davvero facendo la retta di regressione.