線形回帰 — 方程式・公式・例

線形回帰は、最もよく当てはまる直線を使って、ある変数が別の変数とともにどう変化するかを表す方法です。入力変数 $x$ が1つ、出力変数 $y$ が1つの単回帰では、モデルは次のようになります。

$$\hat{y} = b_0 + b_1x$$

ここで、$\hat{y}$ は予測値、$b_1$ は傾き、$b_0$ は切片です。通常の当てはめ方法は最小二乗法で、残差の二乗和ができるだけ小さくなる直線を選びます。

$$\sum_{i=1}^n \left(y_i - \hat{y}_i\right)^2 = \sum_{i=1}^n \left(y_i - (b_0 + b_1x_i)\right)^2$$

要点だけ覚えるなら、次を押さえてください。直線モデルが妥当である限り、傾きは $x$ が1単位増えたときに $y$ がどれだけ変化するとモデルが予測するかを表します。

線形回帰の方程式：何がわかるのか

傾き $b_1$ は、線形モデルがデータの妥当な説明であるなら、$x$ が $1$ 増えたときの $y$ の予測変化量を表します。切片 $b_0$ は、$x = 0$ のときの $y$ の予測値です。

ここで大事なのは「予測」という言葉です。回帰直線は通常、すべての点を通るわけではありません。そうではなく、全体として誤差のつり合いを取り、各観測値に完全一致するのではなく傾向を要約します。

$b_0$ と $b_1$ の線形回帰公式

単回帰では、$x$ の値がすべて同じでないなら、最小二乗法による係数は次のように書けます。

$$b_1 = \frac{\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n (x_i-\bar{x})^2}$$

そして

$$b_0 = \bar{y} - b_1\bar{x}$$

ここで $\bar{x}$ は $x$ の平均、$\bar{y}$ は $y$ の平均です。これらの公式は単回帰に対するものです。入力変数が2つ以上ある場合は、設定が変わります。

最小二乗法で残差を二乗する理由

データ点を散布図上の点の集まりだと考えてみましょう。その集まりの近くを通る直線はたくさん考えられます。線形回帰は、残差と呼ばれる縦方向のずれが全体として小さくなる直線を選びます。

残差を二乗すると、2つの利点があります。正の誤差と負の誤差が打ち消し合うのを防げること、そして大きなずれにより大きな重みを与えられることです。

単回帰の簡単な例

データ点が $(1,2)$、$(2,2)$、$(3,4)$、$(4,4)$ だとします。これに単回帰直線を当てはめます。

まず平均を求めます。

$$\bar{x} = \frac{1+2+3+4}{4} = 2.5$$ $$\bar{y} = \frac{2+2+4+4}{4} = 3$$

次に傾きを計算します。

$$b_1 = \frac{(-1.5)(-1)+(-0.5)(-1)+(0.5)(1)+(1.5)(1)}{(-1.5)^2+(-0.5)^2+(0.5)^2+(1.5)^2}$$ $$b_1 = \frac{4}{5} = 0.8$$

次に切片を計算します。

$$b_0 = \bar{y} - b_1\bar{x} = 3 - 0.8(2.5) = 1$$

したがって、回帰式は

$$\hat{y} = 1 + 0.8x$$

です。

$x=5$ のとき、モデルの予測は

$$\hat{y} = 1 + 0.8(5) = 5$$

となります。

残差を1つ確認することもできます。$x=2$ のとき、予測値は

$$\hat{y} = 1 + 0.8(2) = 2.6$$

です。

実際の値は $2$ なので、残差は

$$y-\hat{y} = 2 - 2.6 = -0.6$$

となります。

この点は回帰直線より $0.6$ だけ下にあります。1つの残差だけではモデル全体が良いかどうかはわかりませんが、回帰がどのように誤差を測るかはわかります。

線形回帰でよくある間違い

1つ目の間違いは、直線がすべての点を通らなければならないと思うことです。回帰は完全一致ではなく、最もよく当てはまることを目指します。

2つ目の間違いは、傾きをすべてのデータ点に当てはまる厳密な規則として読むことです。傾きは、モデルによる平均的な予測変化量です。

3つ目の間違いは、回帰を因果関係の証明として扱うことです。強い線形パターンは予測を支えたり関連を表したりできますが、それだけで変数がなぜ一緒に動くのかを説明することはできません。

また、観測されたデータ範囲の外での予測を過信しやすい点にも注意が必要です。元の範囲内で当てはめた直線がよく見えても、外挿はうまくいかないことがあります。

線形回帰を使う場面

線形回帰は、直線による要約が役立ち、関心のある範囲で関係が少なくともおおよそ線形であるときに使われます。よくある用途には、大きさから価格を見積もること、勉強時間から得点を見積もること、安定した条件下で入力から出力を見積もることなどがあります。

特に、解釈しやすいモデルがほしいときに有用です。傾き、切片、残差は、モデルが何をしているかを隠さずに説明できるほど単純です。

直線を信頼する前の簡単な確認

回帰直線を使う前に、2つのことを自分に問いかけましょう。散布図はおおよそ直線的に見えるか。文脈の中で、その傾きは誤解を招かず意味のあるものか。どちらかの答えが「いいえ」なら、別のモデルのほうがよいかもしれません。

似た問題をやってみよう

4つの点を選び、概形を描いて、電卓やソフトウェアで直線を当てはめてみましょう。そのあと、予測値と実際の値を比べます。残差を見ることは、回帰直線が実際に何をしているのかを理解する最も速い方法であることがよくあります。