Hồi quy tuyến tính — Phương trình, công thức và ví dụ

Hồi quy tuyến tính là một cách mô tả cách một biến thay đổi theo biến khác bằng một đường thẳng khớp tốt nhất. Trong hồi quy tuyến tính đơn, với một biến đầu vào $x$ và một biến đầu ra $y$, mô hình là

$$\hat{y} = b_0 + b_1x$$

Ở đây $\hat{y}$ là giá trị dự đoán, $b_1$ là hệ số góc và $b_0$ là tung độ gốc. Phương pháp khớp thường dùng là bình phương tối thiểu thông thường, chọn đường thẳng sao cho tổng các phần dư bình phương là nhỏ nhất có thể:

$$\sum_{i=1}^n \left(y_i - \hat{y}_i\right)^2 = \sum_{i=1}^n \left(y_i - (b_0 + b_1x_i)\right)^2$$

Nếu bạn chỉ cần ý chính, hãy nhớ điều này: hệ số góc cho biết mức thay đổi dự đoán của $y$ khi $x$ tăng thêm một đơn vị, miễn là mô hình đường thẳng là một cách khớp hợp lý.

Phương trình hồi quy tuyến tính cho bạn biết điều gì

Hệ số góc $b_1$ cho biết mức thay đổi dự đoán của $y$ khi $x$ tăng thêm $1$, nếu mô hình tuyến tính mô tả dữ liệu một cách hợp lý. Tung độ gốc $b_0$ là giá trị dự đoán của $y$ khi $x = 0$.

Từ “dự đoán” rất quan trọng. Một đường hồi quy thường không đi qua mọi điểm. Thay vào đó, nó cân bằng sai số trên tất cả các điểm, nên nó tóm tắt xu hướng thay vì khớp đúng mọi quan sát.

Công thức hồi quy tuyến tính cho $b_0$ và $b_1$

Đối với hồi quy tuyến tính đơn, nếu các giá trị $x$ không hoàn toàn giống nhau, các hệ số bình phương tối thiểu có thể được viết là

$$b_1 = \frac{\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n (x_i-\bar{x})^2}$$

và

$$b_0 = \bar{y} - b_1\bar{x}$$

Ở đây $\bar{x}$ là giá trị trung bình của các giá trị $x$ và $\bar{y}$ là giá trị trung bình của các giá trị $y$. Các công thức này dành cho hồi quy tuyến tính đơn. Nếu bạn có nhiều hơn một biến đầu vào, cách thiết lập sẽ thay đổi.

Vì sao bình phương tối thiểu dùng phần dư bình phương

Hãy hình dung các điểm dữ liệu như một đám mây trên biểu đồ phân tán. Có nhiều đường thẳng có thể đi gần đám mây đó. Hồi quy tuyến tính chọn đường thẳng giữ cho các độ lệch theo phương dọc, gọi là phần dư, nhìn chung nhỏ.

Việc bình phương các phần dư có hai tác dụng hữu ích. Nó ngăn sai số dương và âm triệt tiêu lẫn nhau, đồng thời đặt trọng số lớn hơn cho các độ lệch lớn.

Ví dụ về hồi quy tuyến tính đơn

Giả sử các điểm dữ liệu là $(1,2)$, $(2,2)$, $(3,4)$ và $(4,4)$. Ta sẽ khớp một đường hồi quy tuyến tính đơn.

Trước hết, tìm các giá trị trung bình:

$$\bar{x} = \frac{1+2+3+4}{4} = 2.5$$ $$\bar{y} = \frac{2+2+4+4}{4} = 3$$

Bây giờ tính hệ số góc:

$$b_1 = \frac{(-1.5)(-1)+(-0.5)(-1)+(0.5)(1)+(1.5)(1)}{(-1.5)^2+(-0.5)^2+(0.5)^2+(1.5)^2}$$ $$b_1 = \frac{4}{5} = 0.8$$

Sau đó tính tung độ gốc:

$$b_0 = \bar{y} - b_1\bar{x} = 3 - 0.8(2.5) = 1$$

Vậy phương trình hồi quy là

$$\hat{y} = 1 + 0.8x$$

Nếu $x=5$, mô hình dự đoán

$$\hat{y} = 1 + 0.8(5) = 5$$

Bạn cũng có thể kiểm tra một phần dư. Tại $x=2$, giá trị dự đoán là

$$\hat{y} = 1 + 0.8(2) = 2.6$$

Giá trị thực tế là $2$, nên phần dư là

$$y-\hat{y} = 2 - 2.6 = -0.6$$

Điểm đó nằm thấp hơn đường hồi quy $0.6$ đơn vị. Một phần dư không cho biết toàn bộ mô hình có tốt hay không, nhưng nó cho thấy hồi quy đo sai số như thế nào.

Những lỗi thường gặp khi học hồi quy tuyến tính

Một lỗi là cho rằng đường thẳng phải đi qua mọi điểm. Hồi quy là về độ khớp tốt nhất, không phải độ khớp hoàn hảo.

Một lỗi khác là đọc hệ số góc như một quy luật chính xác cho mọi điểm dữ liệu. Hệ số góc là mức thay đổi dự đoán trung bình từ mô hình.

Lỗi thứ ba là xem hồi quy như bằng chứng của quan hệ nhân quả. Một mẫu hình tuyến tính mạnh có thể hỗ trợ dự đoán hoặc mô tả mối liên hệ, nhưng tự nó không giải thích vì sao các biến cùng thay đổi.

Cũng rất dễ quá tin vào các dự đoán nằm ngoài phạm vi dữ liệu đã quan sát. Ngoại suy có thể thất bại ngay cả khi đường khớp trông tốt trong phạm vi ban đầu.

Khi nào nên dùng hồi quy tuyến tính

Hồi quy tuyến tính được dùng khi một cách tóm tắt bằng đường thẳng là hữu ích và mối quan hệ ít nhất là gần tuyến tính trong phạm vi bạn quan tâm. Các ứng dụng phổ biến gồm ước lượng giá từ kích thước, điểm số từ thời gian học, hoặc đầu ra từ đầu vào trong điều kiện ổn định.

Nó đặc biệt hữu ích khi bạn muốn một mô hình dễ diễn giải. Hệ số góc, tung độ gốc và phần dư đủ đơn giản để giải thích mà không che giấu mô hình đang làm gì.

Kiểm tra nhanh trước khi tin vào đường thẳng

Trước khi dùng một đường hồi quy, hãy tự hỏi hai câu. Biểu đồ phân tán có trông gần tuyến tính không? Bối cảnh có khiến hệ số góc mang ý nghĩa thay vì gây hiểu lầm không? Nếu một trong hai câu trả lời là không, một mô hình khác có thể tốt hơn.

Thử một bài tương tự

Hãy chọn bốn điểm, phác chúng ra và khớp một đường thẳng bằng máy tính cầm tay hoặc phần mềm. Sau đó so sánh các giá trị dự đoán với các giá trị thực tế. Xem các phần dư thường là cách nhanh nhất để hiểu đường hồi quy thực sự đang làm gì.