Γραμμική παλινδρόμηση — Εξίσωση, τύπος και παραδείγματα

Η γραμμική παλινδρόμηση είναι ένας τρόπος να περιγράψουμε πώς μεταβάλλεται μια μεταβλητή σε σχέση με μια άλλη, χρησιμοποιώντας μια ευθεία καλύτερης προσαρμογής. Στην απλή γραμμική παλινδρόμηση, με μία μεταβλητή εισόδου $x$ και μία μεταβλητή εξόδου $y$, το μοντέλο είναι

$$\hat{y} = b_0 + b_1x$$

Εδώ το $\hat{y}$ είναι η προβλεπόμενη τιμή, το $b_1$ είναι η κλίση και το $b_0$ είναι η τεταγμένη επί την αρχή. Η συνηθισμένη μέθοδος προσαρμογής είναι η μέθοδος των ελαχίστων τετραγώνων, η οποία επιλέγει την ευθεία που κάνει το άθροισμα των τετραγώνων των καταλοίπων όσο το δυνατόν μικρότερο:

$$\sum_{i=1}^n \left(y_i - \hat{y}_i\right)^2 = \sum_{i=1}^n \left(y_i - (b_0 + b_1x_i)\right)^2$$

Αν χρειάζεσαι μόνο τη βασική ιδέα, θυμήσου αυτό: η κλίση δείχνει την προβλεπόμενη μεταβολή του $y$ από το μοντέλο όταν το $x$ αυξάνεται κατά μία μονάδα, αρκεί ένα γραμμικό μοντέλο να προσαρμόζεται λογικά στα δεδομένα.

Εξίσωση γραμμικής παλινδρόμησης: τι σου δείχνει

Η κλίση $b_1$ δείχνει την προβλεπόμενη μεταβολή του $y$ όταν το $x$ αυξάνεται κατά $1$, αν ένα γραμμικό μοντέλο περιγράφει λογικά τα δεδομένα. Η τεταγμένη επί την αρχή $b_0$ είναι η προβλεπόμενη τιμή του $y$ όταν $x = 0$.

Η λέξη «προβλεπόμενη» είναι σημαντική. Μια ευθεία παλινδρόμησης συνήθως δεν περνά από κάθε σημείο. Αντί γι’ αυτό, εξισορροπεί τα σφάλματα σε όλα τα σημεία, ώστε να συνοψίζει την τάση αντί να ταιριάζει ακριβώς σε κάθε παρατήρηση.

Τύπος γραμμικής παλινδρόμησης για τα $b_0$ και $b_1$

Για την απλή γραμμική παλινδρόμηση, αν οι τιμές του $x$ δεν είναι όλες ίδιες, οι συντελεστές ελαχίστων τετραγώνων μπορούν να γραφτούν ως

$$b_1 = \frac{\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n (x_i-\bar{x})^2}$$

και

$$b_0 = \bar{y} - b_1\bar{x}$$

Εδώ το $\bar{x}$ είναι ο μέσος όρος των τιμών του $x$ και το $\bar{y}$ είναι ο μέσος όρος των τιμών του $y$. Αυτοί οι τύποι ισχύουν για την απλή γραμμική παλινδρόμηση. Αν έχεις περισσότερες από μία μεταβλητές εισόδου, η διατύπωση αλλάζει.

Γιατί τα ελάχιστα τετράγωνα χρησιμοποιούν τετράγωνα καταλοίπων

Σκέψου τα σημεία των δεδομένων σαν ένα νέφος σε ένα διάγραμμα διασποράς. Πολλές ευθείες θα μπορούσαν να περάσουν κοντά σε αυτό το νέφος. Η γραμμική παλινδρόμηση επιλέγει την ευθεία που κρατά συνολικά μικρές τις κατακόρυφες αποκλίσεις, που λέγονται κατάλοιπα.

Η ύψωση των καταλοίπων στο τετράγωνο κάνει δύο χρήσιμα πράγματα. Εμποδίζει τα θετικά και τα αρνητικά σφάλματα να αλληλοαναιρούνται και δίνει μεγαλύτερο βάρος στις μεγάλες αποκλίσεις.

Παράδειγμα απλής γραμμικής παλινδρόμησης

Έστω ότι τα σημεία δεδομένων είναι $(1,2)$, $(2,2)$, $(3,4)$ και $(4,4)$. Θα προσαρμόσουμε μια ευθεία απλής γραμμικής παλινδρόμησης.

Πρώτα βρίσκουμε τους μέσους όρους:

$$\bar{x} = \frac{1+2+3+4}{4} = 2.5$$ $$\bar{y} = \frac{2+2+4+4}{4} = 3$$

Τώρα υπολογίζουμε την κλίση:

$$b_1 = \frac{(-1.5)(-1)+(-0.5)(-1)+(0.5)(1)+(1.5)(1)}{(-1.5)^2+(-0.5)^2+(0.5)^2+(1.5)^2}$$ $$b_1 = \frac{4}{5} = 0.8$$

Έπειτα υπολογίζουμε την τεταγμένη επί την αρχή:

$$b_0 = \bar{y} - b_1\bar{x} = 3 - 0.8(2.5) = 1$$

Άρα η εξίσωση παλινδρόμησης είναι

$$\hat{y} = 1 + 0.8x$$

Αν $x=5$, το μοντέλο προβλέπει

$$\hat{y} = 1 + 0.8(5) = 5$$

Μπορείς επίσης να ελέγξεις ένα κατάλοιπο. Στο $x=2$, η προβλεπόμενη τιμή είναι

$$\hat{y} = 1 + 0.8(2) = 2.6$$

Η πραγματική τιμή είναι $2$, άρα το κατάλοιπο είναι

$$y-\hat{y} = 2 - 2.6 = -0.6$$

Αυτό το σημείο βρίσκεται $0.6$ μονάδες κάτω από την ευθεία παλινδρόμησης. Ένα μόνο κατάλοιπο δεν δείχνει αν όλο το μοντέλο είναι καλό, αλλά δείχνει πώς η παλινδρόμηση μετρά το σφάλμα.

Συνηθισμένα λάθη στη γραμμική παλινδρόμηση

Ένα λάθος είναι να υποθέτεις ότι η ευθεία πρέπει να περνά από κάθε σημείο. Η παλινδρόμηση αφορά την καλύτερη προσαρμογή, όχι την τέλεια προσαρμογή.

Ένα άλλο λάθος είναι να διαβάζεις την κλίση σαν ακριβή κανόνα για κάθε σημείο δεδομένων. Η κλίση είναι μια μέση προβλεπόμενη μεταβολή από το μοντέλο.

Ένα τρίτο λάθος είναι να αντιμετωπίζεις την παλινδρόμηση ως απόδειξη αιτιότητας. Ένα ισχυρό γραμμικό μοτίβο μπορεί να βοηθήσει στην πρόβλεψη ή να περιγράψει συσχέτιση, αλλά από μόνο του δεν εξηγεί γιατί οι μεταβλητές μεταβάλλονται μαζί.

Είναι επίσης εύκολο να εμπιστευτείς υπερβολικά προβλέψεις έξω από το εύρος των παρατηρημένων δεδομένων. Η εξωπαρεμβολή μπορεί να αποτύχει ακόμη κι όταν η προσαρμοσμένη ευθεία φαίνεται καλή μέσα στο αρχικό εύρος.

Πότε να χρησιμοποιείς γραμμική παλινδρόμηση

Η γραμμική παλινδρόμηση χρησιμοποιείται όταν μια ευθύγραμμη σύνοψη είναι χρήσιμη και η σχέση είναι τουλάχιστον περίπου γραμμική στο εύρος που σε ενδιαφέρει. Συνήθεις χρήσεις είναι η εκτίμηση της τιμής από το μέγεθος, της βαθμολογίας από τον χρόνο μελέτης ή της εξόδου από την είσοδο σε σταθερές συνθήκες.

Είναι ιδιαίτερα χρήσιμη όταν θέλεις ένα ερμηνεύσιμο μοντέλο. Η κλίση, η τεταγμένη επί την αρχή και τα κατάλοιπα είναι αρκετά απλά ώστε να εξηγούνται χωρίς να κρύβουν τι κάνει το μοντέλο.

Ένας γρήγορος έλεγχος πριν εμπιστευτείς την ευθεία

Πριν χρησιμοποιήσεις μια ευθεία παλινδρόμησης, κάνε δύο ερωτήσεις. Ένα διάγραμμα διασποράς φαίνεται περίπου γραμμικό; Το πλαίσιο δίνει στην κλίση ουσιαστικό νόημα αντί να είναι παραπλανητική; Αν κάποια απάντηση είναι όχι, ίσως ένα διαφορετικό μοντέλο να είναι καλύτερο.

Δοκίμασε ένα παρόμοιο πρόβλημα

Διάλεξε τέσσερα σημεία, σχεδίασέ τα και προσαρμόσε μια ευθεία με αριθμομηχανή ή λογισμικό. Έπειτα σύγκρινε τις προβλεπόμενες τιμές με τις πραγματικές. Η εξέταση των καταλοίπων είναι συχνά ο πιο γρήγορος τρόπος να καταλάβεις τι πραγματικά κάνει η ευθεία παλινδρόμησης.