Λογιστική παλινδρόμηση — Σιγμοειδής συνάρτηση και ταξινόμηση

Η λογιστική παλινδρόμηση είναι ένα μοντέλο για δυαδική ταξινόμηση. Συνδυάζει τα χαρακτηριστικά εισόδου σε ένα γραμμικό σκορ, περνά αυτό το σκορ από τη σιγμοειδή συνάρτηση και παράγει έναν αριθμό μεταξύ $0$ και $1$ που ερμηνεύεται, σύμφωνα με το προσαρμοσμένο μοντέλο, ως η εκτιμώμενη πιθανότητα της θετικής κλάσης.

Παρά το όνομά της, η λογιστική παλινδρόμηση χρησιμοποιείται συνήθως για να αποφασίσει ανάμεσα σε δύο κλάσεις, όπως επιτυχία/αποτυχία, spam/όχι spam ή αθέτηση/μη αθέτηση. Η λέξη «παλινδρόμηση» αναφέρεται στον γραμμικό τύπο μέσα στο μοντέλο, όχι στην πρόβλεψη μιας συνεχούς εξόδου.

Ο τύπος της λογιστικής παλινδρόμησης με μια ματιά

Η δυαδική λογιστική παλινδρόμηση χρησιμοποιεί

$$p(y=1 \mid x) = \sigma(z), \qquad z = \beta_0 + \beta_1 x_1 + \cdots + \beta_n x_n$$

με τη σιγμοειδή συνάρτηση

$$\sigma(z) = \frac{1}{1 + e^{-z}}$$

Το γραμμικό μέρος $z$ μπορεί να είναι οποιοσδήποτε πραγματικός αριθμός. Η σιγμοειδής συνάρτηση συμπιέζει αυτή την τιμή στο $(0,1)$, γι’ αυτό η έξοδος μπορεί να χρησιμοποιηθεί ως εκτίμηση πιθανότητας.

Γιατί έχει σημασία η σιγμοειδής συνάρτηση

Αν χρησιμοποιούσες το ακατέργαστο γραμμικό σκορ $z$ ως πιθανότητα, θα μπορούσες να πάρεις αδύνατες τιμές όπως $1.7$ ή $-0.4$. Η σιγμοειδής το διορθώνει αυτό, αντιστοιχίζοντας μεγάλες αρνητικές τιμές σκορ κοντά στο $0$, μεγάλες θετικές τιμές σκορ κοντά στο $1$ και τιμές σκορ κοντά στο $0$ κοντά στο $0.5$.

Αυτό δίνει μια πρακτική ερμηνεία:

• αν το $z$ είναι πολύ αρνητικό, το μοντέλο γέρνει προς την κλάση $0$
• αν το $z$ είναι κοντά στο $0$, το μοντέλο είναι αβέβαιο
• αν το $z$ είναι πολύ θετικό, το μοντέλο γέρνει προς την κλάση $1$

Η καμπύλη είναι πιο απότομη κοντά στο $z=0$. Άρα μια μικρή αλλαγή στο σκορ μπορεί να αλλάξει πολύ την πιθανότητα κοντά στο $0.5$, αλλά πολύ λιγότερο όταν η πιθανότητα είναι ήδη κοντά στο $0$ ή στο $1$.

Παράδειγμα λογιστικής παλινδρόμησης

Έστω ότι ένα μοντέλο χρησιμοποιεί ένα χαρακτηριστικό $x$ και έχει

$$z = -7 + 0.1x$$

Μπορείς να θεωρήσεις το $x$ ως βαθμολογία σε ένα τεστ και το $y=1$ ως «επιτυχία». Οι συντελεστές εδώ είναι απλώς ένα παράδειγμα για να δείξουν τον μηχανισμό.

Αν $x = 65$, τότε

$$z = -7 + 0.1(65) = -0.5$$

Άρα η προβλεπόμενη πιθανότητα είναι

$$p(y=1 \mid x=65) = \sigma(-0.5) = \frac{1}{1 + e^{0.5}} \approx 0.378$$

Αν $x = 80$, τότε

$$z = -7 + 0.1(80) = 1$$

και

$$p(y=1 \mid x=80) = \sigma(1) = \frac{1}{1 + e^{-1}} \approx 0.731$$

Άρα το ίδιο μοντέλο δίνει περίπου $37.8\%$ πιθανότητα επιτυχίας όταν $x=65$ και περίπου $73.1\%$ όταν $x=80$. Το σκορ αυξήθηκε κατά $1.5$, αλλά η τελική έξοδος έμεινε μεταξύ $0$ και $1$ επειδή η σιγμοειδής μετατρέπει το αποτέλεσμα σε πιθανότητα.

Αν τώρα επιλέξεις κατώφλι $0.5$, η πρώτη περίπτωση ταξινομείται ως κλάση $0$ και η δεύτερη ως κλάση $1$. Αυτό το τελευταίο βήμα εξαρτάται από το κατώφλι. Η ίδια η εκτίμηση πιθανότητας δεν εξαρτάται.

Μια χρήσιμη συντόμευση: με κατώφλι $0.5$, η κλάση αλλάζει ακριβώς όταν $z=0$, επειδή $\sigma(0)=0.5$.

Πώς η λογιστική παλινδρόμηση γίνεται ταξινομητής

Η έξοδος του μοντέλου είναι μια εκτίμηση πιθανότητας. Ένας κανόνας ταξινόμησης προστίθεται μετά.

Για παράδειγμα, με κατώφλι $0.5$:

• πρόβλεψε κλάση $1$ αν $p(y=1 \mid x) \ge 0.5$
• πρόβλεψε κλάση $0$ αν $p(y=1 \mid x) < 0.5$

Όμως το $0.5$ δεν είναι πάντα το σωστό κατώφλι. Αν τα false positives και τα false negatives έχουν διαφορετικό κόστος ή αν οι κλάσεις είναι πολύ ανισόρροπες, κάποιο άλλο κατώφλι μπορεί να λειτουργεί καλύτερα.

Τι σημαίνουν οι συντελεστές

Το πρόσημο ενός συντελεστή δείχνει την κατεύθυνση της επίδρασης στο γραμμικό σκορ $z$:

• αν $\beta_i > 0$, η αύξηση του $x_i$ αυξάνει το $z$ και τείνει να αυξήσει το $p(y=1 \mid x)$
• αν $\beta_i < 0$, η αύξηση του $x_i$ μειώνει το $z$ και τείνει να μειώσει το $p(y=1 \mid x)$

Αυτό το μέρος είναι απλό. Το πιο λεπτό σημείο είναι ότι η πιθανότητα δεν αλλάζει γραμμικά με το χαρακτηριστικό, επειδή η καμπύλη της σιγμοειδούς δεν είναι ευθεία γραμμή.

Στη συνήθη λογιστική παλινδρόμηση, το γραμμικό μοντέλο είναι στην κλίμακα των log-odds:

$$\log\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 x_1 + \cdots + \beta_n x_n$$

Αυτό σημαίνει ότι κάθε αύξηση κατά μία μονάδα σε ένα χαρακτηριστικό αλλάζει γραμμικά τα log-odds όταν τα άλλα χαρακτηριστικά παραμένουν σταθερά. Αυτό είναι πιο ακριβές από το να πούμε ότι αλλάζει την πιθανότητα κατά ένα σταθερό ποσό.

Συνηθισμένα λάθη στη λογιστική παλινδρόμηση

Να θεωρείς την έξοδο ως βέβαιη κλάση

Μια πρόβλεψη όπως $0.73$ δεν σημαίνει ότι το γεγονός θα συμβεί σίγουρα. Σημαίνει ότι το μοντέλο αποδίδει περίπου $73\%$ εκτιμώμενη πιθανότητα στη θετική κλάση για αυτή την είσοδο.

Να υποθέτεις ότι το κατώφλι πρέπει να είναι $0.5$

Το $0.5$ είναι συνηθισμένο, αλλά είναι επιλογή, όχι νόμος. Το καλύτερο κατώφλι εξαρτάται από την εφαρμογή.

Να νομίζεις ότι η πιθανότητα αλλάζει γραμμικά

Το σκορ $z$ είναι γραμμικό ως προς τις εισόδους, αλλά η πιθανότητα δεν είναι. Μια μεταβολή κατά μία μονάδα σε ένα χαρακτηριστικό μπορεί να έχει διαφορετική επίδραση κοντά στο $p=0.5$ απ’ ό,τι κοντά στο $p=0.95$.

Να ξεχνάς ότι το μοντέλο είναι δυαδικό εκτός αν επεκταθεί

Η βασική λογιστική παλινδρόμηση χειρίζεται δύο κλάσεις. Υπάρχουν πολυταξικές εκδοχές, αλλά είναι επεκτάσεις, όχι η ίδια δυαδική διάταξη γραμμένη με διαφορετικό τρόπο.

Πότε χρησιμοποιείται η λογιστική παλινδρόμηση

Η λογιστική παλινδρόμηση χρησιμοποιείται συχνά όταν ο στόχος είναι ναι/όχι, όπως στην ανίχνευση spam, στην παρουσία ασθένειας, στην αποχώρηση πελατών, στην αθέτηση δανείου ή σε αποτελέσματα επιτυχίας/αποτυχίας.

Παραμένει δημοφιλής επειδή είναι απλή, γρήγορη και αρκετά ερμηνεύσιμη. Είναι ιδιαίτερα χρήσιμη όταν θέλεις έναν βασικό ταξινομητή, όταν το σύνολο δεδομένων δεν είναι πολύ μεγάλο ή όταν χρειάζεσαι εκτιμώμενες πιθανότητες και όχι μόνο αυστηρές ετικέτες.

Ένας απλός τρόπος να το φανταστείς

Σκέψου τη λογιστική παλινδρόμηση ως μια μηχανή δύο βημάτων:

1. Αθροίζει ενδείξεις με ένα γραμμικό σκορ.
2. Μετατρέπει αυτό το σκορ σε πιθανότητα με τη σιγμοειδή συνάρτηση.

Αυτή η εικόνα αρκεί για να κατανοήσεις τα περισσότερα εισαγωγικά παραδείγματα και να δεις γιατί η λογιστική παλινδρόμηση βρίσκεται ανάμεσα στα γραμμικά μοντέλα και στα προβλήματα ταξινόμησης.

Δοκίμασε ένα παρόμοιο πρόβλημα λογιστικής παλινδρόμησης

Διάλεξε ένα απλό σκορ όπως

$$z = -3 + 0.5x$$

Υπολόγισε το $\sigma(z)$ για μερικές τιμές του $x$, όπως $2$, $6$ και $10$. Παρατήρησε πώς το γραμμικό σκορ αλλάζει σταθερά ενώ η πιθανότητα καμπυλώνεται σε μια καμπύλη σχήματος S. Έπειτα δοκίμασε ένα διαφορετικό κατώφλι και δες πότε αλλάζει η προβλεπόμενη κλάση.