ANOVA — wyjaśnienie analizy wariancji

ANOVA, czyli analiza wariancji, sprawdza, czy średni wynik różni się między kilkoma grupami. W jednoczynnikowej ANOVA porównuje się zmienność między średnimi grup z zmiennością wewnątrz grup, co daje statystykę $F$.

Zwykle jest to właściwe narzędzie, gdy masz jedną kategoryczną zmienną grupującą, jedną ilościową zmienną odpowiedzi i chcesz wykonać jeden test ogólny zamiast wielu osobnych testów $t$. Jeśli zmienność między grupami jest duża w porównaniu ze zmiennością wewnątrz grup, jest to dowód na to, że nie wszystkie średnie populacyjne są równe.

Dla klasycznej jednoczynnikowej ANOVA statystyka testowa ma postać

$$F = \frac{MS_B}{MS_W}$$

gdzie $MS_B$ to średni kwadrat między grupami, a $MS_W$ to średni kwadrat wewnątrz grup. Większa wartość $F$ sugeruje, że średnie grup są bardziej od siebie oddalone, niż można by oczekiwać wyłącznie na podstawie zwykłego szumu wewnątrz grup.

Co testuje ANOVA

Typowa hipoteza zerowa w jednoczynnikowej ANOVA to

$$H_0: \mu_1 = \mu_2 = \cdots = \mu_k$$

Hipoteza alternatywna nie brzmi „wszystkie średnie są różne”. Jest słabsza: co najmniej jedna średnia grupy różni się od co najmniej jednej innej średniej grupy.

To ważne, ponieważ ANOVA jest testem ogólnym. Istotny wynik mówi, że istnieją dowody na jakąś różnicę gdzieś w danych, ale nie wskazuje, które grupy się różnią. Do tego zwykle potrzebne są porównania uzupełniające.

Dlaczego ANOVA używa wariancji do porównywania średnich

Na początku nazwa może brzmieć paradoksalnie. Jeśli ANOVA dotyczy średnich, to dlaczego używa wariancji?

Ponieważ wariancja daje przejrzysty sposób mierzenia dwóch rodzajów rozrzutu:

1. Rozrzutu średnich grup wokół średniej ogólnej.
2. Rozrzutu pojedynczych obserwacji wokół średnich ich własnych grup.

Jeśli pierwszy rodzaj rozrzutu jest znacznie większy od drugiego, grupy wyglądają na bardziej rozdzielone, niż zwykle mogłyby to spowodować zwykłe fluktuacje wewnątrz grup.

Kiedy jednoczynnikowa ANOVA jest odpowiednia

Jednoczynnikową ANOVA stosuje się wtedy, gdy jeden czynnik kategoryczny dzieli obserwacje na grupy i chcesz porównać średnią jednej ilościowej zmiennej odpowiedzi między tymi grupami.

Przykłady obejmują porównanie średnich wyników testu między metodami nauczania, średniego plonu między nawozami albo średniego czasu reakcji między warunkami eksperymentalnymi.

Dla klasycznej jednoczynnikowej ANOVA główne założenia są następujące:

1. Obserwacje są niezależne.
2. Zmienna odpowiedzi jest mierzona na skali ilościowej.
3. Wariancje w grupach są w przybliżeniu podobne.
4. Model nie jest wyraźnie niezgodny z kształtem danych, zwłaszcza przy małych próbach.

ANOVA może nadal być dość odporna w wielu sytuacjach, szczególnie przy zrównoważonych grupach i umiarkowanych liczebnościach prób, ale zależy to od projektu badania. Jeśli dane są sparowane, powtarzane na tych samych osobach albo mają silnie nierówne wariancje, zwykła jednoczynnikowa ANOVA może nie być właściwym narzędziem.

Przykład jednoczynnikowej ANOVA

Załóżmy, że nauczyciel chce porównać trzy metody nauki na podstawie wyników z quizu:

1. Metoda A: $72$, $74$, $76$
2. Metoda B: $78$, $80$, $82$
3. Metoda C: $84$, $86$, $88$

Średnie grup wynoszą

$$\bar{x}_A = 74, \qquad \bar{x}_B = 80, \qquad \bar{x}_C = 86$$

Średnia ogólna ze wszystkich $9$ wyników wynosi

$$\bar{x} = 80$$

Teraz rozdzielmy zmienność na dwie części.

Krok 1: Zmienność między grupami

Każda grupa ma $3$ obserwacje, więc suma kwadratów między grupami wynosi

$$SS_B = 3(74-80)^2 + 3(80-80)^2 + 3(86-80)^2$$ $$SS_B = 3(36) + 0 + 3(36) = 216$$

Przy $k=3$ grupach liczba stopni swobody między grupami wynosi $k-1=2$, więc

$$MS_B = \frac{SS_B}{k-1} = \frac{216}{2} = 108$$

Krok 2: Zmienność wewnątrz grup

W każdej grupie wyniki są oddalone od średniej grupy tylko o $2$ punkty w obie strony:

$$SS_W = (4+0+4) + (4+0+4) + (4+0+4) = 24$$

Przy łącznej liczbie obserwacji $N=9$ liczba stopni swobody wewnątrz grup wynosi $N-k=6$, więc

$$MS_W = \frac{SS_W}{N-k} = \frac{24}{6} = 4$$

Krok 3: Oblicz statystykę $F$

Teraz obliczamy

$$F = \frac{MS_B}{MS_W} = \frac{108}{4} = 27$$

Tak duża wartość $F$ oznacza, że średnie grup są od siebie daleko w porównaniu ze zmiennością wewnątrz grup. Przy typowych założeniach jednoczynnikowej ANOVA jest to mocny dowód przeciwko hipotezie zerowej, że wszystkie trzy średnie populacyjne są równe.

Praktyczna interpretacja jest prosta: różnice między trzema metodami nauki są zbyt duże, by uznać je wyłącznie za zwykły rozrzut wewnątrz grup.

Czego ANOVA nie mówi

ANOVA nie mówi, która konkretna para grup się różni. Po istotnym wyniku ogólnym zwykle potrzebne są testy post-hoc albo zaplanowane kontrasty.

Nie mówi też, że efekt jest ważny z praktycznego punktu widzenia. Różnica wykrywalna statystycznie może nadal być zbyt mała, by miała znaczenie w rzeczywistej sytuacji.

Jeśli badanie nie było randomizowane, ANOVA również nie dowodzi, że zmienna grupująca spowodowała różnicę. Testuje jedynie, czy średnie grup wyglądają na różne w zebranych danych.

Typowe błędy związane z ANOVA

Jednym z częstych błędów jest myślenie, że ANOVA to głównie test sprawdzający, czy wariancje grup są równe. W standardowym zastosowaniu ANOVA porównuje średnie. Wariancja pojawia się dlatego, że jest narzędziem do mierzenia sygnału względem szumu.

Innym błędem jest wykonywanie wielu osobnych testów $t$ zamiast jednego ogólnego testu ANOVA, gdy w grę wchodzi kilka grup. Może to zwiększać ryzyko wyników fałszywie dodatnich, chyba że porównania zostaną starannie skorygowane.

Trzecim błędem jest zatrzymanie się po istotnym wyniku ANOVA i twierdzenie, że wiadomo dokładnie, która grupa „wygrała”. Sam test ogólny tego nie rozstrzyga.

Gdzie stosuje się ANOVA

ANOVA jest powszechna w eksperymentach, testowaniu produktów, edukacji, biologii, rolnictwie i naukach społecznych. Jest przydatna wszędzie tam, gdzie potrzebny jest jeden uzasadniony test różnic średnich między wieloma grupami.

Jest szczególnie pomocna wtedy, gdy prawdziwe pytanie ma charakter porównawczy: czy te terapie, metody lub warunki dają mierzalnie różne średnie wyniki?

Wypróbuj własną wersję

Weź ten sam przykład i zmień Metodę B na $79$, $80$, $81$. Oblicz ponownie $SS_W$, $MS_W$ i końcową statystykę $F$. Ta jedna zmiana dobrze pokazuje główną intuicję: gdy rośnie szum wewnątrz grup, dowód na rzeczywistą różnicę średnich słabnie.