P값 — 의미와 해석 방법

p값은 통계 검정에서 나오는 수치로, 귀무가설이 참이라고 할 때 현재와 같은 결과가 얼마나 이례적인지를 알려줍니다. 더 정확히 말하면, 검정에 사용한 귀무모형 아래에서 관측된 결과만큼 또는 그보다 더 극단적인 결과가 나올 확률입니다.

즉, p값은 데이터가 귀무가설에 얼마나 반하는지를 판단하는 한 가지 방법입니다. 하지만 이것이 귀무가설이 참일 확률을 알려주는 것은 아니며, 효과가 실제로 크거나 중요한지도 말해주지 않습니다.

P값이 실제로 답하는 질문

가설검정에서는 먼저 보통 $H_0$로 쓰는 귀무가설을 세웁니다. 이것은 계산 과정에서 검정이 참이라고 가정하는 기준 주장입니다.

p값은 다음 질문에 답합니다:

$$\text{If } H_0 \text{ were true, how unusual would data this extreme be?}$$

p값이 작다면, 관측된 데이터는 $H_0$ 아래에서 비교적 이례적이라는 뜻입니다. p값이 작지 않다면, 그 모형 아래에서 데이터가 특별히 이례적이지 않다는 뜻입니다.

이 결론은 어떤 검정을 썼는지, 그 검정의 가정이 무엇인지, 그리고 "적어도 이만큼 극단적"을 어떻게 정의하는지에 따라 달라집니다. 양측검정과 단측검정은 같은 데이터에서도 서로 다른 p값을 줄 수 있습니다.

P값 예시: $p = 0.03$ 해석하기

한 학교가 새로운 교수법과 기존 교수법을 비교한다고 가정해 봅시다. 귀무가설은 새로운 방법이 평균 시험 점수에 차이를 만들지 않는다는 것입니다.

선택한 통계 검정을 수행한 뒤, 결과가 $p = 0.03$으로 나왔습니다.

올바른 해석은 다음과 같습니다:

귀무가설이 참이고, 검정의 가정도 타당하다고 하면, "차이 없음"에서 이 정도로 벗어나거나 그보다 더 큰 정도로 벗어난 데이터는 약 $3\%$의 확률로 나타납니다.

이것은 귀무가설에 반하는 증거입니다. 연구자들이 분석 전에 유의수준을 $\alpha = 0.05$로 정해 두었다면, $0.03 < 0.05$이므로 이 결과를 통계적으로 유의하다고 부를 것입니다.

하지만 이것이 의미하지 않는 것도 분명히 봐야 합니다:

• 귀무가설이 참일 확률이 $3\%$라는 뜻은 아닙니다.
• 새로운 교수법의 효과가 크다는 뜻은 아닙니다.
• 이 결과가 $97\%$ 확률로 재현된다는 뜻도 아닙니다.

이것들은 서로 다른 질문입니다.

왜 P값은 자주 잘못 읽히는가

작은 p값은 귀무가설이 정확히 맞다고 가정할 때 데이터를 설명하기 어렵다는 뜻입니다. 이것은 유용한 증거가 될 수 있지만, 이야기의 전부는 아닙니다.

표본 크기가 충분히 크면 아주 작은 효과도 작은 p값을 만들 수 있습니다. 반대로 실제로 중요한 효과가 있어도 표본이 너무 작거나 데이터에 잡음이 많으면 작은 p값에 도달하지 못할 수 있습니다.

그래서 p값은 효과크기, 신뢰구간, 연구 설계와 함께 읽어야 합니다.

흔한 P값 해석 실수

실수 1: P값을 $P(H_0 \mid \text{data})$로 보는 것

p값은 $H_0$가 참이라고 가정하고 계산합니다. 데이터를 본 뒤 $H_0$가 참일 확률이 아닙니다.

실수 2: 통계적 유의성과 중요성을 같은 것으로 보는 것

통계적으로 유의하다는 것은 특정 검정에서 정해 둔 기준을 넘었다는 뜻일 뿐입니다. 그 효과가 실제로 중요한지는 알려주지 않습니다.

실수 3: 큰 P값을 효과가 없다는 증거로 읽는 것

큰 p값은 귀무가설을 증명하지 않습니다. 그 분석에서는 귀무가설에 반하는 강한 증거가 없다는 뜻일 뿐입니다. 연구의 검정력이 부족했을 수도 있고, 데이터에 잡음이 많았을 수도 있으며, 연구 질문에 잘 맞지 않는 설계였을 수도 있습니다.

실수 4: $0.049$와 $0.051$을 정반대로 취급하는 것

이 두 값은 매우 가깝습니다. 의사결정을 위해 엄격한 기준값이 유용할 수는 있지만, 실제 증거는 보통 소수점 한 자리 차이에서 극적으로 뛰지 않고 점진적으로 변합니다.

P값이 유용한 경우

p값은 실험, 설문조사, A/B 테스트, 임상 연구, 품질 관리 등 많은 분야의 공식적인 가설검정에서 사용됩니다.

귀무가설이 명확하게 정의되어 있고, 검정이 적절하게 선택되었으며, 모형의 가정도 최소한 합리적으로 방어 가능할 때 p값은 가장 유용합니다.

이 조건들이 약하면, p값은 정밀해 보일 수 있어도 결론은 흔들릴 수 있습니다.

P값을 빠르게 해석하는 방법

논문, 보고서, 또는 소프트웨어 출력에서 p값을 보면 다음 질문을 순서대로 해 보세요:

1. 귀무가설은 정확히 무엇인가?
2. 어떤 검정이 이 p값을 만들었는가?
3. 검정의 가정은 타당한가?
4. 효과크기와 신뢰구간은 무엇인가?
5. 유의성 기준은 분석 전에 정해졌는가?

이 짧은 점검표만으로도 대부분의 해석 오류를 막을 수 있습니다.

비슷한 해석을 직접 해보기

"통계적으로 유의하다"라고 보고된 아무 결과나 하나 골라, 다음 틀로 쉬운 말로 다시 써 보세요. "귀무가설이 참이라면, 이 정도로 극단적이거나 그보다 더 극단적인 결과는 약 $p \times 100\%$의 확률로 일어난다." 그런 다음 보고서에 효과크기나 신뢰구간도 함께 제시되어 있는지 확인해 보세요. 이것이 기준값만 쫓는 해석에서 실제 해석으로 넘어가는 가장 빠른 방법입니다.