P-값과 유의성 검정

배경이 흰색인 웹사이트를 운영한다고 합시다 웹사이트를 운영한다고 합시다 웹사이트 방문 시간의 평균은 웹사이트 방문 시간의 평균은 20분이라고 합시다 사람들이 웹사이트에 오래 있도록 무언가 변화를 줄 것입니다 배경을 노란색으로 바꿉니다 배경을 노란색으로 바꿉니다 이렇게 변화를 주고 나서 실제로 의도한 결과가 나오는지 어떻게 알 수 있죠? 여기서 유의성 검정이 등장합니다 먼저 귀무가설과 대립가설을 세웁니다 먼저 귀무가설과 대립가설을 세웁니다 귀무가설은 다음과 같습니다 변화를 주어도 효과가 없는 것이죠 그러므로 이 문제에서는 배경을 노란색으로 바꾸어도 평균이 그대로 20분이라는 것입니다 평균이 그대로 20분이라는 것입니다 그럼 대립가설은 무엇일까요? 대립가설은 변화에 의하여 평균이 높아지는 것이죠 웹사이트에 방문하느 시간이 높아진다는 것입니다 따라서 변화를 준 뒤 평균은 20분보다 커집니다 다음으로 해야할 것은 유의수준의 한계점을 설정하는 것입니다 어떻게 되는지 바로 확인할 수 있습니다 유의수준은 그리스 문자 알파로 표기합니다 보통 유의수준은 1/100, 5/100, 1/10 혹은 1%, 5%, 10%인데 다른 값도 있겠죠 이 특정 상황에 대한 유의수준을 세울 것입니다 0.05라고 합시다 다음으로 해야할 것은 노란색 배경의 웹사이트에 방문한 사람들의 표본을 추출하는 것입니다 표본평균, 표본표준편차와 같은 통계량을 계산합니다 만약 귀무가설이 참이라고 가정한다면 만약 귀무가설이 참이라고 가정한다면 우리가 얻은 통계량과 표본을 구할 확률은 무엇일까요? 만약 확률이 유의수준보다 작다면 만약 확률이 유의수준보다 작다면 확률이 5/100보다 작다면 5%보다 작다면 귀무가설을 기각하고 대립가설을 뒷받침하는 증거가 존재한다고 할 수 있습니다 그러나, 확률이 유의수준보다 크거나 같다면 그러나, 확률이 유의수준보다 크거나 같다면 귀무가설을 기각할 수 없고 대립가설을 뒷받침하는 증거가 없습니다 따라서 다음으로 해야할 것은 표본을 추출하는 것입니다 표본을 추출합시다 새로운 웹사이트를 방문한 100명을 추출합니다 노란색 웹사이트 말이죠 그리고 표본의 통계량을 측정합니다 표본평균을 측정합니다 표본평균은 25분입니다 표본평균은 25분입니다 또한 마찬가지로 모표준편차를 모른다면 모표준편차를 모른다면 모표준편차를 모른다면 표본표준편차를 계산합니다 그 다음으로 p값을 계산합니다 확률을 나타내는 p값은 귀무가설이 참이라고 가정하면 최소한 평균에서 멀리 떨어진 곳에서 통계량을 얻을 확률입니다 따라서 이것은 조건부 확률입니다 귀무가설이 참이라고 가정하고 표본의 크기가 100일 때 표본의 크기가 100일 때 표본평균이 25보다 크거나 같을 확률입니다 다른 강의에서 이와 관련된 이야기를 했었죠 표본평균의 표본분포가 정규분포를 따른다고 가정하면 표본평균 표본의 크기 표본표준편차를 사용할 수 있습니다 t 통계량을 사용하여 확률을 구할 수 있습니다 그러면 귀무가설을 기각할 수 있는지 결정할 수 있습니다 5단계입니다 5단계에는 두 상황이 있습니다 p값이 α보다 작다면 귀무가설을 기각합니다 그러면 대립가설을 뒷받침하는 증거가 만들어지겠죠 다른 상황을 봅시다 p값이 0.05보다 크거나 같다면 p값이 0.05보다 크거나 같다면 즉, 유의수준보다 크거나 같다면 귀무가설을 기각할 수 없습니다 귀무가설을 수용한다고 하지 않고 귀무가설을 기각할 수 없다고 하겠습니다 귀무가설을 기각할 수 없다고 하겠습니다 이 모두를 계산하면 p값을 구할 수 있겠죠 p값을 구할 수 있겠죠 p값이 0.03이라고 합시다 0.03은 0.05보다 작으므로 귀무가설을 기각하고 대립가설을 뒷받침한느 증거가 있습니다 논리적 이치에 맞기를 바랍니다 표본을 추출하고 귀무가설을 가정한다면 표본을 얻을 확률은 3%, 즉 3/100입니다 그 확률은 한계점보다 낮기 때문에 그 확률은 한계점보다 낮기 때문에 이를 기각하고 대립가설을 뒷받침하는 증거가 있다고 할 수 있습니다 반면 이러한 경우도 있겠죠 이를 모두 계산하고 구한 p값이 0.5라면 이렇게 해석할 수 있습니다 귀무가설이 참이라고 가정한다면 배경을 노랗게 바꾸어도 변하는건 없습니다 이 결과가 나올 확률은 50%입니다 그리고 이 상황에서 유의수준보다 p값이 더 크기 때문에 귀무가설을 기각하지 못합니다 귀무가설이 참이라면 이 결과가 나옵니다 합리적인것 같네요 이것은 일반적인 유의성 검정의 기본입니다 보다시피 여러분이 생각하는 대부분의 상황에서 적용 가능합니다 마지막으로, 확실히 하고 넘어갈 부분이 있습니다 정말로 확실하게 해야합니다 귀무가설의 기각 여부를 결정하기 위해 사용하는 p값은 귀무가설이 참이라고 주어지면 표본통계량을 구할 수 있는 확률입니다 가끔 헷갈릴 때가 있습니다 이 값이 우리가 얻은 표본통계량을 볼 때 귀무가설이 참일 확률일까요? 명백하게 아닙니다 귀무가설이 참인지 아닌지에 대한 확률을 구하는 것이 아닙니다 이렇게 해석해야 합니다 귀무가설이 참이라고 가정하면 표본에 대한 통계량을 얻을 확률은 무엇일까요? 만약 확률이 낮다면 이전에 설정한 한계점보다 낮다면 귀무가설을 기각하고 대립가설을 뒷받침하는 증거가 있다고 할 수 있습니다