실험의 통계적 유의성

7세부터 11세까지 분포된 500명의 아이들의 식습관을 알아보기 위한 실험에서 아이들을 무작위로 두개의 부류로 나누었습니다 배치 후, 각 아이들은 방에서 물고기 과자가 가득 든 그릇과 함께 만화를 시청했습니다 이 만화에는 두 개의 광고가 있었습니다 첫 번째 부류는 대부분 간식에 관한 음식 광고이고, 두 번째 부류는 게임이나 각종 영상에 관한, 음식이 아닌 광고를 시청하였습니다 어린이들이 만화를 모두 시청할 때쯤은 실험 진행자들이 아이들이 먹은 과자의 양을 재기 위해 과자 그릇의 무게를 측정하였습니다 그리고 그들은 음식 광고를 시청한 어린이들이 먹은 과자의 양의 평균이 그렇지 않은 아이들의 평균보다 10그램 더 많았습니다 이 부분에서 뭐가 일어나는지 봅시다 그들은 500명의 아이들을 무작위로 섞은 뒤 두 부류로 나누었습니다 한 그룹은 여기 있고 다른 부분은 여기 있습니다 여기 있는 부류가 첫 번째 무리라고 합시다 첫 번째 무리의 아이들은 음식 광고를 시청했습니다 여긴 1번 무리입니다 그리고 그들은 음식 광고를 봤습니다 이걸 실험군이라고 부르겠습니다 우린 음식 광고가 어떤 영향을 미치는지 보려고 하는 것입니다 두 번째 부류는 음식 광고를 보지 않은 무리이고, 이건 대조군이 되겠습니다 이 2번 그룹은 음식이 아닌 광고를 시청했습니다 바로 대조군입니다 어린이들이 만화를 모두 보고 각각 아이들에게 준 그릇에 있는 과자 를 먹은 양을 평균으로 나타낸 결과, 실험군이 대조군보다 10 그램 더 많은 양의 과자를 먹은 사실이 나왔습니다 이 결과만으로도 여러분은 아마도 음식 광고를 보게 하는 실험이 더 많은 과자를 먹게 하였을 거라는 생각이 들게 만들 겁니다 하지만 항상 여러분들이 가져야 하는 질문은 이와 같은 상황입니다 그것은 바로 실제 상황에서 발생할 수 있는 확률이 얼마나 되는지입니다 만약 그들에게 광고를 보여주지 않고 이유 없이 두 부류로 나누었다거나 광고를 나누지 않고 모두 동일한 광고를 시청하게 하였다면 아마도 한 부류의 평균이 다른 부류의 평균과는 다를 확률이 있을 것입니다 이 실험에서는 이 부류에서 아이들이 평균 10 그램 더 먹었습니다 이게 실제 상황에서 10그램을 더 먹는 것이 실제 상황에서 일어날 확률이 얼마나 될 건지 구해야 합니다 사실 이걸 해결할 방법은 시뮬레이터를 이용하여서 값들을 다시 무작위로 섞은 다음, 새로운 두 부류로 나누어서 각자 평균을 구하는 것입니다 그들은 시뮬레이션을 150번 돌려서 차이를 구했습니다 받은 결과는 아래에 나와 있습니다 결과는 다음과 같습니다 그들은 각자 500명의 어린이들이 있었고 1번부터 500번까지 번호를 매겼습니다 각자 아이들에 대해서 그들이 먹은 과자의 양을 측정했습니다 아마도 1번 아이는 2 그램을 먹엇고 2번 아이는 4그램을 먹었고, 3번 아이는 잘 모르겠지만 아마도 12그램을 먹었겠고 이렇게 500번까지 적습니다 하나도 안 먹은 아이가 있을 수도 있습니다 우리는 이미 첫 번째 반이 실험군인 것을 알고 있고, 두번째로 적히는 아이들을 나누어서 대조군으로 넣는다는 사실을 잘 알고 있습니다 그들이 지금 하고 있는 것은 무작위로 섞어서 같은 결과를 배출하는 것입니다 이제 그들은 이 아이를 2번에 넣고, 이 아이도 2번 그룹에 넣고 이 아이는 2번 그룹에 머물러 있고 이 아이는 1번 그룹에 머물러 있고 이 아이도 1번 그룹에 머물러 있습니다 이제 그들의 결과는 다시 섞이고 있습니다 이제 그 아이가 음식 광고를 보는지 음식이 아닌 광고를 보는지는 순수히 무작위이고 새로운 부류들을 다시 조사하는 것과 다름없습니다 그들은 이제 평균의 달라진 분포가 궁금할 것입니다 그들은 순수히 무작위로 섞인 값들을 새로운 두개의 통에 담는 것과 같습니다 평균과 크게 다르지 않는 결과가 아주 많이 나왔습니다 150개의 결과를 분석하고 시뮬레이션을 작동시킨 결과 하나, 둘, 셋, ... 열, ..., 열다섯 다시 한 번 세보겠습니다 하나, 둘, 셋, ... ..., 열둘 제가 늙어서 잘 못보겠습니다 얼마나 있는지는 잘 모르겠습니다 이 실험을 무작위로 섞었을 때 값들의 평균에서 보여지는 변화가 없는 경우는 거의 20개가 있는 것 같습니다 사실 이 실험에 임의의 사람 두 명을 넣었을 때 10 그램의 차이를 보이는 경우는 별로 없는 것으로 보여집니다 봅시다, 이게 변화량입니까? 새로운 부류들의 평균에 대한 변화입니다 이 값이 부류 1에서 부류 2를 뺀 값인지 반대로인지 정확하지 않은 모양입니다 하지만 모든 경우에서 10그램의 차를 보여주는 결과는 150개에서 2개밖에 존재하지 않습니다 만약 결과들을 임의로 두 개의 부류에 나누어서 넣었다면 두 개의 부류에 나누어서 넣었다면 이만큼 차이가 나는 경우는 150개 중 2개밖에 없습니다 이 곳에는 150개의 점들이 있는데 이 확률은 2%보다 작은, 아마도 1과 2 사이일 것 같습니다 우리가 현재 놓인 상황에 대해서 이야기해 봅시다 이게 먹은 양의 1그룹과 2그룹의 차이가 가설과 같은 경우는 150개 중에서 단 한 개밖에 본배하지 않습니다 100번 중 한 번보다 적게 발생한 경우입니다 150번 중에서 1개입니다 이걸 보면, 우리가 실험에서 얻은 결과가 일어날 확률이 1%보다 작다는 것을 알 수 있습니다 저를 포함한 많은 통계학자들에게 이 실험이 여러분의 결과보다 더 중요하다는 것을 알 수 있습니다 음식과 관련된 광고들을 본 아이들이 그렇지 않은 아이들보다 10그램의 과자를 더 먹었다는 것은 만약 우리가 500명의 아이들을 무작위로 뽑은 다음 두 개의 통으로 나누었 습니다 이건 마치 150번의 시뮬레이션 중 하나만이 존재한 결과면, 이건 매우 우연히 일어날 결과입니다 만약 이것이 기회로 주어진 상황이었다면 아마도 150번 중 한 번만 발생하였을 것입니다 하지만 이 실험이 중요했다는 점은 여러분을 더욱 자신감 있게 만들었습니다 대부분의 학자들과 실험들 사이에서 그들이 생각하는 한계는 통계적으로 중요한 것에 불과합니다 만약 이것이 기회로 이뤄진 확률이 5%보다 적다면, 이건 1%보다 적습니다 그래서 이 실험이 중요하다고 저는 말할 수 있습니다