마르코프 체인의 기원

자연계를 관찰하다 보면 종종 아름다운 이분 현상을 볼 수 있습니다 어느 두 물체도 완전히 똑같지는 않지만 모두 근본적으로 일정한 형태를 띄고 있는 것처럼 보입니다 플라톤은 우주의 진정한 형태는 우리로부터 감춰져 있다고 믿었습니다 자연을 눈으로 관찰하면 대략적인 지식만 겨우 알아 낼 수 있습니다 자연은 숨겨진 청사진입니다 그 원래의 형태는 철학과 수학의 추상적 추론을 통해서만 알 수가 있었습니다 예를 들어 원은 중심으로부터 거리가 같은 곳에 있는 점들이라고 표현하였습니다 하지만 완벽한 원 또는 완벽한 직선 형태를 가지고 있는 물체를 절대로 찾을 수 없을 겁니다 하지만 흥미롭게도 플라톤은 셀 수 없을 만큼 수많은 시간이 지나면 우주는 이상적인 상태가 되어 완벽한 형태로 되돌아갈 것이라고 생각했습니다 플라톤의 이런 추상적이고 순수한 형태에 대한 사고는 오랜 시간 동안 인기를 끌었습니다 하지만 16세기 부터는 발상이 바뀌기 시작해서 사람들은 실제 세상의 복잡한 다양한 현상을 관찰하여 숨겨진 규칙을 알아내기 위해 수학을 적용했습니다 베르누이는 기대에 대한 개념을 재정립 했습니다 그가 생각한 방법은 어떤 사건에 대해 알려지지 않은 확률을 독립된 시도에서 발생하는 사건의 수를 기반으로 정확히 계산해 내는 것이었습니다 그는 간단한 예를 들었습니다 미리 알고 있는 정보가 없이 3,000개의 하얀 돌과 2,000개의 검은 돌이 컵 속에 감춰져 있고 하얀 돌과 검은 돌의 비를 구하기 위해 돌을 하나씩 잇따라 뽑으면서 (복원추출로) 하얀 조약돌이 검정 조약돌에 비해 몇 번 뽑혔는지 적어놓습니다 반복 실험을 통해 하얀 돌과 검은 돌의 비에 대한 기대 값이 실험 시도의 횟수가 증가할 수록 실제 비율에 더 가깝게 나오는 것을 발견했습니다 이것은 큰수의 약한 법칙이라고 불립니다 그는 이렇게 결론 내렸습니다 만약 세상에 모든 사건들이 완전히 무한히 관측 될수 있다면 세상에 모든 것들은 정확한 비율과 변화의 상수 법칙 (constant law of change)으로 정의된다는 것을 알게될 거라는 사실을 말이죠 이 발상은 재빠르게 퍼져나갔는데 왜냐하면 뽑힌 비와 개수의 비가 기대 평균치에 가깝게 나올 뿐만 아니라 또한 평균으로부터의 편차 확률이 친숙한 모양의 분포를 따른다는 것을 밝혀냈기 때문입니다 좋은 예는 프랜시스 골턴의 콩 기계입니다 각각의 충돌을 동전 던지기와 같은 단독 독립 사건이라고 생각 합시다 10번의 충돌 또는 사건 뒤에는 동전이 왼쪽이나 오른쪽으로 뒤집히는 것 처럼 콩이 왼쪽이나 오른쪽으로 튕겨서 통에 일정 비율로 모이게 됩니다 이 곡선은 이항분포로 알려져 있습니다 이 곡선은 이상적인 분포도라고 볼 수 있는데 이러한 형태의 그래프가 비슷한 유형의 큰 수를 다루는 무작위 실험에서도 비숫하게 생긴 곡선이 계속 나타났기 때문입니다 이 사건들의 평균적인 결과는 미리 결정되어져 있는 것처럼 보였는데 이는 오늘날 중심 극한 정리로 알려져 있습니다 이것은 누구에겐 위험한 철학적 생각이었습니다 신학생 파벨 네크로소프는 수학을 연구했고 종교적 자유의지를 강력하게 지지하였습니다 그는 우리가 미리 정해진 운명을 갖고 있다는 사실이 싫었습니다 그는 큰 수의 법칙에서 독립성은 꼭 필요한 조건이라 주장했습니다 왜냐하면 콩이나 주사위와 같은 사건은 이전 사건의 결과가 현재와 미래의 사건의 확률을 변화시키지 않는데 이러한 예시들은 독립성을 통해 설명할 수 있기 때문입니다 우리가 다 알 수 있듯이 이 세상에 있는 대부분의 사건들은 그전 사건에 영향을 받습니다 예를 들어서 불이 날 확률이나 태양 혹은 우리의 수명까지 모두 말이죠 어떤 사건의 확률이 이전 사건의 확률에 무조건 영향을 받거나 조건적으로 영향을 받는다면 우리는 그 영향을 받는 사건을 종속 사건이라고 부릅니다 이 주장은 러시아 수학자 안드레 마르코프를 화나게 했고 공개적으로 네크로소프에 대한 증오심을 표현 했습니다 그는 네크로소프에게 보낸 편지에서 이 상황은 큰 수의 약한 법칙이 종속 변수에도 적용이 된다는 것을 설명하고 싶게 한다고 썼습니다 네크로소프는 꿈도 꿀수 없을 구조를 이용해서 말이죠 마르코프는 천재적인 구조를 만들어 베르누이의 이론을 종속 사건으로까지 확장하였습니다 독립성이 없고 이전 사건의 결과에 영향을 받는 동전 던지기를 상상해보세요 즉 이전 사건에 대한 짧은 기억을 갖게 됩니다 이것은 상태라고 불리는 2개의 컵을 가진 가상의 기계로 시각화할 수 있습니다 한 상태에는 1대 1 비율로 하얀색과 검은색 돌이 섞여있고 다른 상태에는 검은색 돌이 더 많이 있습니다 한 컵은 상태를 0이라고 하고 이것은 이전에 검은 돌이 뽑혔다는 것을 의미하고 다른 컵은 상태 1이라고 하고 그전에 하얀색 돌이 뽑혓다는 것을 의미합니다 기계를 시작하려면 아무 상태에서 돌을 고릅니다 그리고 사건에 따라서 상태 0또는 1로 갑니다 이전 사건에 검정 돌을 뽑았다면 상태 0에서 하얀 돌을 뽑았다면 상태 1에서 다시 시작합니다 우리는 이 기계로 4개의 다른 변수가 있다는 것을 알 수 있습니다 우리가 상태 0에서 검을 돌을 뽑으면 다시 같은 상태에서 돌을 뽑습니다 만약 하얀 돌을 뽑으면 상태 1로 가고 거기서 다시 그 상태에 남아있거나 검은 돌을 뽑으면 상태 0으로 돌아갈 수도 있습니다 여기서 하얀 돌과 검은 돌이 나올 확률은 이전 사건에 영향을 받기 때문에 독립적이지 않습니다 하지만 마르코프는 기계의 모든 상태를 알고 기계를 계속 돌리면 하얀 돌과 검은 돌이 뽑힐 확률은 평형을 유지한다고 말했습니다 어디서 시작하든 기계를 돌리면 한 상태에서 뽑는 횟수는 어떤 특정한 비 또는 확률에 수렴합니다 이 간단한 예는 독립성이 있는 사건들만이 예측 가능한 분포에 수렴하게 된다는 네크로소프의 주장이 틀렸음을 입증하였습니다 하지만 이처럼 연속된 랜덤 사건을 상태와 이들 간 전환으로 모델링 한 개념은 나중에 마르코프 체인이라고 불립니다 마르코프 체인을 가장 초반에 응용하고 또 가장 유명한 이론은 클라우드 섀넌이 발표했습니다