정보의 측정

다음을 고려해보세요 앨리스와 밥은 나무집 사이로 어떻게 메시지를 전송할지 생각해냈습니다 처음엔 밤에 횃불을 사용했죠 낮에는 셔터를 사용하고요 그러고 나서 다양한 방법으로 선을 퉁기는 것을 사용했습니다 결과적으로 전기파동을 보내기 위해 선에 전기를 통하게 만들었고 그 다음인 무선방식을 실험했습니다 문제는 장비비를 지불하기 위해 돈이 필요했습니다 그래서 유료서비스를 고안했습니다 첫째 날, 엘리스는 밥의 나무집 너머의 친구들에게 메시지를 전송하기를 원하는 세 명의 신규 고객을 유치했습니다 첫 번째 고객은 10개의 동전던지기 리스트를 두 번째 고객은 6개 글자 단어를 세 번째 고객은 카드 5장의 정보를 보내기 원했습니다 이제 문제는 앨리스가 얼마나 청구해야 하는가인데요 메시지 가격기준은 전송시간에 비례합니다 그러나 어떻게 다른 종류의 메시지 길이를 공통의 단위를 사용하여 측정할 수 있을까요 알아내기 위해 게임을 합시다 자 이제 여러분이 밥이라고 생각하세요 앨리스가 메시지들을 전송시키려는 것을 알죠 하지만 여러분이 할 수 있는건 질문에 네 또는 아니오로만 답할 수 있습니다 앨리스는 0 또는 1의 조합을 연속적으로 보내 답할 겁니다 몇몇 변형방식을 사용하면서요 모든 전송방식은 차이의 교환이 포함됩니다 그래서 횃불, 개방된 셔터 전기파동 등을 1로 표시할 수 있습니다 어떤 방식이던 이진수로 간단하게 나타낼 수 있습니다 오직 0과 1로만 표현할 수 있기때문입니다 그러면 0을 아니오 1을 예라고 합니다 이제 최소의 질문을 던져 정확한 메시지를 구해야 합니다 먼저 동전던지기를 고려해 봅니다 전송자인 앨리스에게 모든 개별 기호는 앞면과 뒷면 중 하나를 선택하는 것입니다 앨리스가 선택한 것을 알기 위해 필요한 질문은 몇 개인가요 앞면인지 물어보는 것 한 번이면 충분합니다 10번의 동전던지기 결과를 파악하기 위한 최소 질문 수는 몇 개일까요? 던지기 10번 곱하기 각 던지기 당 질문 하나는 10개의 질문 또는 10개의 2진수입니다 다음으로 문자를 생각해 봅시다 전송자인 앨리스에게 모든 개별 문자 기호는 26개 기호 중 하나를 선택하는 것으로 생각할 수 있습니다 문자 하나로 된 가장 간단한 메시지부터 시작합시다 얼마나 많은 질문이 필요한가요 A 입니까 B 입니까 C 입니까 D 입니까 계속할 수 있지만 이것은 최소의 질문이 아닙니다 가능성의 반을 제거할 수 있는 질문이 최적입니다 예를 들면 알파벳의 중간은 M과 N인데요 첫 질문을 해당문자가 N보다 적은가라고 할 수 있습니다 답변이 1인 예라면 반을 제거할 수 있고 13개 알파벳이 남습니다 그러나 알파벳을 나눌 수는 없으니 가능한 기호들을 원소가 6개와 7개인 집합으로 나눌 수 있고 G보다 적은지 묻습니다 답변이 1인 예라면 6개 알파벳이 가능하고 다시 반으로 나누어 D보다 적은지 묻습니다 답변이 0인 아니오라면 3개의 가능한 알파벳이 남게 되는데 D인지 질문하고 0 아니오라고 답이 오면 두 개 알파벳이 최종적으로 남습니다 E인지 물으면 아니오라는 답변을 받고 다섯 번 만에 보낸 것이 F인 것을 알게됩니다 절대 5번 이상 질문할 필요가 없습니다 적게는 4번 혹은 많아야 5번만 질문하면 됩니다 일반적으로 2에 질문 개수 제곱을 하면 전에 메시지 공간이라 했던 가능한 메시지의 수가 나옵니다 26개 메시지 공간인 알파벳에서 특정 알파벳 문자를 찾기 위한 평균 혹은 정확한 질문의 수를 어떻게 계산할까요 역으로 질문을 해보면 2제곱 얼마가 26과 같아지나요 이런 유형의 질문에 답하기 위해 자연스럽게 로그2 함수를 사용하는데 로그2 26은 2에 어떤 지수를 적용해서 26이 되는가 인데 약 4.7입니다 그래서 최소 평균 약 4.7 질문이 특정 알파벳 문자 하나를 찾기 위해 필요합니다 그리고 앨리스는 6개 문자로 구성된 단어를 전송하므로 밥은 최소 28.2 질문을 해야합니다 앨리스는 최대 29개의 이진수 전송만이 필요하다는 뜻입니다 최종적으로 포커카드 5장을 표시하는 메시지에 이 공식을 적용해 봅니다 전송자인 앨리스에게 모든 개별 문자심볼은 52개 심볼 중의 하나를 선택하는 것입니다 이 경우 질문의 수는 덱을 몇 번 분리해야 원하는 카드를 찾을 것인가와 동일하며 대부분 6회이고 가끔 5회입니다 시간을 절약하기 위해 방정식을 사용하면 로그2 52는 약 5.7이며 2의 5.7제곱은 약 52 입니다 따라서 필요한 최소 질문의 수는 카드 하나에 5.7회 입니다 포커핸드는 카드5장이므로 이의 전송을 위해 평균 28.5 질문이 필요합니다 이제 다되었네요 이제 단위가 생겼습니다 이것은 최소질문 수에 기반을 두고 메시지를 정의하거나 결정 트리의 높이를 구하고 앨리스가 이 정보를 이진수로 전송하기 때문에 간편화를 위해 2진수 대신 비트를 사용합니다 10번 동전던지기 정보에는 10 비트가 필요하고 6문자 단어에는 28.2 비트가 포커카드 5장 정보에는 28.5 비트가 필요합니다 앨리스는 비트당 1센트를 청구하고 비용을 수령합니다 이 아이디어는 1920년대에 시작되었습니다 통신엔지니어가 생각하던 추상적인 문제 중에 하나였는데요 랠프 하틀리는 전자공학자로 해리 나이퀴스트의 아이디어를 활용했습니다 두사람 모두 세계1차대전 후 벨 연구소에서 근무했으며 1928년 하틀리는 중요한 논문인 정보의 전송을 발표했으며 정보라는 단어를 H라는 심볼로 정의하고 H는 n 곱하기 로그 S라 했습니다 H는 정보 n은 문자, 숫자 등 기호의 수이며 S는 각 선택 가능한 기호의 개수입니다 위의 공식은 H는 로그 S의 n제곱 으로도 표현할 수 있습니다 하틀리는 이렇게 하여 실용적인 정보측정을 가능한 심볼 순서 개수에 대한 로그로 한다고 기술하였습니다 그러면 정보는 메시지 공간의 로그인데 이 수업에서는 기호 선택을 무작위라고 가정해 간편화 했지만 실제로 대부분의 통신 예를 들면 연설에 쓰는 단어는 무작위가 아닙니다 글자는 예측과 놀라움의 미묘한 결합입니다 글자를 쓸 때 주사위를 던지진 않습니다 따라서 예측하는 것으로 전송의 길이를 상당히 절감할 수 있습니다 사전에 예측을 할 수 있다면 정의하기 위해 예, 아니오 질문을 무수히 하지 않아도 되지만 그러나 이러한 미묘한 차이를 공식적으로 모델화할 수 있을까요 이 질문은 이 이야기의 핵심을 불러옵니다 그것이 무엇인지 생각해 볼 수 있나요