최소제곱 예제

이차원에서 세 개의 직선이 있다고 할 때, 그들의 교점을 알아봅시다 첫 번째 선은 2x-y=2 두 번째 선은 x+2y=1 세 번째 선은 x+y=4입니다 일단 그려봅시다. 그러면 우리가 하려고 시도하는 것을 직접 눈으로 볼 수 있으니까요 저는 직선을 y=mx+b의 형태로 적는 걸 선호해요 그러면 가장 위의 이 직선은 어떻게 될까요? -y=-2x+2입니다. 그냥 -2x를 양변에서 빼준거에요 아니면 그냥 y=2x-2라고 쓸 수도 있죠 첫번째 직선은 여기에 쓰고 두번째 선은 초록색으로 2y=x+1라고 쓸 수도 있고 y=1/2x+1/2라고 쓸 수도 있습니다 양변을 2로 나눠준거죠 마지막 직선은 여기에 y=-x+4라고 씁시다 바로 여기에요 그리고 이것들을 한번 그려봅시다 일단 축을 그리죠. 이건 y축입니다 됐네요 더 눈에 띄게 회색으로 x축을 그립시다 2x-2를 첫번째로 그릴겁니다 y축과는 -2에서 만나겠네요 기울기가 2니까 좀 가파르게 그려줍시다 첫 번째 직선을 그렸습니다 다음 직선은 기울기가 -1/2x+1/2네요 1/2지점으로 가서 기울기가 -1/2인 직선을 그립시다 2만큼 증가하면, 1만큼 감소하죠 이렇게 그려질 것 같네요 직교할 것 같습니다 왜냐하면 이 녀석의 정반대 값이기 때문이죠 다 그리면 저렇게 될 겁니다 이건 이렇게, 저건 저렇게 합시다 이번에는 -x+4입니다 이걸 1,2,3,4라 하고 -x니까, 값이 1 증가하면 1 감소하겠네요 이 직선은 이렇게 되겠네요 이 마지막 선은 이렇게 생길겁니다 이렇게 말입니다 이제, 제가 이 영상 처음에 말했던 것처럼 이 세 직선들 간의 교점을 찾겠습니다 하지만, 이 세 직선들은 교점이 없네요 두 직선끼리는 만나지만, 모두가 한 점에서 만나지는 않네요 우리 생각이 짧았나 봅니다 너무 한정적으로 생각했네요 세 직선이 모두 만나는 교점은 없습니다 만약 그런 교점을 찾으려 했다면 답이 없었을 겁니다 그리고 답이 없다는 것은 이 행렬, 혹은 이 등식을 만족하는 해가 없다는 거죠 한 번 이렇게 써봅시다 이 내용을 이렇게 다시 쓸 겁니다 행렬로 표현하면 임의의 행렬 곱하기 xy벡터는 2, 1, 4와 같습니다 그리고, 첫번째 등식은 2x-y일 때 성립합니다 그러니까 2하고 -1을 써주면 되겠네요 2x- y=2가 됩니다 저기 첫번째 등식이 있습니다 두번째 등식은 1 곱하기 x 더하기 2 곱하기 y는 1이네요 그리고 x+y=4도 마저 해줍시다 이 체계와 이 등식, 여기에 있는 체계는 모두 동등합니다 자, 이것은 해결책이 없을 겁니다 이 방법을 통해 해결책을 찾아봅시다 증강된 행렬을 만들어서, 행 사디리꼴 행렬로 만들어 봅시다 하지만 이 세 직선들은 교점이 없으니까 A 곱하기 어떤 벡터의 해를 못 구할 겁니다 그래서 A 곱하기 벡터 x는 B입니다 다르게 말하면, B는 이 행렬의 열공간에 존재하지 않습니다 마지막 동영상에서 Ax=B의 해를 못 찾는 걸 배웠습니다 그러므로 Ax=B는 해가 없습니다 여기로 시각적으로 알 수 있습니다 이 선들이 교차하지 않기 때문입니다 또한 Ax=B가 해가 없는 걸 대수학적으로 증명할 수도 있습니다 0=1이라는 결과가 나옵니다 하지만 최소제곱 해를 찾으면 결과가 근사할 겁니다 최소제곱 해를 찾으려면 이 식의 양변을 전치행렬 A으로 곱해야합니다 A의 전치행렬 곱하기 A 곱하기 최소제곱 해는 A의 전치행렬 곱하기 B라는 것을 압니다 이걸 찾으면 가장 잘 맞는 해를 구할 수 있습니다 벡터 x는 최소제곱 해입니다 그걸 구해보겠습니다 A의전치행렬 곱하기 A는 뭘까요 A의 전치행렬는 이렇게 생겼습니다 2, -1, 1, 2, 1, 1 이게 A의 전치행렬입니다 당연히 A는 그냥 이겁니다 2, -1, 1, 1, 1, 1 그럼 A의 전치행렬 곱하기 A는 2×3 곱하기 3×2 행렬이니까 결관는 2×2행렬입니다 그럼 그 결과는 2 곱하기 2는 4 더하기 1 곱하기 1 더하기 1 곱하기 1 그럼 4 더하기 1 더하기 1입니다 그럼 6입니다 그리고 2 곱하기 -1는 -2 더하기 1 곱하기 2는 2 이므로 -2+2니까 소거됩니다 -2 더하기 2는 0입니다 더하기 2 곱하기 1 그럼 1입니다 그리고 -1 곱하기 2는 -2. 2 곱하기 1은 2. 더하면 0입니다. 그럼 1곱하기 1은 1입니다 마지막으로 -1 곱하기 -1은 1입니다 2 곱하기 2는 4. 더해주면 5입니다 더하기 1 곱하기 1은 6입니다 이게 A의 전치행렬 곱하기 A입니다 그럼 A의 전치행렬 곱하기 B는 뭘까요? A의 전치행렬은 2, 1, 1, -1, 2, 1입니다 B는 그냥 R3에 속해 있는 3×1 벡터 2, 1, 4 벡터입니다 그럼 이건 뭘까요? 이건 2×3 곱하기 3×1 행렬이니까 그 결과는 2×1 벡터입니다 그 곱은 2×1 벡터입니다 그래서 2 곱하기 2는 4 더하기 1 곱하기 1는 5입니다 실수를 안하기 위해 써보겠습니다 -2 곱하기 2는 4. 1 곱하기 1은 1 1 곱하기 4는 4. 이걸 모두 더합니다 여기는 -1 곱하기 2입니다. 그럼 -2 2 곱하기 1은 2. 1 곱하기 4는 4입니다 그래서 A의 전치행렬 곱하기 B는 9 그리고 4입니다 그럼 다시 한번 식을 정리해보겠습니다 A의 전치행렬 곱하기 A는 6, 1, 1, 6 곱하기 최소제곱 해입니다 이건 A의 열공간이랑 같습니다 A의 전치행렬 곱하기 B 는 벡터 9, 4 입니다 이 정리된 식이 해를 찾는데 더 쉬울 겁니다 해를 구할 수 있습니다 마지막 동영상에서 증명해드렸습니다 해를 찾기 위해 6, 1 그리고 9가 첨가된 첨가행렬을 만들겠습니다 여기는 4 그리고 여기는 1, 6 입니다 이렇게 말입니다 좌변을 기약행사다리꼴행렬로 만들겠습니다 첫번째로 이 두 행을 바꿔야합니다 이 행을 먼저 하는 이유는 여기 1이 있는 게 좋아서 입니다 깔끔한 피벗 성분입니다 그럼 1, 6, 4 그리고 6, 1, 9 로 됩니다 두번째 행은 이 두번째 행 빼기 6 곱하기 첫 행이 됩니다 첫번째 행은 똑같습니다 1, 6, 4 입니다 두번째 행은 두번째 행 빼기 6 곱하기 첫 행이니까 6 빼기 6은 0입니다 1 빼기 6 곱하기 6은 1 빼기 36입니다 그럼 -35입니다 그리고 9 빼기 6 곱하기 4는 9 빼기 24입니다 이건 항상 헷갈립니다 9 빼기 24는 -15입니다 실수를 안했는지 검산을 하겠습니다 1 빼기 36은 -35 입니다 9 빼기 24는 -15 입니다 정답이 맞습니다 다음에는 오른쪽에 쓰겠습니다 이 행을 -35로 나눠보겠습니다 첫 행은 그대로 두겠습니다 1, 6 그리고 4 입니다 이 행을 -35로 나눌겁니다 그럼 0, 1 그리고 -15/-35 입니다 그럼 15/35 또는 3/7 입니다 기약행사다리꼴행렬로 만들겠습니다 그럼 좋겠습니다 두번째 행은 똑같이 쓰겠습니다 그럼 두번째 행은 0, 1, 3/7 입니다 그리고 첫번째 행을 첫번째 행 빼기 6 곱하기 두번째행으로 바꿀 것입니다 그럼 1 빼기 6 곱하기 0은 1입니다 6 빼기 6곱하기 1은 0입니다 그리고 4 빼기 6 곱하기 3/7는 28/7 입니다 이렇게 쓸 수도 있습니다 그리고 4를 분수 형태로 만들어주면 28/7입니다. 그걸 6 곱하기 3/7로 빼주면 10/7입니다 이렇게 해서 첫번째 식을 풀었습니다= 이렇게도 쓸 수 있습니다 x*를 이렇게도 쓸 수 있겠습니다 x*의 첫번째 성분은 10/7 입니다 이렇게 쓰겠습니다 x*의 해는 10/7 그리고 3/7입니다 그래서 이 벡터의 x 성분이 10/7이고 y 성분이 3/7이면 정확한 해랑 가까워집니다 그럼 시각적으로 설명드리겠습니다 10/7는 뭘까요? 먼저 한번 써보겠습니다 x*는 10/7 그리고 3/7입니다 x의 최소제곱근은 10/7. 그러니까 1 보다 조금 큽니다 y는 3/7이므로 1/2보다 조금 작습니다 그러므로 최소제곱근은 이 포인트입니다 만약 x는 10/7이라고 하고 y는 3/7이라고 하면 이 모든 점들의 거리를 최소화합니다 너무 작게 그러서 보기가 힘드네요 한번 최소화된 값의 차가 뭔지 보겠습니다 이 비디오의 핵심은 Ax*랑 B의 거리를 최소화하기 위해서 입니다 또는, B랑 Ax*의 거리를 최소화하기 위해서 입니다 그럼 Ax는 뭘까요? Ax*의 전치는 9/4입니다 Ax*는 9/4가 아닙니다 Ax*는 A 행렬의 곱하기 x* 입니다 자리가 없네요 행렬 A는 2, 01, 1, 2, 1, 1 입니다 이게 행렬 A입니다 x*는 10/7 그리고 3/7 입니다 Ax*는 이 A랑 x*의 곱입니다 그럼 그게 뭘까요? 이 해는 3 곱하기 1 행렬입니다 2 곱하기 10/7은 20/7입니다 -1 곱하기 3/7은 -3/7입니다 그리고 1 곱하기 10/7은 10/7입니다 2 곱하기 3/7은 -6/7입니다 잘 못 말씀드렸습니다. 죄송합니다 2 곱하기 3/7은 6/7입니다 검산해보겠습니다 2 곱하기 10/7은 20/7입니다 그리고 -1 곱하기 3/7입니다 그 다음 1 곱하기 10/7 더하기 2 곱하기 3/7입니다 그리고 A행렬의 세번째 행이 모두 1이니 10/7 더하기 3/7입니다 그래서 이게 Ax*입니다 x*는 x의 최소근사값입니다 그럼 이게 뭘까요? 계산해보겠습니다 17/7, 16/7 그리고 13/7 입니다 최소 거리가 뭔지 찾고 싶습니다 그럼 Ax*는 이것입니다 17/7, 16/7 그리고 13/7 Ax*에다 B를 빼줘야 합니다 B는 2, 1, 4입니다 여기서 말하고 싶은 것은 우리가 구한 해가 이 거리를 최소화한다는 것입니다 왜냐하면 이것은 열공간 A를 B에서 사영한 것입니다 이전에 공부했었습니다 여기 위에서 우린 B가 2, 1, 4 인 것을 알 수 있습니다 색을 바꿔서 보여드리겠습니다 이것의 거리는 뭘까요? 그것을 모두 분모가 7이게 만들겠습니다 시간 낭비하기 싫으니 그냥하겠습니다 이건 17/7 빼기 14/7입니다 2는 14/7 이기 때문입니다 그럼 이건 3/7입니다 16/7 빼기 7/7은 9/7입니다 그리고 13/7 빼가 28/7은 -15/7입니다 그래서 이 벡터는 열공간 A를 B에서 사영하지 않은 B를 분리합니다 이것의 거리를 구하면 뭘까요? 먼저 이것의 거의 제곱을 찾겠습니다 3/7 제곱은 9/49입니다 더하기 9/7 제곱입니다 9/49 제곱은 81/49입니다 더히기 -15/7 제곱입니다 15 제곱은 225입니다 실수를 자주하니가 한번 확인해보겠습니다 5 곱하기 5는 25. 1 곱하기 5는 5입니다 그럼 이건 75입니다 밑은 150입니다. 둘을 더하면 225입니다 더힉 225/49입니다 분자를 더해주면 9 더하기 81은 90입니다 90 더하기 225는 315입니다 그래서 이건 315/49입니다 차만을 구하고 싶으면 이것의 제곱근을 찾으면 됩니다 그래서 거리를 찾으려면 이것의 제곱근을 구하면 됩니다 그럼 거리는 315/7의 제곱근입니다 315의 제곱근을 더 간단하게 쓸 수 있는지 보겠습니다 9의 배수일까요? 그런 것 같습니다. 그럼 9 곱하기 35겠네요 그럼 7분의 3 곱하기 35제곱근일 겁니다 이건 그냥 하나의 수치입니다 정리하자면 R2의 원소 중에서 x랑 y 값이 이 해랑 우리가 찾으렸던 해의 거리는 이것보다 더 작은 값을 가질 수 없습니다 최소제곱근 해는 최고의 추정치이다 x는 10/7이고 y는 3/7입니다 이렇게 조금만하게 말입니다 여하튼 이게 도움이 되셨으면 좋겠고 이제 최소제곱근 해가 유용하다는 것을 아셨으면 좋겠습니다