(Part 2)회귀직선의 제곱 오차 최소화 증명

최종 목적은 n개 점의 제곱 오차를 나타내는 이 식을 간단히 하는 것입니다 기억을 상기시켜 보면 이런 점 n개가 있고 선 y = mx + b와 각 점간 제곱 오차의 합을 구하고 있습니다 선 y = mx + b와 각 점간 제곱 오차의 합을 구하고 있습니다 선 y = mx + b와 각 점간 제곱 오차의 합을 구하고 있습니다 그러면 다음의 식을 얻는데 지난 동영상들에서부터 간단히 만들고 있습니다 식을 최대한 간단히 만든 후에 식을 최대한 간단히 만든 후에 식을 최소화 해 볼 것입니다 식을 최소화 해 볼 것입니다 식을 최소화 시키는 m과 b를 찾는 것이죠 최적선을 찾는 거예요 지금은 식을 더욱 길게 만드는 것 같아 보이지만 지금은 식을 더욱 길게 만드는 것 같아 보이지만 이 다음 단계에서 많이 간단해 집니다 보여드릴게요 모든 y²의 평균은 y²₁ + y²₂ + ....+ y²_n을 y²₁ + y²₂ + ....+ y²_n을 제곱값 n개를 더했으니까 n으로 나누어서 구합니다 n으로 나누어서 구합니다 이것이 모든 y²의 평균이고 이는 이렇게 표기합니다 그리고 이 식의 양쪽을 n으로 곱해 주면 y²₁ + y²₂ + ....+ y²_n의 값은 모든 y²의 평균에 n을 곱한 것과 같습니다 이것은 바로 이 위에 있는 것과 같네요 n에 모든 y²의 평균을 곱한 값입니다 n에 모든 y²의 평균을 곱한 값입니다 각 항에 이렇게 해 볼게요 x₁y₁ + x₂y₂ + .... + x_n y_n은 어떻게 할까요? 위 항 전체의 합을 n으로 나누면 모든 xy의 평균값이 됩니다 각 점에 xy를 곱해 곱의 평균을 찾는 것입니다 곱의 평균을 찾는 것입니다 똑같이 식의 양쪽에 n을 곱하면 그러면 x₁y₁ + x₂y₂ + .... + x_n y_n은 n에 모든 xy의 평균을 곱한 값과 같습니다 n에 모든 xy의 평균을 곱한 값과 같습니다 이제 패턴이 보이네요 이 항은 모든 xy의 평균에 n을 곱한 값입니다 이 항은 모든 xy의 평균에 n을 곱한 값입니다 이 항은 모든 y의 평균에 n을 곱한 값이고 이 항은 모든 y의 평균에 n을 곱한 값이고 이 항은 모든 y의 평균에 n을 곱한 값이고 그리고 이 항은 모든 x²의 평균에 n을 곱한 값입니다 그리고 이 항은 모든 x²의 평균에 n을 곱한 값입니다 이 항은 모든 x의 평균에 n을 곱한 값이고요 이것을 n으로 나눴으면 평균을 얻겠지만 n으로 나누지 않았기 때문에 이것은 평균 × n입니다 그리고 당연히 이것은 간단히 할것이 없어요 그러면 평균을 사용하는 새 표기법으로 그러면 평균을 사용하는 새 표기법으로 모두 다시 써 봅시다 선에서 n개 점까지 제곱 오차의 합은 선에서 n개 점까지 제곱 오차의 합은 이 항은 모든 y²의 평균에 n을 곱한 값이고 이 항은 모든 y²의 평균에 n을 곱한 값이고 이 항은 -2m에 이건 그냥 앞에 있는 것이고요 모든 xy의 평균에 n을 곱한 값입니다 산술평균이죠 세 번재 항은 식이 많이 간단해져서 좋네요 식이 많이 간단해져서 좋네요 이 항은 -2bn에 모든 y의 평균을 곱한 것이고 +m²에 모든 x²의 평균과 n을 곱한 값을 곱해 줍니다 +m²에 모든 x²의 평균과 n을 곱한 값을 곱해 줍니다 거의 다 왔습니다 이 항은 +2mb에 모든 x의 평균에 n을 곱한 값을 곱합니다 마지막으로 nb²를 더해 줍니다 마지막으로 nb²를 더해 줍니다 두 세 개 동영상 전부터 계속 선 y = mx + b와 각 점간 제곱 오차의 합을 구하는 식을 선 y = mx + b와 각 점간 제곱 오차의 합을 구하는 식을 간단히 해보고 있습니다 이제 힘든 대수학은 끝났고 다음 단계로 가서 이것을 최적화하면 됩니다 다음 단계로 가서 이것을 최적화하면 됩니다 이 식을 최소화한다고 하는게 더 좋겠네요 이 식을 최소화한다고 하는게 더 좋겠네요 식을 최소화하는 m과 b를 찾는 것이죠 시각화해보면 이제 삼차 미적분에 들어가게 됩니다 삼차 미적분에 들어가게 됩니다 무서워하지 마세요 편미분을 조금이라도 해 보았다면 어렵지 않습니다 이 식은 곡면을 나타냅니다 x와 y 측정점들을 알고 있다면 m과 b를 제외한 모든 것은 상수입니다 m과 b를 제외한 모든 것은 상수입니다 x와 y는 알고 있다고 보는 것이죠 모든 y의 평균, 모든 xy의 평균 모든 y²의 평균을 구할 수 있다고요 모든 y²의 평균을 구할 수 있다고요 이것들이 실제 수라고 가정하는 것입니다 그래서 이 식은 삼차원에서의 곡면입니다 그래서 이 식은 삼차원에서의 곡면입니다 이것이 m축이고 여기는 b축입니다 여기는 b축입니다 세로축은 제곱 오차라 할 수 있습니다 세로축은 제곱 오차라 할 수 있습니다 선의 제곱 오차의 축입니다 그러면 아무 m과 b의 조합은 mb 평면에 있으면 어떤 m과 b의 조합을 고르는 것과 같으니까 선의 제곱 오차의 식에 넣으면 선의 제곱 오차의 식에 넣으면 점이 나옵니다 그리고 모든 m과 b의 조합에 대해 이렇게 하면 곡면을 얻게 됩니다 곡면을 얻게 됩니다 그 곡면은 이렇게 생겼습니다 최대한 잘 그려볼게요 이렇게 될 것입니다 그릇처럼 생겼다고 생각할 수도 있고 삼차원 포물선이라고 생각할 수도 있겠네요 삼차원 포물선이라고 생각할 수도 있겠네요 그렇게 생각하고 싶다면요 포물선은 이런데 조금 돌리고 변형시키면 컵이나 골무같은 것을 연상케 합니다 컵이나 골무같은 것을 연상케 합니다 이제 최소화된 m과 b를 찾아야 하는데 이제 최소화된 m과 b를 찾아야 하는데 이건 삼차원의 곡면입니다 잘 하고 있는지 모르겠는데 삼차원의 곡면은 이렇게 상상해 볼 수 있을 것입니다 삼차원의 곡면은 이렇게 상상해 볼 수 있을 것입니다 보이지 않는 뒤쪽 부분이고요 여기는 삼차원 곡면의 내부입니다 곡면 위의 값을 최소화하는 m과 b의 값을 찾는 것입니다 곡면 위의 값을 최소화하는 m과 b의 값을 찾는 것입니다 이쯤에 곡선을 최소화하는 어떤 m과 b값이 있겠네요 이쯤에 곡선을 최소화하는 어떤 m과 b값이 있겠네요 계산은 다음 동영상에서 해 볼텐데 m에 대한 편미분을 계산하고 m에 대한 편미분을 계산하고 b에 대한 편미분도 계산한 후 모두 0에 놓고 계산합니다 삼차원에서 곡면 위의 이 최저점은 m과 b에 대한 기울기가 0이기 때문이죠 m과 b에 대한 기울기가 0이기 때문이죠 m과 b에 대한 기울기가 0이기 때문이죠 따라서 이 점의 m에 대한 제곱 오차의 편미분은 0이고 따라서 이 점의 m에 대한 제곱 오차의 편미분은 0이고 따라서 이 점의 b에 대한 제곱 오차의 편미분도 0입니다 따라서 이 점의 b에 대한 제곱 오차의 편미분도 0입니다 다음 동영상에서는 m에 대한 이 식의 편미분을 0에 놓고 m에 대한 이 식의 편미분을 0에 놓고 b에 대한 이 식의 편미분도 0에 놓고나서 b에 대한 이 식의 편미분도 0에 놓고나서 m과 b를 풀어 볼 것입니다 특정 m과 b를 말입니다