(Part 3)회귀직선의 제곱 오차 최소화 증명

지난번 동영상에서는 선과 n개의 점 사이의 제곱오차를 구하는 대수식을 간단히 했습니다 제곱오차를 구하는 대수식을 간단히 했습니다 그리고 시각화했죠 여기 이 식은 3차원의 한 표면이라고 할 수 있습니다 모든 m과 b는 표면 위 어떤 점에 있고 그 선의 제곱오차를 나타냅니다 모든 m과 b는 표면 위 어떤 점에 있고 그 선의 제곱오차를 나타냅니다 이번 목표는 제곱 오차를 최소화시키는 직선을 정의하는 m과 b값을 구하는 것입니다 그걸 하는 방법은 m에 관한 제곱 오차의 편도함수가 0이고 b에 관한 편도함수도 0인 점을 찾는 겁니다 b에 관한 편도함수도 0인 점을 찾는 겁니다 m에 대해 평평한 것입니다 이 방향의 기울기가 평평하다는 뜻입니다 같은 색으로 할게요 이 방향의 기울기는 m에 관한 편도함수이고, 평평하죠 방향을 바꾸지 않습니다 b에 관한 편도함수도 평평합니다 여기가 평탄점입니다 그 방향으로 가는 직선의 기울기도 이 점에서 0이 되므로 여기가 최소점입니다 이러한 m과 b값을 구해 봅시다 이 식의 m에 관한 편도함수를 구해 봅시다 이 식의 m에 관한 편도함수를 구해 봅시다 이 식의 m에 관한 편도함수를 구해 봅시다 첫 번째 항에는 m이 없습니다 m의 관점에서 보면 상수인 거죠 상기시켜 드리자면 편도함수는 일반 도함수와 같지만 어떤 변수에 관한 편도함수를 계산할 때 그 변수 빼고 나머지는 모두 상수라고 가정합니다 그러니까 이 식에서 모든 x, y, b, n은 상수입니다 그러니까 이 식에서 모든 x, y, b, n은 상수입니다 m에 대한 편도함수를 구할 때 상관있는 변수는 m뿐입니다 그래서 m이 없으니까 이건 상수입니다 그래서 m이 없으니까 이건 상수입니다 여기 이 항은 m에 대해 계산하는 것인데 여기서 m에 대한 도함수는 m의 계수입니다 -2n(xy의 평균)이 되고 m에 대한 편도함수이죠 이 항에는 m이 없습니다 m에 관해서는 상수이니까 m에 대한 이 항의 편도함수는 0입니다 이 항은 m²n(x²의 평균)이니까 이 항은 m²n(x²의 평균)이니까 따라서 m에 대한 편도함수로 계산하면 2n(x²의 평균)m입니다 2n(x²의 평균)m입니다 2n(x²의 평균)m입니다 m²의 도함수는 2m이고 여기 계수를 추가한 것입니다 이 항에도 m이 들어 있습니다 나머지는 모두 m의 계수인 셈입니다 나머지는 모두 m의 계수인 셈입니다 m에 대한 도함수는 2bn(x의 평균)입니다 m에 대한 도함수는 2bn(x의 평균)입니다 3m의 도함수는 그냥 3이겠죠 계수일 뿐입니다 마지막으로 이건 m에 대해서는 상수이므로 보이지 않습니다 m에 대한 편도함수는 이렇습니다 이것이죠 이걸 0과 같게 하려고 해요 b에 대해서도 똑같이 해줍시다 이 항도 b의 관점에서 상수가 됩니다 여기엔 b가 없고 여기도 b가 없습니다 따라서 이것들의 b에 대한 편도함수는 0이 됩니다 따라서 이것들의 b에 대한 편도함수는 0이 됩니다 여긴 -2n(y의 평균)이 b의 계수로 되어 있습니다 b에 대한 편도함수는 -2n(y의 평균)이 됩니다 여기엔 b가 없죠 여기엔 b가 있군요 2mn(x의 평균)을 더해 줍니다 2mn(x의 평균)을 더해 줍니다 여기 있는 b의 계수라 할 수 있습니다 여기 있는 b의 계수라 할 수 있습니다 순서가 섞여 있지만 b의 관점에서는 모두 상수예요 순서가 섞여 있지만 b의 관점에서는 모두 상수예요 b 앞의 계수이죠 b에 대한 편도함수는 그냥 계수가 됩니다 마지막으로 이 항의 b에 관한 편도함수는 2nb 즉 2bn입니다 이것의 b에 대한 편도함수이죠 이 값이 0이 되도록 하고 싶은데 굉장히 복잡해 보입니다 하지만 m값과 b값만 구하면 된다는 것을 기억하세요 하지만 m값과 b값만 구하면 된다는 것을 기억하세요 미지수가 2개인 방정식이 2개 있습니다 m과 b가 있어요 이것을 간단히 하기 위해서 위 방정식과 아래 방정식은 둘 다 2n으로 나눌 수 있습니다 위 방정식과 아래 방정식은 둘 다 2n으로 나눌 수 있습니다 0은 무엇으로든 나눌 수 있고요 어쨌든 0이 되니까요 위의 방정식을 2n으로 나눠 봅시다 위의 방정식을 2n으로 나눠 봅시다 위 방정식을 2n으로 나누면 이건 그냥 1이 되고 이것도 없어지고, 이것도 없어지죠 -(xy의 평균) + m(x²의 평균) + b(x의 평균) = 0이 남습니다 -(xy의 평균) + m(x²의 평균) + b(x의 평균) = 0이 남습니다 -(xy의 평균) + m(x²의 평균) + b(x의 평균) = 0이 남습니다 첫 번째 식의 양변을 -2n으로 나눴을 때의 결과입니다 첫 번째 식의 양변을 -2n으로 나눴을 때의 결과입니다 두 번째 방정식은 이건 없어지고 2n으로 나눴을 때죠 -2n이 아닙니다 이 식을 2n으로 나누면 이건 없어지고 이것도 없어지고 이것들도 없어집니다 -(y의 평균) + m(x의 평균) + b = 0이 남습니다 -(y의 평균) + m(x의 평균) + b = 0이 남습니다 따라서 이 연립방정식을 만족시키는 m과 b값을 구하면 제곱 오차를 최소화시키는 것과 같습니다 전통적인 방식으로 풀 수도 있지만 다시 써 보고 싶어요 전통적인 방식으로 풀 수도 있지만 다시 써 보고 싶어요 이것들이 실제로 뭘 나타내는지 보면 흥미로울 것 같아요 xy의 평균을 위쪽 방정식의 양변에 더해 볼까요? xy의 평균을 위쪽 방정식의 양변에 더해 볼까요? xy의 평균을 위쪽 방정식의 양변에 더해 볼까요? 무엇이 나오나요? m(x²의 평균) + b(x의 평균)이 나오죠 m (x²의 평균) + b(x의 평균)이 나오죠 이것들은 소거되고 이는 xy의 평균과 같습니다 그게 위쪽 방정식이고요 여기 아래 방정식의 양변에는 y의 평균을 더해 줍시다 이게 없어지도록 하기 위해서죠 그러면 m이 남고 같은 식이니까 파란색으로 하겠습니다 m(x의 평균) + b = y의 평균입니다 두 식 모두 mx + b의 꼴로 나타내려고 합니다 두 식 모두 mx + b의 꼴로 나타내려고 합니다 이건 이미 그렇게 돼있군요 사실 최적선이 y = mx + b라면 m과 b값을 구해야 하는데 보시다시피 이 두 개의 방정식을 모두 만족시키는 m과 b의 값은 그 최적선의 m과 b의 값과 같습니다 그 최적선의 m과 b의 값과 같습니다 즉, 최적선이 그 점을 포함하고 있고 그건 이 두 번째 방정식에서 알 수 있습니다 이 식은 점을 포함하고 있습니다 이 식은 점을 포함하고 있습니다 이렇게 써야겠어요 좌표 (x의 평균, y의 평균)은 선 위에 있습니다 여기서 바로 볼 수 있죠 최적의 m과 b값에 x의 평균을 집어넣으면 y의 평균이 나옵니다 흥미롭군요 이 최적선입니다 여기서 하려는 게 무엇인지 잊지 말자고요 이 최적선은 어떤 점을 포함하는데 새로운 색으로 그릴게요 그 점은 (모든 x의 평균, 모든 y의 평균)입니다 그 점은 (모든 x의 평균, 모든 y의 평균)입니다 흥미롭네요 어떻게 보면 말이 되죠 직관적으로 말이 됩니다 이 다른 식도 같은 모양으로 바꿔줄까요? 연립방정식을 풀기가 더 쉬워질 거예요 연립방정식을 풀기가 더 쉬워질 거예요 이걸 푸는 방법은 수없이 많겠지만 여기 무슨 일이 일어나고 있는지 생각해보는 거죠 이 직선 위에 또 어떤 점이 있나요? 직선상의 두 점을 알고 있으면 그 직선의 방정식을 알 수 있습니다 식을 mx + b 꼴로 만들어 봅시다 이 방정식의 양변을 이 항으로 나눠 줍시다 x의 평균으로요 그러면 m{(x²의 평균)/(x의 평균)} + b = (xy의 평균)/(x의 평균)입니다 그러면 m{(x²의 평균)/(x의 평균)} + b = (xy의 평균)/(x의 평균)입니다 그러면 m{(x²의 평균)/(x의 평균)} + b = (xy의 평균)/(x의 평균)입니다 그러면 m{(x²의 평균)/(x의 평균)} + b = (xy의 평균)/(x의 평균)입니다 이렇게 쓰면 저것과 똑같은 방정식이고 양변을 x의 평균으로 나눴을 뿐입니다 그러면 흥미롭게도 직선 위에 있는 또 다른 점이 나옵니다 그러면 흥미롭게도 직선 위에 있는 또 다른 점이 나옵니다 적어도 제곱 거리의 관점에서는요 따라서 이 최적선 위의 또 다른 점은 x값이 이것이 되니까 (x²의 평균)/(x의 평균)이고 (x²의 평균)/(x의 평균)이고 그리고 y값은 (xy의 평균)/(x의 평균)입니다 그리고 y값은 (xy의 평균)/(x의 평균)입니다 이것에 대해 한 번 생각해 보세요 어쨋든 이미 직선 위에 있는 두 점을 구했습니다 이 두 점은 모두 최적선 위에 있습니다 적합한 정도의 정의인 제곱 거리를 계산한 것에 기반해서요 이 점들은 제곱 거리를 최소화시키는 직선 위에 있습니다 이 점들은 제곱 거리를 최소화시키는 직선 위에 있습니다 다음 동영상에서 다룰 것 이건 꼭 최적선을 증명하고 그 공식을 찾는 것에 대한 동영상 6~7개짜리 장편 시리즈가 되는 것 같군요 동영상 6~7개짜리 장편 시리즈가 되는 것 같군요 하지만 흥미롭잖아요 여기서 수학에 관련해 생각해볼 만한 자잘한 것들이 많이 있습니다 여기서 수학에 관련해 생각해볼 만한 자잘한 것들이 많이 있습니다 다음 동영상에서는 이 정보를 실제로 활용해 볼 겁니다 이 연립방정식을 바로 풀 수도 있었지만 여기 있는 정보를 활용해서 m과 b의 값을 구할 수 있어요 제 기분에 따라서 두 방법 모두 사용할 수도 있습니다