(Part 1)회귀직선의 제곱 오차 최소화 증명

지난 동영상에서 어떤 선 y = mx + b와 n개 측정점 각각의 제곱 오차를 여기 이 식으로 나타냈습니다 이번 강의에서는 대수학을 사용해서 미적분 단계까지 준비해 볼게요 미적분 단계까지 준비해 볼게요 그러면 최적화를 통해 이걸 최소화시키는 m과 b값을 찾을 수 있습니다 대수학 연습이 많이 될 겁니다 색깔을 다르게 해서 헷갈리지 않게 해 볼게요 식을 여기 다시 써 봅시다 이번 강의는 이 식을 계속 다시 쓰는 게 될 거예요 대수학으로 간단하게 하는 거죠 첫 번째 항은 (y1 - (mx₁ + b))²인데 여기 밑줄은 모두 제곱 오차를 나타냅니다 여기 밑줄은 모두 제곱 오차를 나타냅니다 파란색으로 여기 첫 번째 항을 전개하면 y₁² - 2y₁(mx₁ + b) + (mx₁ + b)²입니다 y₁² - 2y₁(mx₁ + b) + (mx₁ + b)²입니다 여기 이항식을 제곱한 것뿐입니다 이게 a - b였다면 a² - 2ab + b²이 됐을 겁니다 그게 다입니다 이제 다른 항도 이렇게 하면 됩니다 각 항은 x와 y 좌표만 다르니까 다음 항은 여기 아래서 항을 합하도록 할게요 여기 제곱한 항은 y₂² - 2y₂(mx₂+ b) + (mx₂+ b)²이고 y₂² - 2y₂(mx₂+ b) + (mx₂+ b)²이고 y₂² - 2y₂(mx₂+ b) + (mx₂+ b)²이고 위에 것이랑 똑같습니다 x₁, y₁ 말고 x₂, y₂인 것만 빼고요 이걸 n번 해야 합니다 이걸 n번 해야 합니다 세 번째는 x₃, y₃일 것이고 계속해서 n 번째 항이 될 때까지 합니다 계속해서 n 번째 항이 될 때까지 합니다 제곱했을 때 여기 n번째 항은 다음과 같습니다 y_n² - 2y_n(mx_n+ b) + (mx_n+ b)² y_n² - 2y_n(mx_n+ b) + (mx_n+ b)² 이제 이걸 더 전개해 봅시다 다음은 이걸 더 전개해 봅시다 밑으로 내려 볼게요 이 모든 식을 다시 쓰면 다음과 같습니다 이건 선의 제곱 오차라는 걸 기억하고요 이건 선의 제곱 오차라는 걸 기억하고요 여기 맨 윗줄을 다시 써볼게요 여기 윗줄은 y₁²에 2y₁은 분배할 거예요 그럼 -2y₁mx₁이 되고 이거랑 이걸 곱한 것이죠 -2y₁b에 -2y₁b에 (mx₁+ b)²을 전개하고 더합니다 그럼 m² x₁² + 2mx₁b + b²입니다 그럼 m² x₁² + 2mx₁b + b²입니다 (a + b)²였다면 이게 a² + 2ab + b²이었겠네요 이걸 다른 항에도 해 줍니다 각 색깔별이라고도 할 수 있겠네요 두 번째 항으로 가 봅시다 이것도 같아요 y₁, x₁대신에 y₂, x₂가 되는 거죠 y₂² -2y₂mx₂ -2y₂b + m²x₂² + 2mx₂b + b² y₂² -2y₂mx₂ -2y₂b + m²x₂² + 2mx₂b + b² 그리고 이걸 n 번째 항까지 계속합니다 그리고 이걸 n 번째 항까지 계속합니다 그리고 이걸 n번째 항까지 계속합니다 그리고 이걸 n번째 항까지 계속합니다 y_n² - 2y_n·mx_n y_n² - 2y_n·mx_n 생각할 필요도 없죠 그냥 n으로 바꾸기만 하면 돼요 이걸 전개할 수도 있지만 똑같은 거예요 이걸 전개할 수도 있지만 똑같은 거예요 2y_n·b + m²x_n² + 2mx_n·b + b²를 빼 줍니다 다시 말하지만 이건 n개의 점들과 선 y = mx + b의 제곱 오차예요 다시 말하지만 이건 n개의 점들과 선 y = mx + b의 제곱 오차예요 다시 말하지만 이건 n개의 점들과 선 y = mx + b의 제곱 오차예요 그러면 이걸 간단하게 할 수 있나 봅시다 그렇게 하려면 이 항들을 서로 더해 볼 거에요 이 항들을 다 더하면 이쪽 열에 있는 걸 다 더하면 뭐가 되죠? y₁² + y₂² + ······ y_n²이 됩니다 y₁² + y₂² + ······ y_n²이 됩니다 여기 항들이에요 그리고 나서 여기엔 공통인수 2m이 있죠 여기엔 공통인수 2m이 있죠 적어 볼게요 그럼 2m이 여기, 여기, 여기에 있어요 괄호로 묶을게요 그럼 이 항들은 다 더한 것이고 -2m에 이 항의 나머지를 곱합니다 색깔로 구분해서 보여줄게요 제가 신중하게 해서 헷갈리지 않게 해야죠 다 합하면 y₁² + y₂² + ······ y_n²이고 다 합하면 y₁² + y₂² + ······ y_n²이고 괄호를 붙일게요 거기에다 공통인수가 있죠 -2m, -2m, -2m 이걸 모아서 이렇게 써 볼게요 -2m에 여기 이걸 분배하면 여기 위에는 y₁x₁만 남을 거예요 x₁y₁이라고 할 수 있죠 x₁y₁이라고 할 수 있죠 여기서 2m을 뺀 것이고요 여기서 2m을 뺀 것이고요 다른 색으로 할게요 보기 쉽게 하려고요 x₂y₂ + x_n y_n을 더해 줍니다 x₂y₂ + x_n y_n을 더해 줍니다 x₂y₂ + x_n y_n을 더해 줍니다 계속해서 n번 한다는 것입니다 계속해서 n번 한다는 것입니다 x_n y_n까지요 여기 마지막 항 y_n x_n과 같죠 다 더하면 이렇습니다 그러니까 이걸 다 더하면 바로 이 항과 같은 거예요 그리고 이것도 더해야 합니다 이 경우엔 -2b를 꺼낼 수 있어요 그럼 -2b(y₁ + y₂ ····y_n)입니다 그럼 -2b(y₁ + y₂ ····y_n)입니다 그럼 -2b(y₁ + y₂ ····y_n)입니다 이것은 이 항들은 모두 더하면 이렇게 됩니다 계속해 봅시다 지금은 시간이 다 되고 있어서 다음 강의에서 더 간단하고 깔끔하게 만들어 볼게요 다음 강의에서 더 간단하고 깔끔하게 만들어 볼게요 다음 항은 어떻게 돼죠? 같은 방법이죠 m²을 꺼낼 수 있어요 m²( x₁² + x₂²+ ···· x_n²)입니다 m²( x₁² + x₂²+ ···· x_n²)입니다 m²( x₁² + x₂²+ ···· x_n²)입니다 m²( x₁² + x₂²+ ···· x_n²)입니다 m²( x₁² + x₂²+ ···· x_n²)입니다 색깔을 입힐게요 y_n²이에요 여기는 y₂²이고요 바로 이겁니다 마지막으로 방금 한 이게 바로 이것이고요 마지막으로 방금 한 이게 바로 이것이고요 물론 이걸 더해야 하니까 +를 앞에 붙일게요 거의 다 간단하게 했습니다 여기서 공통인수 2mb가 있으니 2mb(x₁ + x₂ + ···· xn)를 더해 줍니다 2mb(x₁ + x₂ + ···· xn)를 더해 줍니다 여기 이 항은 여기 있는 항하고 똑같은 것입니다 마지막으로 b²이 각각 들어 있네요 b²은 몇 개나 되죠? n개가 있죠 첫 번째 줄, 두 번째 줄에서 n번째 줄 까지요 b²을 n번 더합니다 b²을 n번 더합니다 nb²을 더해 줍니다 이게 다 뭔지 다시 생각해보면 이건 n개의 점과 선 y = mx + b 사이의 제곱오차를 정리한 것입니다 이건 n개의 점과 선 y = mx + b 사이의 제곱오차를 정리한 것입니다 이건 n개의 점과 선 y = mx + b 사이의 제곱오차를 정리한 것입니다 별로 간단하게 한 것 같지는 않네요 이번 강의는 여기까지 하고 다음엔 여기부터 시작해서 이걸 간단하게 해 볼게요