제곱합오류함수(SSE) 미분 식

이 식은 선형 회귀 모델의 정상 방정식(Normal Equation) 중 하나로 보입니다. 이를 설명해 드리겠습니다.

식:
[ \beta \sum_{n=1}^{N} {t_n - \mathbf{w}^T \boldsymbol{\phi}(\mathbf{x}_n)} \boldsymbol{\phi}(\mathbf{x}_n)^T = 0 ]

여기서 사용된 기호들의 의미는 다음과 같습니다:

• (\beta): 학습률 또는 가중치를 조절하는 스칼라 값.
• (\sum_{n=1}^{N}): n번째 데이터 포인트에 대해 합산.
• (t_n): n번째 데이터 포인트의 실제 출력 값.
• (\mathbf{w}): 가중치 벡터.
• (\mathbf{x}_n): n번째 입력 데이터 포인트.
• (\boldsymbol{\phi}(\mathbf{x}_n)): 입력 데이터 (\mathbf{x}_n)에 대한 피처 벡터.

이제 이 식을 단계별로 풀어보겠습니다.

1. 예측 오차: ({t_n - \mathbf{w}^T \boldsymbol{\phi}(\mathbf{x}_n)})
   • 여기서 (t_n)은 실제 출력 값이고, (\mathbf{w}^T \boldsymbol{\phi}(\mathbf{x}_n))는 주어진 가중치 (\mathbf{w})와 피처 벡터 (\boldsymbol{\phi}(\mathbf{x}_n))를 사용한 예측 값입니다.
   • 이 두 값의 차이는 예측 오차를 나타냅니다.
2. 오차와 피처 벡터의 곱: ({t_n - \mathbf{w}^T \boldsymbol{\phi}(\mathbf{x}_n)} \boldsymbol{\phi}(\mathbf{x}_n)^T)
   • 예측 오차를 피처 벡터 (\boldsymbol{\phi}(\mathbf{x}_n))의 전치와 곱합니다.
   • 이는 각 피처가 예측 오차에 얼마나 기여하는지를 계산하는 과정입니다.
3. 합산: (\sum_{n=1}^{N} {t_n - \mathbf{w}^T \boldsymbol{\phi}(\mathbf{x}_n)} \boldsymbol{\phi}(\mathbf{x}_n)^T)
   • 위의 과정을 모든 데이터 포인트 (n)에 대해 합산합니다.
   • 이는 전체 데이터에 대한 오차의 합을 구하는 과정입니다.
4. 학습률 적용: (\beta \sum_{n=1}^{N} {t_n - \mathbf{w}^T \boldsymbol{\phi}(\mathbf{x}_n)} \boldsymbol{\phi}(\mathbf{x}_n)^T)
   • 학습률 (\beta)를 곱하여 가중치를 조정합니다.
5. 정상 방정식 설정: (\beta \sum_{n=1}^{N} {t_n - \mathbf{w}^T \boldsymbol{\phi}(\mathbf{x}_n)} \boldsymbol{\phi}(\mathbf{x}_n)^T = 0)
   • 위의 과정을 통해 나온 값이 0이 되도록 가중치 (\mathbf{w})를 조정합니다.
   • 이는 최적의 가중치 벡터 (\mathbf{w})를 찾기 위한 방정식입니다.

결론적으로, 이 식은 주어진 데이터와 목표 출력 값에 대해 최적의 가중치 (\mathbf{w})를 찾기 위한 과정으로, 선형 회귀 모델에서 자주 사용되는 방법 중 하나입니다.