L1, L2 정규화와 스파시티(Sparcity)

정규화 항의 역할

정규화(Regularization)는 모델의 과적합(overfitting)을 방지하고 일반화 성능을 향상시키기 위해 사용됩니다. 정규화 항은 모델의 손실 함수에 추가되어 가중치의 크기를 제어합니다. 이를 통해 복잡한 모델이 데이터를 과하게 학습하지 않도록 합니다.

정규화 항에 대한 자세한 설명

정규화 항은 손실 함수에 추가되며, 모델의 가중치를 제어하여 복잡성을 줄입니다. 주로 사용되는 정규화 항은 L1 정규화와 L2 정규화입니다.

L1 정규화 (( q = 1 ))

[ \frac{\lambda}{2} \sum_{j=1}^M |w_j| ]

• 목적: 가중치 벡터의 절대값의 합을 최소화.
• 효과: 많은 가중치가 0이 되도록 유도. 즉, 모델이 필요하지 않은 변수들의 가중치를 0으로 만들어 변수 선택 기능을 합니다.
• 스파시티: 높은 스파시티를 가진 모델을 만듭니다. 즉, 모델의 가중치 벡터가 대부분 0인 상태가 됩니다.

L2 정규화 (( q = 2 ))

[ \frac{\lambda}{2} \sum_{j=1}^M w_j^2 ]

• 목적: 가중치 벡터의 제곱합을 최소화.
• 효과: 가중치가 작은 값을 가지도록 유도. 즉, 모델의 모든 가중치가 작아지면서 특정 가중치가 너무 커지지 않도록 합니다.
• 스파시티: L1 정규화보다는 낮은 스파시티를 가지며, 대부분의 가중치가 작지만 0은 아닌 값을 가집니다.

L1 정규화와 L2 정규화의 비교

• L1 정규화:
  • 가중치의 절대값의 합을 최소화.
  • 모델이 스파스해짐(많은 가중치가 0이 됨).
  • 변수 선택 기능을 제공.
• L2 정규화:
  • 가중치의 제곱합을 최소화.
  • 가중치가 작은 값을 가지도록 함.
  • 모든 변수의 가중치가 작아지지만 대부분 0이 되지는 않음.

스파시티(Sparsity)란?

스파시티(sparsity)는 데이터나 모델에서 값이 대부분 0이거나 매우 작은 상태를 의미합니다. 즉, 많은 요소가 0 값을 가지며, 중요한 값이나 정보는 적은 수의 요소에 집중되어 있는 경우를 말합니다. 스파시티는 주로 다음과 같은 맥락에서 사용됩니다:

1. 벡터 및 행렬: 벡터나 행렬의 대부분의 요소가 0인 경우, 이를 스파스(sparse)하다고 합니다.
2. 모델 파라미터: 모델의 많은 가중치가 0이거나 0에 가까운 경우, 이를 스파스 모델이라고 합니다.

스파시티의 중요성

스파시티는 여러 가지 이유로 중요합니다:

1. 모델 단순화: 스파스 모델은 복잡도가 낮아지며, 해석이 용이합니다.
2. 계산 효율성: 스파스 벡터나 행렬은 연산량이 줄어들어 계산 속도가 빨라집니다.
3. 노이즈 감소: 불필요한 변수들이 제거되면서 모델이 노이즈에 덜 민감해집니다.
4. 변수 선택: 중요하지 않은 변수들을 제거하여 모델의 성능을 향상시킬 수 있습니다.

이러한 이유로 L1 정규화는 변수 선택이 중요한 문제에서 많이 사용되며, L2 정규화는 모델의 일반화 성능을 높이기 위해 널리 사용됩니다.

[Answered\ by\ ChatGPT4]