[딥러닝 문제 해결] WideDeep 신경망이 제대로 train되지 않는 현상

문제

WideDeep 신경망이 제대로 train되지 않는 현상

 

 

---

원인

연결층에 연결된 두 층은 아래와 같다.

1. input - dense(30) - dense(30)

2. input

 

추정 원인 1: 전처리 되지 않은 input layer 값을 그대로 연결층에 연결.

-> use batch normalization

 

추정 원인 2: 연결층에 포함된 음수 값.

-> use activation function

 

4가지 방식으로 실험

1. input - bn
2. input - af(sigmoid / relu)
3. input - bn - af
4. input - af - bn

input - bn

input - af (left : sigmoid, right : relu)

input - bn - af (left : sig, right : relu)

input - af -bn (left : sig, right : relu)

Input - activation function (relu)에서만 문제가 발생한 것을 보아

WideDeep 신경망이 제대로 train되지 않는 현상의 원인은 Input 값이 표준화되지 않아 생기는 문제라고 생각할 수 있다.

---

해결

input 값을 정규화 

e.g) batch normalization