[딥러닝] top layer는 입력층일까 출력층일까?

자료들을 찾아보면 top layer라는 표현이 자주 등장한다. 

top layer는 무슨 층을 의미하는 것일까?

결론은 '통상적으로 출력층을 의미한다' 이다.

나는 Top Layer = Input Layer 이라 생각했었다.

Keras의 plot_model 함수로 그린 딥러닝 모델 구조도를 보자, 입력(위) 에서 출력(아래)로 흐르지 않던가?

이런 질문에 구글링해본 결과 다음과 같은 설명을 찾을 수 있었다.

1. 영향력

• 가장 출력에 영향이 많이 끼치는 층이기 때문에 top layer 라고 부른다.

2. 최상위 계층, Head 개념

• 결국 우리가 알고싶은 결과인 출력을 내보내는 최상위 층이기 때문이다.
• neural network 에서는 output layer를 종종 classification head, regression head라고 표현한다. head = top 이므로 top layer 라고 부른다. 

3. bottom-up 개념

• button-up 구조는 구체적인 것에서 일반적인 것 으로 작업을 하는 방식을 말한다.
• neural network 또한 buttom-up 구조다. 구체적인 것 (사진 특징...털 색, 귀 모양 등...)에서 일반적인 것 (개, 고양이). 그래서 모델 구조를 표현할 때 input layer가 buttom layer, output layer가 top layer가 된다.

추가로 많은 모델 구조들은 buttom-up 또는 left-right 형식으로 표현되곤 하니 참고하시면 좋겠습니다. 

참고

https://www.quora.com/Are-the-top-layers-of-a-deep-neural-network-the-first-layers-or-the-last-layers

https://stackoverflow.com/questions/46742491/why-do-we-call-the-fully-connected-layers-in-cnn-the-top-layers