mlp layer의 활성화함수 사용이유에 관하여

Question

multilayer perceptron에서 1d kernel을 활성화함수에 넣는 이유가 궁금합니다. 결국 스칼라값으로 출력되는데 이유가 무엇일까요

Answer 1

안녕하세요. 김상엽 전문가입니다.

MLP에서 1D 커널의 결과인 스칼라값에 활성화 함수를 적용하는 결정적인 이유는 비선형성을 부여하기 위해서입니다. 만약 활성화 함수가 없다면 아무리 층을 깊게 쌓아도 결국 하나의 거대한 선형 변환(y=ax+b)에 불과하게 됩니다. 비선형 함수를 통해 모델이 복잡한 데이터 패턴과 경계선을 학습할 수 있는 능력을 갖추게 되는 것입니다.