Pay Attention to MLPs

1. 논문 제목 : Pay Attention to MLPs
2. 발표한 학회 : -
3. 논문의 핵심 키워드 : FeedForward Nature, Inductive Bias, Static Parameterization, Spatial Projection

4. 논문요약 :

Transformers가 크게 성공한데 기여한 요인이 Multi-head Self-Attention인지, Feedforward Layer인지는 여전히 불명확하였다. 저자들은 Feedforward Layer이 미치는 영향이 클 수 있다는 점에 착안하여서, Channel Projection 외에도 Attention과 비슷한 효과를 줄 수 있는 Spatial Projection을 사용한 Spatial Gating Unit를 제안하였다.

 

MLP 기반 구조를 사용한 이유는 MLP는 input에 independent하게 mapping을 수행할 수 있는, 즉 statically parameterize 해줄 수 있고, Universal Approximator이므로 임의의 function을 represent할 수 있다는 점에 근거를 두었다.

 

 

5. 스터디 발표 영상 대체 :

https://youtu.be/dcolzDa5YUU