attention #attention mechanisms #multi-head attention #self-attention #Encoder-Decoder #Transformer 썸네일형 리스트형 Attention is All You Need 1. 논문 제목 : Attention is All You Need(Transformer) 2. 발표한 학회 : NIPS 2017 3. 논문의 핵심 키워드 : attention mechanisms, multi-head attention, self-attention, Encoder-Decoder 4. 논문요약 : 기존 RNN 기반의 언어 모델들이 가지고 있는 parallelization, vanishing gradient등의 문제점들을 해결하기 위해서 attention mechanism만을 활용한 Encoder-Decoder 모델을 처음 선보인 논문. NLP분야 전반적으로 각 task들을 해결하기 위해 주로 RNN, CNN 기반의 모델들이 활용되는 패러다임을 attention 기반의 모델로 크게 바꾸는 신호.. 더보기 이전 1 다음
