RoBERTa : A Robustly Optimized BERT Pretraining Approach

1. 논문 제목 : RoBERTa : A Robustly Optimized BERT Pretraining Approach
2. 발표한 학회 : ICLR 2020
3. 논문의 핵심 키워드 : BERT, Encoder, Pre-training, robust, underfit

4. 논문요약 :

해당 논문 발표전에 Glue에서 SOTA를 달성하고 있던 XLNet을 포함하여, 
BERT 이후에 많은 모델들은 새로운 pretraining 방법론을 모색하거나, 모델 구조에 변화를 주는 시도를 하고 있었다.

 

RoBERTa는 BERT의 pretraining 방법에 약간의 변화만 준 채로, 새로운 큰 변화를 주는 대신에,
더욱 많은 데이터로 더욱 긴 시간동안 훈련을 하였을 때도 충분히 큰 성능 향상으로 이어질 수 있다는 점을 시사하면서,
기존에 발표된 Language Model들이 pretrain data에 underfit 되어 있을 수 있으므로, 이를 optimize하는 것의 중요성을 야기시킨 논문.

 

5. 스터디 발표 영상 :

https://youtu.be/_FUXSTK_Xqg