BERT及RoBERTa论文笔记

NLP领域最近一年多来,各种语言预训练模型层出不穷,去年Google团队发布的BERT一出场就技惊四座,刷新了GLUE 11项NLP测试的最高纪录,甚至超越了人类的表现,荣获NAACL 2019最佳长论文奖,可谓实至名归。2019年上半年,虽然又涌现出了GPT-2、Transformer-XL、XLNet等新贵,一度将BERT拉下了冠军宝座。但是,最近Facebook团队开源的基于BERT开发的加强版预训练模型RoBERTa又卷土重来,再次站上了GLUE的巅峰,并且在SQuADRACE排行榜上都名列前茅。真是应了那句话——“能打败你的,只有你自己”
Continue reading BERT及RoBERTa论文笔记