ERNIE及ERNIE 2.0论文笔记

前面几篇语言预训练模型都是外国企业或院校的工作,今天我们将视线转回国内,看看由百度NLP团队提出的ERNIE(同期好像清华组也提出了一个同名的类似模型)及其2.0版本的细节。ERNIE也是基于BERT,更加专注于中文领域,很多NLP中文任务大幅领先,且在不少英文任务上也取得最好效果。
Continue reading ERNIE及ERNIE 2.0论文笔记