GPT及GPT-2论文笔记

2017年中Google提出的Transformer结构,今天看来真是一篇经典的开山之作,启发了如今NLP领域大火的BERT、XLNET等模型。今天要介绍的GPT及GPT-2也是Transformer的重要发展之一,主要是基于Transformer的Decoder进行的升级,两项工作都是由OpenAI团队完成的。从时间线上来看,GPT要比BERT早,但是GPT-2要稍晚些,为了叙述方便,这里放在一起来讨论了。下一篇就会介绍到BERT,如果希望保持时间线索,可以两篇交替来看。
Continue reading GPT及GPT-2论文笔记