阿里达摩院发布中文社区最大规模预练习语言模子PLUG,革新CLUE分类榜单记录 ...

百汇注册

原标题：阿里达摩院发布中文社区最大规模预练习语言模子PLUG, 革新CLUE分类榜单记录

4月19日，阿里巴巴达摩院发布中文社区最大规模预练习语言模子PLUG（Pre-training for Language Understanding and Generation）。该模子参数规模达270亿，集语言明白与天生本领于一身，在小说创作、诗歌天生、智能问答等长文本天生范畴体现突出，其目的是通过超大模子的本领，大幅提拔中文NLP各类使命的体现，取得逾越人类体现的性能。发布后，PLUG革新了中文语言明白评测基准CLUE分类榜单汗青记录。

自客岁OpenAI发布超大规模预练习语言模子GPT-3引发环球热议后，中文范畴同类模子的练习历程备受关注。与GPT-3雷同，阿里达摩院本次发布的PLUG有望广泛应用于文本天生范畴，成为“全能写作神器”。更紧张的是，此类超大模子拥有极强的通用性，被以为或将成为AI期间的新型底子办法之一。

较GPT-3改进之处在于，PLUG计划了一个简便的模子框架，集成了达摩院自研的语言明白及语言天生双模子，并通过构建输入文本双向明白本领，明显提拔了输出文本的相干性。在语言明白使命上，PLUG以80.614分革新了CLUE分类榜单记录；在语言天生使命上，PLUG多项应用数据较业内最优程度提拔了8%以上。

（注：4月19日，PLUG革新CLUE分类榜单记录，排名仅次于“人类”）

据相识，PLUG接纳了1TB以上高质量中文文本练习数据，涵盖消息、小说、诗歌、问答等广泛范例及范畴，其模子练习依托了阿里云EFLOPS 高性能AI盘算集群。接下来，PLUG将扩大参数规模至2000亿级，并进一步提拔文本天生质量。在超大规模预练习模子范畴，除发布以中文为焦点的PLUG外，阿里达摩院、阿里云盘算平台团队还团结智源研究院、清华大学发布了面向认知的超大规模新型预练习模子“文汇”，以及团结清华大学发布了超大规模多模态预练习模子“M6”。

与PLUG发布同步，达摩院公布近期将开源阿里巴巴深度语言模子体系大部门紧张模子。阿里达摩院语言技能实行室负责人司罗表现，“达摩院NLP团队将进一步攻克天然语言处置惩罚范畴科研困难，美满中文及跨语言人工智能底子办法，让AI没有难明的语言，并探索通用人工智能之路。”

雷锋网雷锋网返回搜狐，检察更多

责任编辑：