Open AI发表新一代的大型语言模型 可涵盖了许多跨领域的任务
2020-01-12 20:40
375 查看
Open AI最近发布新一代的大型语言模型GPT-2,该模型有15亿个参数,利用了800万页的网页数据作为训练数据,以预测所有输入文字的下一个字作为训练目标,而也因为数据集的多样性,让模型不需要针对特定的任务进行训练,以上述单纯的目标,就能涵盖了许多跨领域的任务,目前该模型能够在机器翻译、回答问题、阅读理解、总结段落等语言任务中生成与段落一致的文字内容,不过,为了预防恶意的使用行为,OpenAI并不会释出训练完的模型,只会发布技术论文和一个相较之下规模小很多的模型,提供研究人员做实验。
GPT-2模型在许多语言任务中,都达到了很好的表现,举例来说,给定模型一段文字,模型就能产生接续段落的文字,而该模型的表现,也超越了用特定领域训练数据训练而成的模型,像是维基百科、朕亨公益新闻或是书籍等特定训练数据。此外,在像是问题回答、阅读理解、段落总结,以及翻译等语言任务中,GPT-2模型是从原始的文字数据开始学习,没有透过特定任务的数据来训练,而最终模型在这些任务上的表现也超越了现今效果最好的模型。
Open AI表示,通用的语言模型将能够对社会产生很大的影响,也能够促成许多相关的应用,Open AI期望像GPT-2这样的模型能够被用来创造写作AI助理、更有能力的对话机器人、跨语言的非监督翻译模型、更好的语言理解系统等,但是同时,Open AI也担忧这样的模型会被用于恶意的用途,像是制造误导新闻、伪造他人、在社群平台自动产生假内容,或是垃圾讯息等,因此只会释出小型的GPT-2模型,并不会释出训练数据集、程序代码和模型的权重。
转载于:https://my.oschina.net/u/3885866/blog/3010572
- 点赞
- 收藏
- 分享
- 文章举报
相关文章推荐
- OpenAI放出逆天语言AI模型,AI一本正经胡说八道
- 2017年全球AI学者权威排行榜重磅发布,涉及七大子领域共700人!DeepTech首款数据产品将涵盖全球数万名人工智能领域学者
- OpenAI-2018年强化学习领域7大最新研究方向全盘点
- OpenAI推新程序包:GPU适应十倍大模型仅需增加20%训练时间
- Fast.ai推出NLP最新迁移学习方法「微调语言模型」,可将误差减少超过20%!
- OpenAI GPT-2 官方模型下载
- 实现Java语言的领域模型,比较看好Spring Roo
- 金属材料领域模型与通用语言之钢铁加工——面向软件领域的简介
- 滴滴开源DELTA:AI开发者可轻松训练自然语言模型
- 终于找回密码了,都4年没发Blog了,将陆续发表AI方面的语言开发
- 十倍模型计算时间仅增20%:OpenAI开源梯度替换插件
- OpenAI 首个研究成果 生成式模型系列
- LSTM入门必读:从入门基础到工作方式详解 By 机器之心2017年7月24日 12:57 长短期记忆(LSTM)是一种非常重要的神经网络技术,其在语音识别和自然语言处理等许多领域都得到了广泛的应用
- 机器学习之(二)OpenAI 生成模型聚焦无监督学习
- [导入]Visual Studio 2005 Team Edition软件架构系列课程(4):模型驱动开发的领域特定语言(Domain Specific Language )工具
- Fast.ai推出NLP最新迁移学习方法「微调语言模型」,可将误差减少超过20%!
- 跨语言模型预训练,三大任务刷新最高性能
- NLP领域的ImageNet时代到来:词嵌入「已死」,语言模型当立
- 给我一个开头就能写故事, OpenAI的新型多功能AI模型GPT-2
- 【大数据部落】R语言多元Copula GARCH 模型时间序列预测