微软、阿里用阅读理解证明,文字的事儿人类已经不如 AI 了
2018-01-16 00:00
1116 查看
点击上方“CSDN”,选择“置顶公众号”关键时刻,第一时间送达!据CNN、CNET、彭博社等多家外媒报道,1月11日,微软和阿里巴巴开发的AI模型在斯坦福阅读测试中首次胜过人类。这是继国际象棋、桥牌等游戏之后,机器再次战胜人类。
[b]机器精准度匹配首次超越人类[/b]SQuAD比赛,是由斯坦福大学发起的机器阅读理解领域顶级赛事,它构建了一个大规模的机器阅读理解数据集(包含10万个问题),文章来源于500多篇维基百科文章。机器在阅读完数据集中的一篇短文之后,需要回答若干个基于文章内容的问题,然后与标准答案进行比对,得出精确匹配(Exact Match)和模糊匹配(F1-score)的结果。通过这套试题梳理出线索,可看出机器学习模型是否能够在经过大量信息处理后给出问题的确切答案。这些题目所构成的试卷被认为是当前世界检测机器阅读水平的最权威标准之一。此次测试中,参赛公司让各自的人工智能系统解答斯坦福问答数据集的提问,然后,该数据集评估阅读理解能力,将智能系统与普通人的答案进行比较,并进行排名。结果,微软、阿里巴巴分别以82.650和82.440的精准率打破了世界纪录,并且超越了人类82.304的成绩,刷新了在SQuAD上的排名。
SQuAD的负责人Pranav Rajpurkar在Twitter上表示,“2018年是一个强劲的开始,第一个模型(阿里巴巴iDST团队提交的SLQA +)在精准度匹配上超越人类表现!下一个挑战:模糊匹配,人类仍然领先2.5分!”
理解和分析是机器与人的最大区别机器阅读理解,虽然看起来仅是让AI进行一场考试,但确实自然语言处理(NPL)技术中,除了语音判断、语义理解之后更大的挑战,即如何让机器理解全文语境。因为阅读理解问题,不止要处理语音和语义,还要关注和理解词汇、语句、篇章结构、思维逻辑、辅助语句和关键句等元素构成的复杂组织网络。正如做一份阅读理解题,斯坦福阅读理解数据集中会提问:“德国首相出生于哪一年?”紧接着,根据上下文理解,“她的出生地又是哪里?”
再比如,“乔治·史密斯是否是美国国籍?”那么这个问题在原文中可寻究的出处是“乔治·史密斯出生于夏威夷,位于美国。”这其中的关键在于,处理阅读理解相关问题,需要的不仅是人工智能的计算能力,更多的是理解和分析能力,而这恰恰是机器与人最大的区别。而从目前来看,机器在复杂语言的理解方面,仍然很难与人类相匹敌。————— 推荐阅读 —————点击图片即可阅读
[b]机器精准度匹配首次超越人类[/b]SQuAD比赛,是由斯坦福大学发起的机器阅读理解领域顶级赛事,它构建了一个大规模的机器阅读理解数据集(包含10万个问题),文章来源于500多篇维基百科文章。机器在阅读完数据集中的一篇短文之后,需要回答若干个基于文章内容的问题,然后与标准答案进行比对,得出精确匹配(Exact Match)和模糊匹配(F1-score)的结果。通过这套试题梳理出线索,可看出机器学习模型是否能够在经过大量信息处理后给出问题的确切答案。这些题目所构成的试卷被认为是当前世界检测机器阅读水平的最权威标准之一。此次测试中,参赛公司让各自的人工智能系统解答斯坦福问答数据集的提问,然后,该数据集评估阅读理解能力,将智能系统与普通人的答案进行比较,并进行排名。结果,微软、阿里巴巴分别以82.650和82.440的精准率打破了世界纪录,并且超越了人类82.304的成绩,刷新了在SQuAD上的排名。
SQuAD的负责人Pranav Rajpurkar在Twitter上表示,“2018年是一个强劲的开始,第一个模型(阿里巴巴iDST团队提交的SLQA +)在精准度匹配上超越人类表现!下一个挑战:模糊匹配,人类仍然领先2.5分!”
理解和分析是机器与人的最大区别机器阅读理解,虽然看起来仅是让AI进行一场考试,但确实自然语言处理(NPL)技术中,除了语音判断、语义理解之后更大的挑战,即如何让机器理解全文语境。因为阅读理解问题,不止要处理语音和语义,还要关注和理解词汇、语句、篇章结构、思维逻辑、辅助语句和关键句等元素构成的复杂组织网络。正如做一份阅读理解题,斯坦福阅读理解数据集中会提问:“德国首相出生于哪一年?”紧接着,根据上下文理解,“她的出生地又是哪里?”
再比如,“乔治·史密斯是否是美国国籍?”那么这个问题在原文中可寻究的出处是“乔治·史密斯出生于夏威夷,位于美国。”这其中的关键在于,处理阅读理解相关问题,需要的不仅是人工智能的计算能力,更多的是理解和分析能力,而这恰恰是机器与人最大的区别。而从目前来看,机器在复杂语言的理解方面,仍然很难与人类相匹敌。————— 推荐阅读 —————点击图片即可阅读
相关文章推荐
- 亲爱的,你已经连阅读理解都做不过AI了
- AI在阅读理解领域开始“跑分”,这个“人类好帮手”还能去哪炫技
- 【重磅】机器阅读理解终于超越人类水平!权威竞赛排名中国霸榜,阿里、MSRA、腾讯前二
- 燃!阿里技术又破世界纪录:机器阅读理解力首次超过人类!
- 阿里巴巴AI再破世界纪录 阅读理解精准率首超人类
- 机器阅读理解打破人类记录,解读阿里iDST SLQA 技术
- 燃!阿里技术又破世界纪录:机器阅读理解力首次超过人类!
- 亲爱的,你已经连阅读理解都做不过AI了
- 人工智能阅读理解是如何打破人类记录? 解读阿里iDST SLQA 技术
- 感谢阿里巴巴和微软,AI首次在阅读领域击败人类!
- 阿里巴巴AI再破世界纪录 阅读理解精准率首超人类
- 燃!阿里技术又破世界纪录:机器阅读理解力首次超过人类!
- 【重磅】机器阅读理解终于超越人类水平!权威竞赛排名中国霸榜,阿里、MSRA、腾讯前二
- 现在AI的阅读理解做的都比人类好了,它能用在那些方面呢?
- DeepMind推出更难的机器阅读理解数据集,要让AI读懂整本书
- 机器真的已经战胜人类医生了吗?医学AI标题党文章中的三大陷阱
- 精准率首次超过人类!阿里巴巴机器阅读理解打破世界纪录!
- 李开复对话李飞飞:AI要理解人类的情感,还早着呢
- 《Science》杂志:机器学习究竟将如何影响人类未来的工作? 2018-01-11 Smiletalker AI科技评论 AI 科技评论按:人工智能、机器学习相关技术已经多次刷新了人们对于「计算机能