清华大学人工智能创新团队在AI对抗性攻防竞赛中获得冠军
2017-12-13 17:40
411 查看
清华大学张钹院士带领的人工智能创新团队在 NIPS 2017 AI 对抗性攻防竞赛中获得冠军(指导教师:朱军、胡晓林、李建民、苏航),战胜来自斯坦福、约翰霍普金斯大学等世界著名高校在内的 100 多支代表队,在人工智能技术的鲁棒性和安全性应用方面迈出了重要一步。
以深度学习为代表的人工智能系统近年来在图像分类、目标识别等诸多任务中都获得了突破性进展,但是研究发现深度学习模型在鲁棒性上存在严重的不足,很多在特定数据集上测试性能良好的模型反而会被一些人眼不容易识别的「对抗」样本欺骗,导致出现高可信度的错误判断,这就给未来人工智能技术的应用带来严重的安全隐患,引起了国内外诸多研究机构的广泛关注。
针对这一问题,谷歌大脑(Google Brain)于 NIPS2017 上组织了面向对抗样本攻防(Adversarial Attacks and Defenses)的竞赛。清华大学计算机系博士生董胤蓬、廖方舟和庞天宇(指导教师:朱军、胡晓林、李建民、苏航)所组成的代表队在全部三项比赛任务中(有/无特定目标攻击;攻击检测),全部获得冠军,战胜了包括斯坦福、约翰霍普金斯大学等世界著名高校在内的 100 多支代表队,在人工智能模型的鲁班性和安全性应用方面迈出了重要一步。
对抗样本是指攻击者通过向真实样本中添加人眼不可见的噪声,导致深度学习模型发生预测错误的样本,如下图所示:给定一张图片(雪山或河豚),攻击方给图片添加了微小的扰乱,尽管人眼很难发觉,但是模型却高概率的将其误分(狗或螃蟹)。
对抗样本示例,左列为真实样本,中间列为噪声,右列为对抗样本。
随着深度学习在各个领域发挥着日益重要的作用, 防止对抗样本对深度学习系统的干扰、提高模型的鲁棒性和可靠性成为关键的研究课题, 特别是在一些对于可靠性要求很高的应用领域, 例如自动驾驶、医疗、金融、安全等。
正是由于对抗样本具有重要的学术研究和实际应用价值,谷歌在 NIPS2017 上组织了首届对抗性攻防竞赛,旨在推动此领域的发展。比赛分为三个项目,包括无目标地生成对抗样本(分类错误即可)、有目标地生成对抗样本(分类错误为指定类别)和防御对抗样本。比赛采用对抗式模式,通过攻击者和防守者互相对抗,计算攻击和防御的成绩。
清华大学团队在全部三个项目中取得了第一名的成绩,并在有目标攻击和防御两个项目上取得了远超过第二名的得分。在比赛中,该团队提出了基于动量的迭代式攻击方法和高层特征指导的降噪器,展示出了很好的攻击和防御效果,为此领域的发展做出了突出的贡献,为人工智能系统在实际应用中的鲁棒性和安全性检验提供了新的验证基准。技术细节在后续的报道中会进一步跟进。
清华大学团队部分成员与竞赛组织者 Ian Goodfellow、Alexey Kurakin 的合影
NIPS 是机器学习领域的顶级国际会议,于 12 月 4 日-9 日在美国洛杉矶的长滩举行,该团队今年有 4 篇论文被录用。至今,该团队已经连续 8 年均有论文在 NIPS 发表。
以深度学习为代表的人工智能系统近年来在图像分类、目标识别等诸多任务中都获得了突破性进展,但是研究发现深度学习模型在鲁棒性上存在严重的不足,很多在特定数据集上测试性能良好的模型反而会被一些人眼不容易识别的「对抗」样本欺骗,导致出现高可信度的错误判断,这就给未来人工智能技术的应用带来严重的安全隐患,引起了国内外诸多研究机构的广泛关注。
针对这一问题,谷歌大脑(Google Brain)于 NIPS2017 上组织了面向对抗样本攻防(Adversarial Attacks and Defenses)的竞赛。清华大学计算机系博士生董胤蓬、廖方舟和庞天宇(指导教师:朱军、胡晓林、李建民、苏航)所组成的代表队在全部三项比赛任务中(有/无特定目标攻击;攻击检测),全部获得冠军,战胜了包括斯坦福、约翰霍普金斯大学等世界著名高校在内的 100 多支代表队,在人工智能模型的鲁班性和安全性应用方面迈出了重要一步。
对抗样本是指攻击者通过向真实样本中添加人眼不可见的噪声,导致深度学习模型发生预测错误的样本,如下图所示:给定一张图片(雪山或河豚),攻击方给图片添加了微小的扰乱,尽管人眼很难发觉,但是模型却高概率的将其误分(狗或螃蟹)。
对抗样本示例,左列为真实样本,中间列为噪声,右列为对抗样本。
随着深度学习在各个领域发挥着日益重要的作用, 防止对抗样本对深度学习系统的干扰、提高模型的鲁棒性和可靠性成为关键的研究课题, 特别是在一些对于可靠性要求很高的应用领域, 例如自动驾驶、医疗、金融、安全等。
正是由于对抗样本具有重要的学术研究和实际应用价值,谷歌在 NIPS2017 上组织了首届对抗性攻防竞赛,旨在推动此领域的发展。比赛分为三个项目,包括无目标地生成对抗样本(分类错误即可)、有目标地生成对抗样本(分类错误为指定类别)和防御对抗样本。比赛采用对抗式模式,通过攻击者和防守者互相对抗,计算攻击和防御的成绩。
清华大学团队在全部三个项目中取得了第一名的成绩,并在有目标攻击和防御两个项目上取得了远超过第二名的得分。在比赛中,该团队提出了基于动量的迭代式攻击方法和高层特征指导的降噪器,展示出了很好的攻击和防御效果,为此领域的发展做出了突出的贡献,为人工智能系统在实际应用中的鲁棒性和安全性检验提供了新的验证基准。技术细节在后续的报道中会进一步跟进。
清华大学团队部分成员与竞赛组织者 Ian Goodfellow、Alexey Kurakin 的合影
NIPS 是机器学习领域的顶级国际会议,于 12 月 4 日-9 日在美国洛杉矶的长滩举行,该团队今年有 4 篇论文被录用。至今,该团队已经连续 8 年均有论文在 NIPS 发表。
相关文章推荐
- 【人工智能】AI竞赛,到底有什么价值?
- 人工智能硅脑竞赛:传统芯片巨头VS AI芯片创企
- 北大 AI 公开课第10讲 胡郁:人工智能+,共创新时代
- AI英雄们,我们邀你向病理诊断和智能投顾发起挑战!| 人工智能创新创业大赛
- 中央再批人工智能伪创新,90%以上AI都不靠谱
- 很高兴获得了CIKM Competition数据挖掘竞赛的冠军
- 《英国政府发布人工智能报告,用 AI 创新优势提升英国国力》笔记
- 【深度】申省梅颜水成团队获国际非受限人脸识别竞赛IJB-A冠军,主要负责人熊霖技术分享
- 迈出数据分析与机器学习的第一步【人工智能工程师--AI转型必修课】
- XGBoost资料( 多届竞赛冠军获得者 周耀 整理)
- Mono 团队Xamarin获得1200W美金融资
- AI(人工智能) TensorFlow 源码下载及编译安装
- 波士顿咨询联手MIT发布万字人工智能报告,详解企业如何跨越“AI应用鸿沟”
- 自然语言交流系统 phxnet团队 创新实训 项目博客 (二)
- 数据挖掘(data mining),机器学习(machine learning),和人工智能(AI)的区别是什么? 数据科学(data science)和商业分析(business analytics)之间有什么关系?
- 商汤CEO徐立:AI城市中,基于GPU计算能力的人工智能商业场景
- 自然语言交流系统 phxnet团队 创新实训 项目博客 (三)
- 精益创业之父Steve Blank: 怎样让企业内部创新获得50倍增速
- 自然语言交流系统 phxnet团队 创新实训 项目博客 (十三)
- 【人工智能】AI系统架构师:AI领域真正最缺的人才是会庖丁解牛的那个人