您的位置:首页 > 理论基础 > 计算机网络

为什么深度学习如此容易被愚弄?AI研究员正在努力修复神经网络缺陷

2019-10-17 12:59 1601 查看

大数据文摘出品

来源:nature

编译:张大笔茹、小七


假设一辆自动驾驶汽车看到停车标志时并没有减速,而是加速驶入了繁忙的十字路口,从而导致了交通事故。事故报告显示,停车标志的表面粘了四个小的矩形标志。这说明一些微小扰动就能愚弄车载人工智能(AI),使其将“停止”一词误读为“限速45”。


目前,此类事件还未发生,但是人为扰动可能影响AI是非常现实的。研究人员已经展示了如何通过粘贴纸来欺骗AI系统误读停车标志,或者通过在眼镜或帽子上粘贴印刷图案来欺骗人脸识别系统,又或者通过在音频中插入白噪声使语音识别系统产生错误判断。


这只是一些攻击AI中领先的模式识别技术——深度神经网络(DNN)的小示例。事实证明,这些方法在正确分类各种输入方面(包括图像、语音和有关消费者偏好的数据)非常成功。从自动电话系统到流媒体服务Netflix上的用户推荐,这都是日常生活中的一部分。对输入进行人类难以察觉的微小更改,就能使周围最好的神经网络发生混淆。


加利福尼亚大学伯克利分校计算机科学博士生Dan Hendrycks表示,在这种不完美的技术中,这些问题比特殊的怪癖更麻烦。像许多科学家一样,他一开始也认为其是DNN的内在缺陷:在训练领域能出色地完成任务,但是一旦进入陌生领域,就会因为各种原因而失效。


这可能会导致严重的问题。越来越多的深度学习系统从实验室走向现实世界,从自动驾驶汽车到犯罪测量和诊断疾病。但是,今年一项研究报告称,恶意添加到医学扫描中的图像可能会使DNN误检测癌症。另一方面,黑客可以利用这些弱点黑掉一个在线AI系统,从而运行自己的代码。


努力寻找问题根源的过程中,研究人员发现了许多DNN失败的原因。位于加利福尼亚山景城的Google的AI工程师François Chollet认为,“DNN的内在缺陷是没有解决办法的。要克服这些缺陷,研究人员需要开发额外的功能来增强模式匹配DNN,例如,使AI能够自己探索世界,自己写代码并保留记忆。“一些专家认为,这将是未来十年AI的研究方向。


现实检验


2011年,谷歌开发了一个可以识别YouTube视频中的猫的系统,随后不久便出现了一波基于DNN的分类系统。加州旧金山Uber AI Labs的高级研究经理,怀俄明大学拉拉米分校的杰夫·克劳恩(Jeff Clune)表示,不明就里的人都在说,“哇,这太神奇了,计算机终于可以理解世界了” 。



但只有AI研究人员知道DNN实际上并不了解世界。它们只是由许多数字神经元组成的,分布在许多上下相互连接的各层网络中的,类似大脑结构的松散模型。


其思想是,原始输入进入底层的特征(例如图像中的像素)会触发其中一些神经元,然后根据简单的数学规则将信号传递到上一层的神经元,每次调整神经元的连接方式,训练DNN网络涉及到将其暴露于大量示例中,以便最终顶层可以提供所需的答案。例如,即使DNN之前从未看到过该图片,也能始终将狮子的图片输出为狮子。


2013年,Google研究员Christian Szegedy和他的同事发布了一份名为“神经网络的有趣特性”的预印本,这是对神经网络在现实应用的第一次检验。以狮子的图像为例,即使改变一些像素,例如在图像里添加图书馆背景,DNN能确认它看到了不同的内容,但是依然能识别图中的狮子。小组称篡改的图像为“对抗样本”。


相关报道:

https://www.nature.com/articles/d41586-019-03013-5



实习/全职编辑记者招聘ing

加入我们,亲身体验一家专业科技媒体采写的每个细节,在最有前景的行业,和一群遍布全球最优秀的人一起成长。坐标北京·清华东门,在大数据文摘主页对话页回复“招聘”了解详情。简历请直接发送至zz@bigdatadigest.cn


志愿者介绍
后台回复志愿者”加入我们


点「在看」的人都变好看了哦!
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐