新研究旨在用“黑箱”算法解决人工智能偏差问题
2017-11-12 00:00
405 查看
关注52AI,做AI的行业领先者。QQ人工智能行业交流群:626784247.
01
从挑选股票到检查X射线,人工智能越来越多地被用来做一些决策,而这些决策从前都是由人类所做。但是人工智能只是像它处理的数据一样好,在多数情况下,我们还是把人性的偏见都当成了可能对人们的生活产生巨大影响的算法。
图片来自“123rf.com.cn”
随着越来越多的自动化决策,能够理解AI如何思考对我们来说变得越来越重要。从挑选股票到检查X射线,人工智能越来越多地被用来做一些决策,而这些决策从前都是由人类所做。但是人工智能只是像它处理的数据一样好,在多数情况下,我们还是把人性的偏见都当成了可能对人们的生活产生巨大影响的算法。
研究人员在一篇发表在arXiv上的新论文中说,他们可能已经想出了一种方法来排减难以被外人检查的算法的问题——所谓的“黑匣子”系统。
出现偏差的一个特别令人不安的地方是风险评估模型,例如它可以决定一个人获得保释或批准贷款的机会。通常在这种情况下考虑种族等因素是非法的,但算法可以学习识别和利用这样一个事实,即一个人的教育水平或家庭住址可能与其他人口统计信息相互关联,种族偏见和其他偏见可能通过这些信息有效地渗透到他们的脑海中。
是什么让这个问题变得更加棘手?许多用来做出这些选择的AI都是黑匣子,要么是它们太复杂,不易理解,要么是公司拒绝解释专有算法。研究人员一直在使用工具来了解发生了什么,但是这个问题是普遍存在的,并且在不断增长。
在这篇论文中,当时在微软工作的Sarah Tan和他的同事尝试了两种黑箱风险评估模型:一种是同等规模公司LendingClub的贷款风险和违约率,另一种是Northpointe,该公司向全国各地的法院提供基于算法的服务来预测被告的累犯风险。
研究人员使用双管齐下的方法来阐明这些潜在的有偏算法是如何工作的。首先,他们创建了一个模拟正在检查的黑盒算法的模型,并根据初始数据集创建风险评分,工作原理同LendingClub和Northpointe一样。然后,建立第二个模型,他们针对现实世界的结果,用该模型确定最初数据集中对最终结果重要的变量是哪些。
对于LendingClub,研究人员分析了从2007年到2011年的一些到期贷款的数据。LendingClub的数据库包含了许多不同的领域,但研究人员发现,该公司的贷款模式可能忽略了申请人的年收入和贷款目的。因为申请人自己报告收入并且可以伪造收入,因此忽略收入尚情有可原。但贷款目的与风险高度相关,例如,小企业的贷款比用于支付婚礼的贷款风险大得多。所以说LendingClub似乎忽略了一个重要的变量。
与此同时,Northpointe说,COMPAS算法在提出量刑建议时不把种族作为变量。然而,ProPublica的一项调查表明,在COMPAS帮助下记者收集了被判刑的被告的种族信息,并发现了种族偏见的证据。在他们的模拟模型中,研究人员使用ProPublica收集的数据以及被告的年龄、性别、收费等级、先前的定罪数量、此前的服刑时间等信息。该方法与ProPublica的研究结果一致,这表明COMPAS可能偏向于某些年龄和种族群体。
批评者可能会指出,这些并不是确切的副本—因为是没有必要的,研究人员进行了大量有依据的猜测。但是马萨诸塞大学的助理教授Brendan O'Connor发表了一篇关于自然语言处理偏见的论文,他说,如果利用某种算法的公司不愿意发布其系统如何工作的相关信息,这个研究中的近似模型则是获得洞察力的一个合理方法。
奥康纳说:“我们需要意识到这一切正在发生,而不是闭上眼睛,假装什么都没有发生。
02
—
52AI
52AI,专注服务于普通人的AI 学习和发展,让大众受益于人工智能就是我们的愿望。我们坚信只有对大众收益的科技才是有意义的,也是我们追求的方向。
01
从挑选股票到检查X射线,人工智能越来越多地被用来做一些决策,而这些决策从前都是由人类所做。但是人工智能只是像它处理的数据一样好,在多数情况下,我们还是把人性的偏见都当成了可能对人们的生活产生巨大影响的算法。
图片来自“123rf.com.cn”
随着越来越多的自动化决策,能够理解AI如何思考对我们来说变得越来越重要。从挑选股票到检查X射线,人工智能越来越多地被用来做一些决策,而这些决策从前都是由人类所做。但是人工智能只是像它处理的数据一样好,在多数情况下,我们还是把人性的偏见都当成了可能对人们的生活产生巨大影响的算法。
研究人员在一篇发表在arXiv上的新论文中说,他们可能已经想出了一种方法来排减难以被外人检查的算法的问题——所谓的“黑匣子”系统。
出现偏差的一个特别令人不安的地方是风险评估模型,例如它可以决定一个人获得保释或批准贷款的机会。通常在这种情况下考虑种族等因素是非法的,但算法可以学习识别和利用这样一个事实,即一个人的教育水平或家庭住址可能与其他人口统计信息相互关联,种族偏见和其他偏见可能通过这些信息有效地渗透到他们的脑海中。
是什么让这个问题变得更加棘手?许多用来做出这些选择的AI都是黑匣子,要么是它们太复杂,不易理解,要么是公司拒绝解释专有算法。研究人员一直在使用工具来了解发生了什么,但是这个问题是普遍存在的,并且在不断增长。
在这篇论文中,当时在微软工作的Sarah Tan和他的同事尝试了两种黑箱风险评估模型:一种是同等规模公司LendingClub的贷款风险和违约率,另一种是Northpointe,该公司向全国各地的法院提供基于算法的服务来预测被告的累犯风险。
研究人员使用双管齐下的方法来阐明这些潜在的有偏算法是如何工作的。首先,他们创建了一个模拟正在检查的黑盒算法的模型,并根据初始数据集创建风险评分,工作原理同LendingClub和Northpointe一样。然后,建立第二个模型,他们针对现实世界的结果,用该模型确定最初数据集中对最终结果重要的变量是哪些。
对于LendingClub,研究人员分析了从2007年到2011年的一些到期贷款的数据。LendingClub的数据库包含了许多不同的领域,但研究人员发现,该公司的贷款模式可能忽略了申请人的年收入和贷款目的。因为申请人自己报告收入并且可以伪造收入,因此忽略收入尚情有可原。但贷款目的与风险高度相关,例如,小企业的贷款比用于支付婚礼的贷款风险大得多。所以说LendingClub似乎忽略了一个重要的变量。
与此同时,Northpointe说,COMPAS算法在提出量刑建议时不把种族作为变量。然而,ProPublica的一项调查表明,在COMPAS帮助下记者收集了被判刑的被告的种族信息,并发现了种族偏见的证据。在他们的模拟模型中,研究人员使用ProPublica收集的数据以及被告的年龄、性别、收费等级、先前的定罪数量、此前的服刑时间等信息。该方法与ProPublica的研究结果一致,这表明COMPAS可能偏向于某些年龄和种族群体。
批评者可能会指出,这些并不是确切的副本—因为是没有必要的,研究人员进行了大量有依据的猜测。但是马萨诸塞大学的助理教授Brendan O'Connor发表了一篇关于自然语言处理偏见的论文,他说,如果利用某种算法的公司不愿意发布其系统如何工作的相关信息,这个研究中的近似模型则是获得洞察力的一个合理方法。
奥康纳说:“我们需要意识到这一切正在发生,而不是闭上眼睛,假装什么都没有发生。
02
—
52AI
52AI,专注服务于普通人的AI 学习和发展,让大众受益于人工智能就是我们的愿望。我们坚信只有对大众收益的科技才是有意义的,也是我们追求的方向。
相关文章推荐
- 新研究旨在用“黑箱”算法解决人工智能偏差问题
- 新研究旨在用“黑箱”算法解决人工智能偏差问题
- 算法研究:利用Python解决数学计数原理问题
- 康奈尔大学博士生研究人工智能“黑箱”偏置值问题
- 算法研究之解决全排列问题:使用深度优先搜索(DFS)
- UOJ#9 浅谈在线仙人球嵌套动态网络路径剖分优化的分支定界贪心剪枝启发式迭代加深人工智能搜索决策算法解决问题
- 算法研究--使用 红黑树 解决实际问题(理论与实践)
- [置顶] Springboot Mybatis 打包jar扫描bean与mapper问题研究与解决
- 如何选择机器学习的算法及适应解决的问题
- “马的遍历”问题的贪婪法解决算法
- Python字符串的encode与decode研究心得乱码问题解决方法
- 对经典算法百鸡百钱问题的优化解决,使其时间复杂度为n。
- JavaScript实现微信红包算法及问题解决方法
- 千人千面智能淘宝店铺背后的算法研究登陆人工智能顶级会议AAAI 2017
- 复选框单选框与文字对齐问题的研究与解决
- 利用深搜和宽搜两种算法解决TreeView控件加载文件的问题。
- 2.9 线性回归算法学习——kNN模型解决回归问题及网格搜索最优参数
- 逻辑回归算法——解决分类问题
- C语言实现的排列组合问题的通用算法、解决方法
- C语言解决螺旋矩阵算法问题的代码示例_C 语言