来自1976,Hinton写的第一篇论文火了:胶囊网络,是40年前的胶囊?
挖栗子 发自 凹非寺
量子位 报道 | 公众号 QbitAI
有人把一篇来自1976年的论文刨了出来,仅一日的工夫已在推特上收获了400多赞。
论文的主人Geoffrey Hinton,许多年后成了神经网络之父,还获得了图灵奖。
如今,回看他的第一篇论文,颇有一番风味。
这篇论文探索的问题是,给你一堆互相重叠的长方形,怎样才能从里面找出一只“人偶 (Puppet) ”?
举个栗子如下,标了字母的就是人形的可能组成部分:
所以,为什么会想做这样画风清丽的任务啊?
松弛,松弛一下
首先了解一下问题。
就像开头展现的一样,人偶都是侧面的,并且有许多严格的规定:
每个部位都要有近端和远端,近端就是离头近的那一端。
躯干必须必四肢都粗,下肢要比上肢粗,头和躯干要比脖子粗。
头要比脖子面积大……
△ 我没有脖子
如果只考虑和一个方块相邻的那些方块:有些方块就可能被许多身体部位争着选,有些部位可能什么部位都选不上。
而松弛算法可以加深AI对空间的理解:从互相冲突的局部解释 (Local Interpretations) 中,找到最佳的全局图形 (Globally Best Figures) 。
论文还列举了这种方法的三大优点:
一是用并行计算的话,可以快速得出最佳全局解释。花费的时间,并不是随着局部可能性的数量指数增长的,因为并没有显式 (Explicitly) 处理各种可能的组合。
二是需要的计算空间,也只会随着可能性的数量线性增长,这样就不像广度优先的搜索那样暴力,会轻松许多。
三是这里能得出全局最佳,而不像启发式搜索 (Heuristic Search) 那样,只找出还算不错的结果。
那么,来看看松弛算法的表现如何。
没用松弛的时候,会找出一大堆可能性 (下图) 。
而且各种部位都给了太多选项:比如“上臂GHIJK”。
然后,加上松弛步骤:
就只剩下一种最佳可能性了。
F躯干,脖子D,上肢GE,下肢KI:
看上去科学了许多啊。
40多年的胶囊
看了论文,网友纷纷想到了2017年Hinton提出的胶囊网络,这种新方法,也是用来解决神经网络不会自己判断空间信息的问题。
这不是胶囊吗?
原来,他一直在做胶囊啊。
蟹蟹你,胶囊。
1976论文传送门:
https://www.cs.toronto.edu/~hinton/absps/puppet.pdf
— 完 —
小程序|get更多AI学习干货
加入社群
量子位AI社群开始招募啦,量子位社群分:AI讨论群、AI+行业群、AI技术群;
欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“微信群”,获取入群方式。(技术群与AI+行业群需经过审核,审核较严,敬请谅解)
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「在看」吧 !
- 终于盼来了Hinton的Capsule新论文,它能开启深度神经网络的新时代吗?
- CapsNet日益火爆!Hinton大神横扫AI界的「胶囊网络」如何理解?
- 「建立它,再超越它」, 谷歌AI大神Hinton找到重塑AI的新方法—胶囊网络
- Hinton胶囊网络代码低调开源,GitHub链接你找得到吗?
- CapsNet日益火爆!Hinton大神横扫AI界的「胶囊网络」如何理解?
- 关于矩阵胶囊与EM路由的理解(基于Hinton的胶囊网络)
- Hinton介绍胶囊理论的论文
- 深度信任网络的快速学习算法(Hinton的论文)
- 大神Hinton的Capsule论文终于公开,神经网络迎来新探索
- 关于胶囊之间的动态路由的理解(基于Hinton的胶囊网络)
- (SVSH0ST.EXE)病毒的分析解决(来自网络)
- 如何动笔写你的第一篇论文
- Deep Learning论文笔记之(七)深度网络高层特征可视化
- 80老翁谈人生(255):火星人来自网络空间,要做人类的朋友
- 在文件过滤驱动中如何判断文件访问请求来自网络?
- ICLR2019最佳论文!神经网络子网络压缩10倍,精确度保持不变 | MIT出品
- 神经网络论文和资料整理
- 【深度学习】论文导读:GoogLeNet模型,Inception结构网络简化(Going deeper with convolutions)
- 胶囊网络为何如此热门?与卷积神经网络相比谁能更胜一筹?