吴恩达导师Michael I.Jordan学术演讲：如何有效避开鞍点（视频+PPT）

机器学习中，非凸优化中的一个核心问题是鞍点的逃逸问题。梯度下降法（GD，Gradient Descent）一般可以渐近地逃离鞍点，但是还有一个未解决的问题——效率，即梯度下降法是否可以加速逃离鞍点。

加州大学伯克利分校教授Michael I. Jordan（吴恩达的导师）就此做了研究，即，使用合理的扰动参数增强的梯度下降法可有效地逃离鞍点。在去年旧金山的O'Reilly和Intel AI Conference，他就此研究做了一次演讲。

Michael I. Jordan：如何有效避开鞍点

时长13分钟，带有中文字幕

点击观看



暂时无法观看的小伙伴可以下拉看文字版

很荣幸来到这里。我刚从中国飞回来，大约是昨天午夜时分，我感觉好极了。如果有一个地方人们谈论AI比旧金山还多，那就是中国。这很神奇吧。与之相反，如果我去参加一个理论会议，我会做一个关于系统的演讲，但我更倾向在系统会议演讲中和大家探讨理论研究。我认为拓展视野并意识到所有的问题是非常重要的。

我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。



我们处在一个非常经验主义的人工智能和机器学习的时代，比我的职业生涯中的任何时刻都更重视经验。这很好，有很多新的探索，但是我们的理解理论远远落后。所以我在自己的研究中更多地关注这个问题。今天我想给大家讲一些研究结果。Chi Jin主导这项研究，他是我在伯克利的研究生，还有Ronge Ge，Praneeth Netrapalli，Sham Kakade几位学生参与了这个项目。

论文链接：
https://arxiv.org/abs/1703.00887
我要讲的是鞍点，以及如何有效地避开它们。你们都知道局部最小值是我们的克星，所以我一直在讨论这个问题，那就是如何避免局部最小值。但问题并不明显，有很多机器学习的问题没有局部最小值。即使你有局部最小值，梯度下降似乎可以轻松回避它们。神经网络如果足够大的话就会有足够的冗余，要做到这一点并不难。达到零就是全局最优解。这就是你们在实践中看到的。也许这并不是真正的问题。如果一个回路的局部最大值不是问题，它的鞍点是剩下需要解决的。

原文链接