深度学习未来的可能发展方向

作者：ThoughtWorks中国
链接：https://www.zhihu.com/question/47602063/answer/197576134
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

方向1：多功能神经网络

尽管深度学习已经让神经网络具备了很大的灵活性，然而深度学习目前还只能做到一个神经网络解决一个问题。比如训练一个神经网络要么只能识别图片，要么只能识别语音，不能同时识别。比如，我们可以给一个神经网络看一张图片，神经网络可以识别到图片中是猫还是狗；我们也可以给另一个神经网络听一段声音，这个神经网络可以识别出是声音中是猫还是狗的叫声；但是，现在还没有一个神经网络，既能通过视觉识别物体，还能通过听觉识别物体。尽管借助多任务学习（Multi-task learning）技术，神经网络可以在识别图片类别的同时，识别轮廓、姿态、阴影、文字等等相关的内容，相比我们人类多才多艺的大脑，现在的深度神经网络可以说是非常低能。

目前如果需要一个应用支持不同的能力，必须组合使用多个神经网络，这不仅对于计算资源是巨大的消耗，不同神经网络之间也难以形成有效的互动，比如图片中的狗、声音中的狗和一段文字中出现的狗，在各自的神经网络中都有不同的表示方式。而对于人类来说，这些其实都是同一个概念。

如何让神经网络能够同时实现多个目标，目前科学家们也都还没有答案，不过从人类大脑得到的启示是，通过某种方式，将负责不同功能的神经网络连接起来，组成更大的神经网络，也许可以解决这个问题。Google在ICLR 2017上的一篇论文，通过一个系数门矩阵将多个子网络连接起来，是在这个方向上的一个有趣尝试。

方向2：终极算法

Pedro Domingos教授在《The Master Algorithm》一书中回顾了机器学习的5大流派：符号主义、连接主义、进化主义、贝叶斯主义、分析主义。这5类机器学习算法并没有绝对的优劣，不同的算法适用于不同的场景和问题。比如以神经网络为主的连接主义算法，对于视觉、听觉这类感知问题，具有更好的效果，但是却不擅长逻辑推理。而逻辑推理刚好是符号主义算法所擅长的。书中提出了一种终极算法，能够结合这五种主流机器学习，可以适用于更大范围的问题域。

深度学习正是连接主义发展而来，不过深度学习提供了可扩展性非常强的框架，以深度学习为基础，很有希望将其他几类机器学习算法融入进来。OpenAI在进行深度强化学习的实验过程中发现，使用进化主义的遗传算法替代经典的反向传播（BP）算法，模型可以更快的收敛，性能也更好；Google基于TensorFlow框架开发的概率编程工具库Edward，证明了概率图和神经网络可以无缝的结合在一起。

从目前的趋势看来，终极算法非常有希望。不过，事情不会总是这么顺利。当年物理学家们希望寻找大统一理论来结合自然界四种基本力，电磁力、强核力、弱核力很快就结合到一个模型中，然而最后引力却怎么都找不到结合的办法。当我们找到终极算法的时候，通用人工智能（Artificial General Intelligence）就离我们不远了。

方向3：更少的人工干预

深度学习让机器学习不再依赖于科学家寻找特征，但调试深度神经网络依然需要很多人工的工作，其中最主要的就是调参。这里所说的调参，不是调节神经网络的每个神经元的参数，而是指调试超参数。超参数是用来控制神经网络的描述性参数，比如，神经网络的层数、每一层的神经元个数、学习率（Learning Rate）的大小、训练时间的长短等等。这些参数的微小差异，会给最终模型带来巨大的性能差异，而这部分工作大多需要靠经验完成，很难总结出有效的最佳实践。

然而这一状况在未来将会有所改善。既然神经网络可以用于学习参数，就应该可以学习超参数。DeepMind提出的Learning to Learn算法，使用神经网络来学习和调整学习率，可以让神经网络更快的收敛到理想的精度。正所谓，授人以鱼不如授人以渔。