机器学习应该准备哪些数学预备知识？

本文原作者Robin Shen ，本文整理自作者在知乎《机器学习应该准备哪些数学预备知识？》问题下的回答。

原题目如下：

机器学习应该准备哪些数学预备知识？

数据分析师，工作中经常使用机器学习模型，但是以调库为主。

自己一直也在研究算法，也裸写过一些经典的算法。

最近在看PRML这类书籍，感觉有点吃劲，主要是公式推导看不懂，很多数学符号不知其意。

也特地学过线性代数、微积分等，但是然并卵，还是看不懂大段的公式以及那些神奇的矩阵计算~

机器学习新手，想前来问下，有没有哪些数学知识是可以弥补这一类缺陷的?

能否具体的说一些知识点或者相关的文章和书籍？

2012 年之后，随着深度学习的浪潮卷来，大家逐渐认可了神经网络 / 深度学习这个东西，都知道它在很多应用场景下面表现得很好。但是，它常常被人诟病的一点就是，就算它表现很好，却没有一个很好的理论解释。

相比之下，很多算法虽然实际表现一般，但是在理论解释这一方面就远胜神经网络了。典型的例子么，自然就是我们耳熟能详的线性回归算法啦。所谓的线性回归，简单地说，就是尝试用一条直线来拟合世间万物。虽然听起来不太靠谱，实际上效果也一般，但是这并不妨碍研究人员在过去的几十年间，怀着满腔热情，发了大量的理论论文研究这个基本问题（不好意思，我也发了两篇）。这就像一个
PhD 笑话里面说的那样，Theory is when one knows everything but nothing works. Practice is when everything works but nobody knows why.

真说起来嘛，倒也不是大家觉得线性回归多么有用，我觉得主要还是直线比较好分析，而神经网络比较难，所以理论工作就少一些。这个现象叫做 Streetlight effect，如下图。

笼统地说，原理和基础都在数学这边，当然有很多偏应用和软件使用的技术，例如“深度学习调参”等，这些报个培训速成班就能学会的技术含量不那么高的东西，不在讨论范围内。

这里要讨论的，是如何系统的学习，然后自己能编出这机器学习或深度学习的程序或软件－－我想，这才能称为一个合格的机器学习、数据科学家。

  入门基础

1.微积分（求导，极限，极值）和线性代数（矩阵表示、矩阵运算、特征根、特征向量）是基础中的基础，某篇图像分割1w+引用的神文核心思想便就求解构造矩阵的特征向量；

2.数据处理当然需要编程了，因此C/C++/Python任选一门（推荐Python，因为目前很多库和Library都是用python封装），数据结构可以学学，让你编程更顺手更高效，但是编程不是数据处理的核心。

当然了，楼主所在的图像处理界，熟练使用matlab或者Python调用opencv库是必要条件，但是again他们只是工具，业余时间自学，多练练就没问题。有同学问用R行不行，补充一点，用什么编程语言很大部分取决于你的核心算法会调用什么已有的库函数，比如楼主的科研里面核心算法往往是MIP（混合整数规划）问题需要调用Cplex或Gurobi库函数，因此C/C++/Python/Java这些和Cplex接口良好的语言都可以拿来用，这时候R就别想了。(更新：最新Gurobi版本支持R)

另外虽然图像处理界一些open-source的code都用C++写的，但是鉴于使用方便都会提供Python的接口，因此需要用到这些code的话，用Python调用比较方便；但是，如果是高阶骨灰级玩家，需要修改甚至自己写源代码，那么还是推荐C/C++，因为他们的速度最快。

3.算法

通常高校都会有算法类的课程，会概述各类算法的基础和应用，其中包括：精确算法、近似算法、启发式算法、演化算法、递归算法、贪婪算法等待，还有各类优化算法。

算法非常核心，想必大家都听说过算法工程师这个职位。

关于数学模型和算法的区别、联系，参见：

【学界】整数规划精确算法/近似算法/(元)启发算法/神经网络方反向传播等算法的区别与关联（http://t.cn/RlNoJ19）

  中级教程

1.概率论+统计（很多数据分析建模基于统计模型）、统计推断、随机过程等

2.线性规划+凸优化（或者只学一门叫numerical optimization，统计、机器学习到最后就是求解
e019
一个优化问题）、非线性规划等

3.数值计算、数值线代等

当年我是在数学系学的这门课，主要是偏微分方程的数值解。

但我觉得其开篇讲的数值计算的一些numerical issue更为重要，会颠覆一个数学系出身小朋友的三观。(原来理论和现实差距可以这么大！)

Conditional number, ill-conditioned problem，会让你以后的编程多留个心眼。

恭喜你，到这里，你就可以无压力地学习Machine Learning这门课了（其实机器学习，通篇都是在讲用一些统计和优化来做clustering 和 classification这俩个人工智能最常见的应用）。并且你就会发现，ML课中间会穿插着很多其他课的内容。恩，知识总是相通的嘛，特别是这些跨专业的新兴学科，都是在以往学科的基础上由社会需求发展而来。

到这里，其实你已经能看懂并且自己可以编写机器学习里面很多经典案例的算法了，比如regression，clustering，outlier detection。

关于优化类课程的综述，欢迎关注我的专栏：

[运筹帷幄]大数据和人工智能时代下的运筹学
- 知乎专栏
原文链接：http://t.cn/RlNoO3P

运筹学（最优化理论）如何入门？
- 知乎
原文链接：http://t.cn/RlNoHiM

学到Mid-level，就已经具备绝大部分理论基础了。然后做几个实际项目，就能上手然后就可以“吹嘘”自己是搞机器学习的，就能找到一份工作了。

但是要读Phd搞机器学习的科研，那么高阶课程必不可少，而且同一个topic你需要上好几门课，并且你博士的课题，很可能只是一本书中一个章节里面一小节里讲的算法，去改进他。

比如，楼主的博士课题就是mixed linear programming + discrete graphical models + markov random fields + regression + clustering + segmentation。

  高阶课程

再高阶的课程，就是比较specific的课程了，可以看你做的项目或者以后的concentration再选择选修，比如：Probabilistic Graphical Models（概率图模型）， Integer Programming（整数规划） ，计算机视觉，模式识别，视频追踪，医学图像处理，增强学习，深度学习,
神经网络，自然语言处理，网络信息安全，等等等等。

深度学习：目前非常火，打败了非常多几十年积累起来的经典方法。

增强学习：也很火，游戏AI、自动驾驶、机器人等等，它都是核心。

概率图模型：深度学习之前非常popular的“学习”方法，有严格的数学模型和优美的算法，虽然目前被前俩者盖过了风头，但是依然有它的立足之处。什么？你不知道最近用PGM发了篇Nature，打败了CNN？快看下面：

Robin
Shen：如何评价 Vicarious 在 Science 上提出基于概率图模型（PGM）的 RCN 模型？
原文链接：http://t.cn/RlNoFhH

再比如有用偏微分方程做图像处理的（比较小众），那么这时候你肯定要去学一下偏微分方程了，大都是以科研为主导的。

科研嘛，为了发文章，就是要尝试前人没尝试过的方法，万一效果不错呢，就是一篇好paper了，对吧。

附上顶尖会议排名，共勉：

国际“顶尖”计算机视觉、机器学习会议大搜罗--附排名&接收率
原文链接：http://t.cn/RKd4jee

  互联网教学资源

书目没有特别推荐的，但是建议看英文原版。

另外直接翻墙Youtube看视频课程，很多国际知名教授都很无私地把自己上课的视频放在youtube上免费学习（搜索我上面列出的科目名字）。如果确实要楼主推荐，那就推荐海德堡大学历史上最年轻的教授 Fred的机器学习视频（我基本都看过）（http://t.cn/RlNKGop）

另外一个教授给你上课的时候，开头一般是会推荐书给你的（如果你确实喜欢看书的话）。当然了，翻墙是楼主suppose你们需要拥有的基本生存技能。

（注：以下再推荐一些视频，仅受之以渔，多为graduate course）

Machine
Learning by Prof. Nando de Freitas， 此视频是其在UBC时13年所录，后来跳槽去牛津计算机系了。
原文链接：http://t.cn/RlNKEyk

Deep
learning at Oxford 2015   by Prof. Nando de Freitas， 跳槽到牛津所录。
原文链接：http://t.cn/RwgbKNb

Probabilistic
Graphical Models by Daphne Koller, 斯坦福大学计算机系教授
原文链接：http://t.cn/RlNKgpB

-----------

等的就是你，真的超有趣！高能金融抱团群发车啦~
[b]加我拉你进群呦[/b]

算法数学之美微信公众号欢迎赐稿
稿件涉及数学、物理、算法、计算机、编程等相关领域。稿件一经采用，我们将奉上稿酬。投稿邮箱：math_alg@163.com
商务合作：联系微信号hengzi5809