机器学习面试问题笔记

1, xgboost与GBDT区别（算法到内存）?

https://www.zhihu.com/question/41354392/answer/103119723

2, 神经网络有哪些优化算法？

http://blog.csdn.net/u010089444/article/details/76725843

Batch gradient descent，批量梯度下降法: Use all examples in each iteration；
Stochastic gradient descent，随机梯度下降法: Use 1 example in each iteration；
Mini-batch gradient descent，小批量梯度下降法: Use b examples in each iteration.
Momentum:为SGD加动量
Nesterov Momentum：
Adagrad：
RMSprop:
Adam自适应时刻估计方法（Adaptive Moment Estimation）

3、L1范数和L2范数的区别？

https://zhuanlan.zhihu.com/p/28023308

4、激活函数了解哪些？

sigmoid ，ReLU， softmax、tanh

http://blog.csdn.net/u011584941/article/details/71534828

5、损失函数如何去选择？

https://datascience.stackexchange.com/questions/9850/neural-networks-which-cost-function-to-use

6、概率论：均匀分布如何转变为高斯分布？

http://sofasofa.io/forum_main_post.php?postid=1001242

高斯分布生成均匀分布：http://blog.csdn.net/acceptyly/article/details/47857353

7、欠拟合与过拟合的概念及应对办法？

8、线性回归与逻辑回归区别？

线性回归是拟合，用于预测；逻辑回归是分类

9、k-means 聚类的原理以及缺点及对应的改进；

10、集成学习的方法？

集成方法：可以是不同算法的集成，也可以是同一算法在不同设置下的集成，还可以是数据集不同部分分配给不同分类器之后的集成。

11、

4000