机器学习中的必修数学（一）

机器学习的领域



基本的机器学习算法的分类



得分函数

如图，经过一系列的计算，最后得到的概率就叫得分函数



损失函数

得分函数与真实数据比较之后的误差叫做损失函数



机器学习中的算法简介

无监督学习（连续型）：SVD、PCA、K-means

无监督学习（离散型）：Apriori、FP-Growth、Hidden Markov Model

监督学习（连续型）：Regression（Linear、Polynomial）、Decsion Trees、Random Forests

监督学习（离散型）：Classification（KNN、Trees、Logistic Regression、Native-Bayes、SVM）



Scikit-learn Algorithm Cheat sheet



两边夹定理/夹逼定理



导数

导数是曲线的斜率，二阶导数是斜率变化快慢的反映



9. 方向导数



10. 梯度



11. 凸函数







12. 琴生不等式

如果是凸函数



13. 常见的概率分布







14. 概率



15. 常见函数的导数



16. 泰勒公式



17. 概率与统计的关注点



18. 概率统计与机器学习的关系



19. 方差



20. 协方差

协方差矩阵的特征分解-SVD

协方差是用来评价两个随机变量的线性关系

方差同时除以X的标准差和Y的标准差得出来的是相关系数



21. 期望



22. SVD的几何意义

原始数据，比如每一行都是一个文本，每列都是一个单词，实际上，我们对于每一个文本都可以用里面所有的单词出现的次数的一个向量作为表示，向量的每一行都对应的一个文本，变成一个矩阵，但是有一个问题，假设词语的个数有60个亿，那么有60亿的词语就有60亿的列，因为太大，所以放不下，因此需要使用方法截短，怎么挑出来？就是一个降维的问题

23. 矩阵乘法在计算中的优势

内积：向量和矩阵相乘