机器学习基础（五）——机器学习算法思想总结

（1）Kernel：Embedding numerous features

（2）Aggregation models：mix or combine hypothesis（for better performance）

（3）BAGging 可并行（parallel），AdaBoost 需串行化；

决策树（Decision Tree）

基于决策树思想的算法主要有：

（1）ID3（Iterative Dichotomiser 3）

（2）C4.5

（3）CART（Classification And Regression Tree）

ID3 （Iterative Dichotomiser 3，迭代二叉树三代）是一种用于决策树的算法。其特点如下：

（1）无法直接处理数值型数据（numerical data）

（2）尽管我们可以通过量化的方法（或者简单的断言 predicate）将数值型数据转化为标称型数值，但如果存在太多的特征划分，ID3算法仍会面临其他问题。

Linear Regression

minwEin(w)=1N∥Xw−y∥2

使用矩阵微分对 Ein(w) 求导得：

∇Ein(w)=2NXT(Xw−y)=0

得到 w 的唯一解：

wLIN=(XTX)−1XTy=X†y

Logistic Regression

Logistic Regression 名称的由来是因为 logistic function：

θ(s)=11+e−s

logistic hypothesis：

h(x)=11+e−wTx

如何将其转化为二分类（binary classification）问题，二分类问题以 12 为界，则要求 wTx 以0为界：

sign(wTx)

Linear Classification ⇒ Linear Regression ⇒ Logistic Regression

共同的：linear score function：s=wTx

（1）Linear Classification:

h(x)=sign(s)



（2）Linear Regression（Regression 的含义即不直接输出）

identity function

h(x)=s

err：squared err



（3）Logistic Regression

h(x)=θ(s)