机器学习中数学概念概念的理解

平均值和数学期望的区别？
均值（mean value）是针对既有的数值（简称母体）全部一个不漏个别都总加起来,做平均值（除以总母体个数）,就叫做均值.
但是当这个数群（data group）的数量（numbers）很大很多时,我们只好做个抽样（sampling）,并“期望”透过抽样所得到的均值,去预测整个群体的“期望值（expectation value）”.
当抽样的数量很大时候，我们认为抽样得到的均值接近于期望值。

机器学习中概念都有哪些？
损失函数是度量模型一次预测的好坏，就是累加错误和
风险函数是平均损失函数或者叫做期望损失。
前面两个是后面两个的铺垫。
经验风险就是指针对训练集的平均损失，它是针对训练集，不包括测试数据。
期望风险是针对整个数据集的平均损失，它是针对整个数据集，包括测试数据。
当样本容量容量N趋于无穷大的时候，根据大数定律，经验风险等于期望风险。
我们都希望求出期望风险，但是不容易求出，所以我们希望通过经验风险来近似期望风险。
通过经验风险最小化原则可以求出最好的模型。（当模型时条件概率分布，损失函数是对数损失函数时，等价于极大似然估计法）

当样本很大的时候，经验风险最小化能保证有很好的学习效果。

当样本量很小时，经验风险最小化会引起过拟合现象。

求最优模型的两种方法，一种是罚函数，正则化，另外一种是交叉验证。

结构风险最小化就是为了防止过拟合现象提出的策略。（等价于正则化）
结构风险在经验风险加上模型复杂度的正则化项或者罚项
我们用结构风险来作为最优模型的选择。

交叉验证：就是随机的将数据集分为两部分，一部分作为训练集，另一部作为测试集。在测试集合上评价各个模型的测试误差，选出误差最小的模型。
泛化能力：是指由该方法学习到的模型对未知数据的预测能力，是学习方法本质上重要的特质。

现实中采用的最多的方法是通过测试误差来评价学习方法的泛化能力。通常采用所学得到的模型的期望风险。
生成模型和判别模型的区别？生成模型只能求出p(y/x)，意思就是只能求出y/x的关系，并不能直接求出y,判别模型是直接求出y。
生成模型和判别模型各有优缺点？
生成方法可以还原出联合概率分布p(x,y),而判别方法不能

生成方法学习收敛速度快，当样本容量增加的时候，学习到的模型可以跟快收敛真实模型。当存在隐变量时，任然可用生成方法学习，此时判别方法不能用。
判别方法是直接学习的条件概率分布p(y/x)或者f(x),可以对数据进行各种程度上的抽象，定义特征，并使用特征，因此可以简化学习问题。

监督学习的任务是学习一个模型，应用该模型，对于给定的输入预测相应的输出。模型的一般形式为决策函数y=f(x)，或者条件概念分布p(y/x)监督学习分为生成方法和判别方法生成方法：由数据学习联合分布p(x,y),然后求出条件概念分布p(y/x)做出预测的模型，即生成的模型p(y/x)=p(x,y)/p(x），生成模型方法有：朴素贝叶斯，隐马尔科夫模型。
特点：还原联合分布（判别方法不能），收敛速度快，存在隐变量时，也能学习判别方法：由数据直接学习决策函数y=f(x)或条件概念p(x,y)来作为预测的模型，即判别模型有k近邻，感知机，决策树，逻辑斯特回归，最大熵，支持向量机，提升方法，和条件随机场特点：直接学习条件概念p(x,y),或决策函数y=f(x),直接面对预测，往往学习的准确率更高。可以对数据进行各种程度上的抽象，定义和使用特征，可以简化学习问题。朴素贝叶斯，贝叶斯网络，马儿科夫，隐马尔科夫模型，EM等等之类。数学归纳法，归纳和演绎。
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法(百度百科说的），这种方法对于求出maxp(c/xi)
贝叶斯网络：它借助于有向无环图，它是描述属性与属性之间的依赖关系（朴素贝叶斯，属性与属性之间是独立的，而贝叶斯网络，描述了属性与属性之间的依赖关系）

马尔可夫网络类似贝叶斯网络用于表示依赖关系。但是，一方面它可以表示贝叶斯网络无法表示的一些依赖关系，如循环依赖；另一方面，它不能表示贝叶斯网络能够表示的某些关系，如推导关系。马尔可夫网络的原型是易辛模型，最初是用来说明该模型的基本假设。 随机场：
当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。我们不妨拿种地来打个比方。其中有两个概念：位置（site），相空间（phase space）。“位置”好比是一亩亩农田；“相空间”好比是种的各种庄稼。我们可以给不同的地种上不同的庄稼，这就好比给随机场的每个“位置”，赋予相空间里不同的值。所以，俗气点说，随机场就是在哪块地里种什么庄稼的事情。
马尔可夫随机场：
也叫马尔可夫网，拿种地打比方，如果任何一块地里种的庄稼的种类仅仅与它邻近的地里种的庄稼的种类有关，与其它地方的庄稼的种类无关，那么这些地里种的庄稼的集合，就是一个马尔可夫随机场。
无向图模型也叫马尔科夫随机场(Markov Random Fields)或马尔科夫网络(Markov Network)，无向图模型有一个简单的独立定义：两个节点集A、B都与给定的第三个节点集C相互条件独立，A、B节点之间的路径都被C中的节点分开。
相比之下，有向图模型也叫贝叶斯网络(Bayesian networks)或信念网络(Belief Networks)，有向图模型有一个更复杂的独立性观念。
详见：http://blog.sina.com.cn/s/blog_54d222750101dgz2.html
推理：包括归纳和演绎。
归纳：当n=1时，n=2时，。。。n=k时，求出其关系。由个别推导出一般
演绎：有一般往特殊下面去推导。

马尔可夫性质：
它指的是一个随机变量序列按时间先后关系依次排开的时候，第N+1时刻的分布特性，与N时刻以前的随机变量的取值无关。拿天气来打个比方。如果我们假定天气是马尔可夫的，其意思就是我们假设今天的天气仅仅与昨天的天气存在概率上的关联，而与前天及前天以前的天气没有关系。其它如传染病和谣言的传播规律，就是马尔可夫的。（这也是动态规划中所说的无后效性）
数学归纳法，就是马尔科夫性质的。当n=k时，y=多少，n=k+1,时，是由n=k时得到的，并没有和n=k-1关联到的。