模式识别学习笔记（11）——线性判别函数

线性判别函数

1.1
用于分类的判别函数的参数形式已知，直接从样本来估计判别函数的参数。
优势：不需要有关概率密度函数的确切的参数形式。因此，属于无参数估计。



利用样本直接设计分类器
1、方法分类：
线性判别函数、支持向量机、fisher线性判别函数
广义线性判别函数、非线性判别函数、核学习机
2、基本思想：
-步一：给定一个判别函数，且已知该函数的参数形式
-步二：采用样本来训练判别函数的参数
-步三：对于新样本，采用判别函数对其进行决策，并按照一些准则来完成分类

学习判别函数的基本技术路线
-假定有n个d维空间中的样本，每个样本的类别标签已知，且一共有c个不同的类别
-假定判别函数的形式已知，寻找一个判别函数
-对于给定的新样本x，判定它属于哪个类别

基于判别函数的分类器
-采用已知类别标签的训练样本进行学习，获得若干个代数界面，这些界面将样本所在的空间分成若干个相互不重叠的区域。每个区域包含属于同一类的样本。
-表示界面的函数称为判别函数
-判别函数是分类器最常用的表述形式

基于判别函数的判别准则



贝叶斯决策中提到的比如
4000
：



线性可分（针对训练样本）



1.2线性判别函数与决策面





g（x）=0定义了一个决策面，它是类w1和w2的分界面，该决策面是一个超平面，位于该平面的任意向量与w垂直，若x1和x2在该平面内，则

















1.3 广义线性判别函数
将线性判别函数推广到非线性判别函数。
-一种有效途径是将原来的数据点x通过一种适当的非线性映射将其映射到新的数据点y，这样在新的数据空间里可以运用线性判别函数方法。





在高维中，原本线性不可分的问题可变为线性可分。



1.4感知准则函数
两类可分情形





规范化增广样本：先增广，再规范化。故在d+1维上再乘以-1









r表示坐标原点到到决策面的距离





w指的是法向量，对于a来说，y就是它的法向量

感知准则函数的任务：































参考资料：

中国科学院大学硕士课《模式识别》ppt