模式识别的应掌握的数学基础(转)
2015-01-19 19:48
113 查看
关于模式识别和计算机应用方向, 我认为可以选择的主题(仅是己见)
1. 数学方面
1) 矩阵的各种分解. 比如, LU, QR, Cholesky, SVD, Polar.
2) 广义逆与子空间
3) 最小二乘法, 特别齐性方程Ax=b的各种解法及其几何意义
4) 凸分析与凸优化的基本知识及其几何意义
5) 常用的几种优化方法.
其实以上在某种意义下是相通的.
6) 微分几何、黎曼几何的基本概念和知识
7) 李群与李代数的基本知识
8) 图和谱图的基本知识
以上知识,我认为,是作为一个做算法的研究者都应该了解或是掌握的数学知识
9) 模糊数学(就个人而言,我十分不情愿把这个方法列在这里,因为我认为模糊数学不是
好数学,是玩游戏,做模糊数学有关的东西前途不明朗)
10) 时间序列分析的主要方法和最近新方法.
11) 分形和混沌
12) 常用微分方程的基本类型和解法
2.专业方向
1)PCA, FA, MDS
这3个事最典型的降维方法,也是最古典的。但是他们已经出现很多变种,应用在计
算机的各个领域。拿PCA做例子,比如Local PCA, Sparse PCA, Probabilistic PCA, Non
negative PCA.
2) ICA ( Independent Component Analysis )
独立元分析是降维分析中又一经典方法,其有很多种形式。在语音识别,人脸识别等
分类领域中广泛应用。最近又有Nonnegative ICA 出现。特别地李群与李代数(Toral子代
数)的引入为这个经典的方法有注入了新鲜的活力。
3)NMF ( Nonnegative Matrix Factorization)
非负矩阵因子是99年发表在Nature上的一片经典论文。它是继PCA and ICA之后的又
一产生广泛影响的降维方法。非负矩阵因子有着明显的几何意义,使其潜力无限,但又非
常难以发掘。
4)LLE ( Locally Linear Embedding ) and LE ( Laplacian Eigenmaps)
局部线性嵌入和拉普拉斯特征映射分别发表在Science (2000) 和 Neural Computa
tion (2003)上,是非线性降维的里程碑。他们在计算机应用领域产生深远影响是大势所趋
。特别LE的线性形式LPP (Locality Preserving Projections) 在人脸识别领域已大显身
手,继Fisherfaces又一著名方法Laplacianfaces就是基于LPP. 另外基于谱聚类的方法也
可以很容易的从LE中导
出,它正是图像分割领域研究的热点。
这两种方法我自发的报告会中 仔细介绍过。
5)HMM (Hidden Markov Model)
6) Wavelet
7) RBFNN (Radial Base Function Neural Network) and SOM (Self-organizing ma
p)
径向基神经网络和自组织映射是神经网络中最常用的2种方法。随着几何优化的方法
引入神经网络,这些方法又焕发出新的生机和用途。
8)SVM (Support Vector Machine)
支持向量机是数据挖掘中的一朵奇葩,已经广泛应用于各种任务中。随着几何方法
和Clifford 代数的引入,SVM必将更加充满生机。
9)EM (Expectation Maximum)
EM算法是参数估计中最经典、最有效、而且最常用的方法。常用于 Bayesian Mode
l or GMM中
10)Guassian Mixture Model
GMM是信号处理和模式识别中最经典的方法,也是最广泛应用的方法,比如,语音识
别、人脸识别、目标监测、图像分割
11)Bayesian Model or Bayesian Network
贝叶斯模型或是贝叶斯网络的广泛应用就不用多言语了吧。
其中 9)、10)、11)经常是成三成双的出现
12)Kernel Methods
基于核的方法正是现在国际领域中研究的热点,基本上大多数经典方法都已核化,
比如Kernel PCA, Kernel FA, Kernel LDA, Kernel-based MDS, LLE, LE, ……..
囿于本人拙见,难免挂一漏万,所以希望大家补充、讨论、指正。
1. 数学方面
1) 矩阵的各种分解. 比如, LU, QR, Cholesky, SVD, Polar.
2) 广义逆与子空间
3) 最小二乘法, 特别齐性方程Ax=b的各种解法及其几何意义
4) 凸分析与凸优化的基本知识及其几何意义
5) 常用的几种优化方法.
其实以上在某种意义下是相通的.
6) 微分几何、黎曼几何的基本概念和知识
7) 李群与李代数的基本知识
8) 图和谱图的基本知识
以上知识,我认为,是作为一个做算法的研究者都应该了解或是掌握的数学知识
9) 模糊数学(就个人而言,我十分不情愿把这个方法列在这里,因为我认为模糊数学不是
好数学,是玩游戏,做模糊数学有关的东西前途不明朗)
10) 时间序列分析的主要方法和最近新方法.
11) 分形和混沌
12) 常用微分方程的基本类型和解法
2.专业方向
1)PCA, FA, MDS
这3个事最典型的降维方法,也是最古典的。但是他们已经出现很多变种,应用在计
算机的各个领域。拿PCA做例子,比如Local PCA, Sparse PCA, Probabilistic PCA, Non
negative PCA.
2) ICA ( Independent Component Analysis )
独立元分析是降维分析中又一经典方法,其有很多种形式。在语音识别,人脸识别等
分类领域中广泛应用。最近又有Nonnegative ICA 出现。特别地李群与李代数(Toral子代
数)的引入为这个经典的方法有注入了新鲜的活力。
3)NMF ( Nonnegative Matrix Factorization)
非负矩阵因子是99年发表在Nature上的一片经典论文。它是继PCA and ICA之后的又
一产生广泛影响的降维方法。非负矩阵因子有着明显的几何意义,使其潜力无限,但又非
常难以发掘。
4)LLE ( Locally Linear Embedding ) and LE ( Laplacian Eigenmaps)
局部线性嵌入和拉普拉斯特征映射分别发表在Science (2000) 和 Neural Computa
tion (2003)上,是非线性降维的里程碑。他们在计算机应用领域产生深远影响是大势所趋
。特别LE的线性形式LPP (Locality Preserving Projections) 在人脸识别领域已大显身
手,继Fisherfaces又一著名方法Laplacianfaces就是基于LPP. 另外基于谱聚类的方法也
可以很容易的从LE中导
出,它正是图像分割领域研究的热点。
这两种方法我自发的报告会中 仔细介绍过。
5)HMM (Hidden Markov Model)
6) Wavelet
7) RBFNN (Radial Base Function Neural Network) and SOM (Self-organizing ma
p)
径向基神经网络和自组织映射是神经网络中最常用的2种方法。随着几何优化的方法
引入神经网络,这些方法又焕发出新的生机和用途。
8)SVM (Support Vector Machine)
支持向量机是数据挖掘中的一朵奇葩,已经广泛应用于各种任务中。随着几何方法
和Clifford 代数的引入,SVM必将更加充满生机。
9)EM (Expectation Maximum)
EM算法是参数估计中最经典、最有效、而且最常用的方法。常用于 Bayesian Mode
l or GMM中
10)Guassian Mixture Model
GMM是信号处理和模式识别中最经典的方法,也是最广泛应用的方法,比如,语音识
别、人脸识别、目标监测、图像分割
11)Bayesian Model or Bayesian Network
贝叶斯模型或是贝叶斯网络的广泛应用就不用多言语了吧。
其中 9)、10)、11)经常是成三成双的出现
12)Kernel Methods
基于核的方法正是现在国际领域中研究的热点,基本上大多数经典方法都已核化,
比如Kernel PCA, Kernel FA, Kernel LDA, Kernel-based MDS, LLE, LE, ……..
囿于本人拙见,难免挂一漏万,所以希望大家补充、讨论、指正。
相关文章推荐
- 模式识别的应掌握的数学基础
- 搞深度学习需掌握的基础数学知识
- FW:模式识别的应掌握的数学基础(z…
- 数学之路(3)-机器学习(2)-机器学习基础(1)-模式识别简介[1]
- 面试-需要掌握的基础知识
- 数学:确定性的丧失---第十一章 形式主义与集合论公理化基础
- 数学基础1
- 数学基础的一些经典链接
- 研究密码学需要那些数学基础
- 3D游戏的数学基础
- 制作3D游戏所需的数学基础 - 平面
- GPGPU::数学基础教程
- GPU深度发掘(一)::GPGPU数学基础教程
- CS需要的数学基础
- 高效掌握C#笔记[第三章]C#基础知识
- XML基础教程:掌握SAX
- (转贴) 每一个软件开发人员绝对必须掌握的关于 Unicode 和字符集的最基础的知识
- 南京大学基础数学研究生的学习和生活
- directx数学基础
- NLP数学基础?