MLP && BP && RBF && SVM Neural Network
2017-10-15 18:07
267 查看
Reference Website : https://www.52ml.net/10070.html
http://www.cnblogs.com/eniac1946/p/7371805.html
http://www.cnblogs.com/zhangchaoyang/articles/2591663.html
https://www.52ml.net/12016.html
只要模型是一层一层的,并使用AD/BP算法,就能称作 BP Network。RBF Network 是其中一个特例。
接下来简单介绍 RBF Network 相比一般 Neural Network 具有的特点。
机器学习的模型通常存在各种解读。相对正统的是统计上的解读。但这里只谈直观上的解读,以求易读。
RBF网络能够逼近任意的非线性函数,可以处理系统内的难以解析的规律性,具有良好的泛化能力,并有很快的学习收敛速度,已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。
RBF网络学习收敛得比较快:
<1>当网络的一个或多个可调参数(权值或阈值)对任何一个输出都有影响时,这样的网络称为全局逼近网络。
由于对于每次输入,网络上的每一个权值都要调整,从而导致全局逼近网络的学习速度很慢。
BP网络就是一个典型的例子。
<2>如果对于输入空间的某个局部区域只有少数几个连接权值影响输出,则该网络称为局部逼近网络。
常见的局部逼近网络有RBF网络、小脑模型(CMAC)网络、B样条网络等。
CMAC http://blog.sina.com.cn/s/blog_6bfdc0e70100zxm4.html
BP : http://www.cnblogs.com/Finley/p/5946000.html
RBF : http://www.cnblogs.com/zhangchaoyang/articles/2591663.html
RBF网络是一个三层结构的前馈网,它的隐层为径向基神经元结构。径向基神经元的净输入采用距离函数(如欧式距离)乘以偏置,并使用径向基函数作为激活函数。
其中,R代表输入层并指出输入维数; 代表由径向基神经元构成的隐层并指出神经元数目; 是线性输出层。
它的基本思想是:用RBF作为“隐”单元的基构成隐含层空间,将输入矢量直接(即不需要经过权连接)映射隐空间;当RBF的中心确定后,映射关系也就确定了;隐含层空间到输出层空间直接的映射是线性的。
http://www.cnblogs.com/eniac1946/p/7371805.html
http://www.cnblogs.com/zhangchaoyang/articles/2591663.html
https://www.52ml.net/12016.html
只要模型是一层一层的,并使用AD/BP算法,就能称作 BP Network。RBF Network 是其中一个特例。
自动微分(Automatic Differentiation,AD)是利用链式法则,自动生成求导程序的技术。广泛应用于数值优化,数值模拟等领域。 常用的工具有:ADIC , ADiMat 等。
接下来简单介绍 RBF Network 相比一般 Neural Network 具有的特点。
机器学习的模型通常存在各种解读。相对正统的是统计上的解读。但这里只谈直观上的解读,以求易读。
RBF网络能够逼近任意的非线性函数,可以处理系统内的难以解析的规律性,具有良好的泛化能力,并有很快的学习收敛速度,已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。
RBF网络学习收敛得比较快:
<1>当网络的一个或多个可调参数(权值或阈值)对任何一个输出都有影响时,这样的网络称为全局逼近网络。
由于对于每次输入,网络上的每一个权值都要调整,从而导致全局逼近网络的学习速度很慢。
BP网络就是一个典型的例子。
<2>如果对于输入空间的某个局部区域只有少数几个连接权值影响输出,则该网络称为局部逼近网络。
常见的局部逼近网络有RBF网络、小脑模型(CMAC)网络、B样条网络等。
CMAC http://blog.sina.com.cn/s/blog_6bfdc0e70100zxm4.html
BP : http://www.cnblogs.com/Finley/p/5946000.html
RBF : http://www.cnblogs.com/zhangchaoyang/articles/2591663.html
RBF网络是一个三层结构的前馈网,它的隐层为径向基神经元结构。径向基神经元的净输入采用距离函数(如欧式距离)乘以偏置,并使用径向基函数作为激活函数。
其中,R代表输入层并指出输入维数; 代表由径向基神经元构成的隐层并指出神经元数目; 是线性输出层。
它的基本思想是:用RBF作为“隐”单元的基构成隐含层空间,将输入矢量直接(即不需要经过权连接)映射隐空间;当RBF的中心确定后,映射关系也就确定了;隐含层空间到输出层空间直接的映射是线性的。
相关文章推荐
- MLP、RBF、SVM的比较
- MLP、RBF、SVM网络比较及其应用前景
- MLP、RBF、SVM网络比较及其应用前景
- MLP、RBF、SVM网络比较及其应用前景
- 简洁的BP及RBF神经网络代码
- 中文文本挖掘的贝叶斯分类器&SVM
- 径向基网络(RBF network)之BP监督训练
- SVM & Kernel Method
- 神经网络的理解(MLP RBF RBM DBN DBM CNN 整理学习)
- [matlab-libsvm] 关于SVM参数c&g选取程序
- SVM&SVR
- 简洁的BP及RBF神经网络代码
- svm 错误 Error using ==> svmtrain at 232 Y must be a vector or a character array.
- NLP07-Gensim源码简析[MmCorpus&SvmLightCorpus]
- RBF or Fuzzy &pid
- 径向基网络(RBF network)之BP监督训练
- svm&贝叶斯
- RBF_PID_Qt&plot
- 径向基网络(RBF network)之BP监督训练
- BP和RBF神经网络比较