深度学习名词解释 个人笔记

马尔可夫过程：将来只依赖于现在不依赖于过去的过程。时间和状态是离散的马尔可夫过程称作马尔可夫链。
SVM:支持向量机（support vector mechine)基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的有监督学习算法，在引入了核方法之后SVM也可以用来解决非线性问题。

前馈神经网络：最简单的神经网络，每个神经元接收前一层的全连接输入然后输出到下一层，整个过程无反馈。

BP神经网络：误差反向传播算法(Error Back Propagation Training)，简称BP，系统解决了多层神经网络隐含层连接权学习问题，按照误差向前传播的训练方法训练的多层前馈神经网络。

梯度下降算法：用于寻找最小值，梯度的相反方向是函数值下降速度的最快方向，我们相信沿着函数变化最快的方向能更快地找到最小值。

深度学习：深度学习（Deep Learning）是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。

单层感知机：（PLA)单层感知器的思路是模拟大脑中单个神经元的工作方式：激活与否。感知器接收多个输入信号，如果输入信号的和超过某个阈值则输出一个信号，否则就什么也不输出。

多层感知机：（MPL）多层神经网络，其中包含隐藏层。

激活函数：神经元上运行的函数，将输入映射为输出，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

sigmoid函数：1.饱和的神经元会使梯度消失 2.输入都为正，不以0为中心：会修改的效率很低下 3.使用指 b60 数函数，运算代价高
超参数：超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。