基于深度学习的自然语言处理——从线性模型到多层感知机

• 从线性模型到多层感知机
• 线性模型的局限性
• 非线性转换
• 核方法
• 可训练的映射函数
• 参考文献

从线性模型到多层感知机

在这里我们介绍从线性模型到多层感知机的转变过程。

线性模型的局限性

很显然，线性模型对于处理非线性问题是完全无力的。

非线性转换

非线性转化其实说的就是再将数据输入到线性算法之前进行变换，通过公式表现为：
y^=f(x)ϕ(x)W+b\hat y = f\left( x \right){\phi \left( x \right)}W + by^​=f(x)ϕ(x)W+b
但问题的的难点是需要人工定义ϕ\phiϕ。

核方法

核方法就是在非线性转化的基础上通过一些通用的映射来解决这一问题。每个隐射都是将数据映射到非常高的维度空间（甚至是无限的），然后在该空间中进行线性分类。

从计算的角度说，在非常高的维度上操作是无法完成的。

核函数的创新性就在于：使用核技巧，不用计算转换后的表示就可以在转换后的空间上工作。

可训练的映射函数

再或者是定义一个可训练的非线性映射函数，让其与线性分类器一起训练。将找到合适的表示变成训练算法的责任。可以表示为下面的形式：
y^=ϕ(x)W+b\hat y = \phi \left( x \right)W + by^​=ϕ(x)W+b
ϕ(x)=g(xW′+b′)\phi \left( x \right) = g\left( {xW' + b'} \right)ϕ(x)=g(xW′+b′)。

《基于深度学习的自然语言处理》