搜索微信公众号:‘AI-ming3526’或者’计算机视觉这件小事’ 获取更多人工智能、机器学习干货

csdn：https://blog.csdn.net/qq_36645271

github：https://github.com/aimi-cn/AILearners

第十五章 异常检测

15.1 问题的动机

15.1.1 异常检测的例子

假设我们是飞机引擎制造商，在引擎制造生产线上，我们要进行质量控制测试。为了进行测试，我们会收集一些列飞机引擎的特征变量，例如引擎运转时产生的热量或者引擎的震动等等。之后，我们把数据画成图，可能如下图所示：

上图中每个查代表的都是无标签的数据。这样，**异常检测(anomaly detection)**问题可以定义如下：我们假设现在我们制造了一个新的引擎，异常检测问题就是我们希望知道这个新的飞机引擎是否有某种异常或者说我们希望判断这个引擎是否需要进一步测试，因为如果它看起来像一个正常的引擎，那么就可以直接发送给客户而不需要进一步的测试，如下图所示：

15.1.2 异常检测

异常检测更加正式的定义：我们有一些数据并假设它们都是正常的（不是异常的），我们需要一个算法来告诉我们一个新的样本数据是否是异常的。

我们要采取的方法是，给定无标签的训练集，我们对数据进行建模，即p(x)p(x)p(x)（概率模型），之后我们会设定一个阈值，如：

• p(xtest)&lt;ϵp(x_{test})&lt;\epsilonp(xtest​)<ϵ，标记为异常。
• p(xtest)≥ϵp(x_{test}) \geq \epsilonp(xtest​)≥ϵ，标记为正常。
  
  例如在上图中，中心点的概率相当大，而稍微远离中心区域的点概率会小一些，更远的地方的点它们的概率将更小，而在这这歪的点将成为异常点，

15.1.3 异常检测应用案例

• 欺诈检测。假设某网站有许多用户，并且大家都在从事不同的活动。我们可以建立一个模型来表示用户表现出各种行为的可能性，之后就能通过它来看哪些用户的p(x)&lt;ϵp(x)&lt;\epsilonp(x)<ϵ来发现网站上奇怪的用户，从而让网站防止欺诈行为。
• 工业制造。例如之前的飞机引擎制造。
• 数据中心的计算机监控。

3ff7 15.2 高斯分布

15.2.1 高斯（正态）分布(Gaussian/Normal distribution)

假设xxx是一个实数的随机变量，如果xxx的概率分布服从高斯分布，那么它将记做xxx~N(μ,σ2)N(\mu,\sigma^2)N(μ,σ2)。这里的NNN表示normal。高斯分布有两个参数：

• 均值μ\muμ。μ\muμ控制钟形曲线的中心位置。
• 方差σ2\sigma^2σ2。σ\sigmaσ（标准差）控制这个钟形曲线的宽度。

高斯分布图像如下：

这个曲线控制了xxx取不同值时的概率。高斯分布的数学公式如下：
p(x;μ,σ2)=12πσexp(−(x−μ)22σ2) p(x;\mu,\sigma^2)=\frac{1}{\sqrt[]{2\pi}\sigma}exp(-\frac{(x-\mu)^2}{2\sigma^2}) p(x;μ,σ2)=2π​σ1​exp(−2σ2(x−μ)2​)

15.2.2 高斯分布的例子

当μ\muμ发生改变时，曲线发生平移，当σ\sigmaσ发生改变时，曲线的“高低胖瘦”发生改变。但是无论参数如何变化，曲线与x轴围成的面积始终为1。

15.2.3 参数估计

现假设我们有一个含有mmm个数据的训练样本，它们都是实数。参数估计(parameter estimation)问题就是假设这些样本来自一个高斯分布的总体，但我们不知道这个高斯分布的参数，所以我们要估计出这些参数值。中心位置就是对全部样本求平局值，宽度由已知的μ\muμ求得，即：
μ=1m∑i=1mx(i)σ2=1m∑i=1m(x(i)−μ)2 \mu=\frac{1}{m}\sum_{i=1}^mx^{(i)}\\ \sigma^2=\frac{1}{m}\sum_{i=1}^m(x^{(i)}-\mu)^2 μ= 8000 m1​i=1∑m​x(i)σ2=m1​i=1∑m​(x(i)−μ)2
其实，这里的估计实际就是对μ\muμ和σ2\sigma^2σ2的极大似然估计(maximum likelihood estimation)。

15.3 算法

15.3.1 密度估计(density estimation)

假设我们现在有一个包含mmm个样本的数据集，每一个数据都是nnn维。我们处理异常检测的方法是，用数据建立起概率模型p(x)p(x)p(x)，以试图找出哪些特征出现的概率比较高，哪些比较低。若每一个数据都是分散的且服从高斯分布，那么我们可以建模如下：
p(x)=p(x1;μ1,σ12)p(x2;μ2,σ22)p(x3;μ3,σ32)...p(xn;μn,σn2)=Πj=1np(xj;μj,σj2) p(x)=p(x_1;\mu_1,\sigma_1^2)p(x_2;\mu_2,\sigma_2^2)p(x_3;\mu_3,\sigma_3^2)...p(x_n;\mu_n,\sigma_n^2)=\Pi_{j=1}^np(x_j;\mu_j,\sigma_j^2) p(x)=p(x1​;μ1​,σ12​)p(x2​;μ2​,σ22​)p(x3​;μ3​,σ32​)...p(xn​;μn​,σn2​)=Πj=1n​p(xj​;μj​,σj2​)
其实，上述等式相当于从x1x_1x1​到xnx_nxn​上的独立假设。不过在实践中，结果证明，无论这些特征量是否近乎独立，算法的效果都很不错。

15.3.2 异常检测算法

为了构建一个异常检测算法(anomaly detection algorithm)，我们可以：

• 第一步是选择出能帮我们指出那些返程样本的特征量xix_ixi​。
• 下一步是给出训练集，即mmm个未标记的样本，之后进行参数拟合，其中：

μ=1m∑i=1mx(i)σ2=1m∑i=1m(x(i)−μ)2 \mu=\frac{1}{m}\sum_{i=1}^mx^{(i)}\\ \sigma^2=\frac{1}{m}\sum_{i=1}^m(x^{(i)}-\mu)^2 μ=m1​i=1∑m​x(i)σ2=m1​i=1∑m​(x(i)−μ)2

• 最后，我们给出一个新案例，要想知道它是否异常，我们可以计算p(x)p(x)p(x)的值，如果这个值很小，那么就可以将这一项标注为异常：
  

15.3.3 异常检测算法的案例

通过观察并计算上图数据，我们可以得到：

• 在特征量x1x_1x1​中，μ1=5,σ1=2\mu_1=5,\sigma_1=2μ1​=5,σ1​=2。
• 在特征量x2x_2x2​中，μ2=3,σ2=1\mu_2=3,\sigma_2=1μ2​=3,σ2​=1。
  
  如果我们绘制出p(x)p(x)p(x)的图像，即x1,x2x_1,x_2x1​,x2​的乘积，会得到一个类似于下图的曲面：
  
  给定一组特等的x1,x2x_1,x_2x1​,x2​的值，其在3D曲面图所对应的高度就是p(x)p(x)p(x)的值。
  
  现在让我们来看两个新的样本xtest(1),xtest(2)x_{test}^{(1)},x_{test}^{(2)}xtest(1)​,xtest(2)​，并假设我们的阈值ϵ=0.02\epsilon=0.02ϵ=0.02。我们通过计算两个新样本的p(x)p(x)p(x)值并与阈值比较来判断它们是否异常：
  
  事实上我们可以改良这个方法。我们观察这个三维曲面，可以发现x1,x2x_1,x_2x1​,x2​对应曲面非常高的位置时，对应的都是无异常情况，而紫色区域概率都很小，所以标注为异常。因此，可以定义一个区域范围，其外部都为异常，内部都为正常。
  

15.4 开发和评价一个异常学习系统

15.4.1 实数评估的重要性

**实数评估(real-number evaluation)**的主要思想是：当我们为某个应用开发一个学习算法的时候，需要进行一系列的选择，例如选择使用什么特征等等。如果我们有某种方法通过返回一个实数来评估我们的算法，那么对这些选择做出决定往往会容易的很多。

到目前为止，我们都把异常检测看做一个无监督学习问题，因为我们一直使用的是无标签的数据。但是如果我们有一些带标签的数据来指明哪些是异常样本，哪些是正常样本，这就是我们认为的能评估异常检测算法的标准方法。所以，为了能够快速开发出这样一个算法评估系统，我们可以假设我们有一些带标签的数据。

我们还以飞机引擎制造为例：现在我们有一些带标签的数据，y=1y=1y=1代表无异常，y=0y=0y=0代表异常。

• 训练集：把训练集看做无标签的，所以它是一个很大的正常样本的集合。有时候即使里面有一些异常样本，我们仍把它看做正常样本的集合。
• 交叉验证集/测试集：在这两个用来测试异常检测系统性能的集合中，我们包含一些已知是异常的样本。

具体来说，假设我们有10000个正常产品，20个异常产品，那么：

• 训练集：6000个正常的产品。我们用这些无标签数据（其实我们知道绝大部分都是正常产品）来拟合p(x)p(x)p(x)。
• 交叉验证集：2000个正常产品(y=0)(y=0)(y=0)，10个异常产品(y=1)(y=1)(y=1)。
• 测试集：2000个正常产品(y=0)(y=0)(y=0)，10个异常产品(y=1)(y=1)(y=1)。

其他的数据分类方法，如训练集使用6000个正常数据，然后剩下的4000个同时作为交叉验证集和测试集，这种做法不是非常推荐。

15.4.2 算法评估

在我们给定训练集，交叉验证集以及测试集后，我们评估异常算法的步骤如下：

• 用无标签训练集来拟合模型p(x)p(x)p(x)。
• 对于交叉验证集和测试集，我们要用它来进行预测yyy：

y={1if p(x)&lt;ϵ(anomaly)0if p(x)≥ϵ(nomal) y=\begin{cases} 1&amp; \text{if $p(x)&lt;\epsilon(anomaly)$}\\ 0&amp; \text{if $p(x)\geq \epsilon(nomal)$} \end{cases} y={10​if p(x)<ϵ(anomaly)if p(x)≥ϵ(nomal)​

这和我们在监督学习中做的非常相似，所以我们可以通过算法预测成功的次数来对算法进行评估。我们的数据可能会很倾斜，因为正常数据额数量会远远大于异常数据。

一些可能的评价指标：

• 真阳性(true positive)，假阳性(false positive)，假阴性(false negative)，真阴性(true negative)。
• 精度(precision)/召回(recall)。
• F_1 Score。

最后，还有一点要说的是，在异常检测算法中，我们还有一个参数ϵ\epsilonϵ，它是用来决定什么时候把一个样本当做异常样本的阈值。我们可以使用交叉验证集在不同的ϵ\epsilonϵ中选择一个能够最大化F1 scoreF_1\space scoreF1​ score的。

15.5 异常检测与监督学习对比

在我们评估异常检测算法时，我们开始使用了一些带有标签的数据，因此我们会产生一个疑惑——加入我们有带标签的数据，为什么我们不直接用一个监督学习算法来尝试直接学习我们的带标签数据呢？

15.5.1 异常检测和监督学习适用的场景

让我们来看看一下什么时候使用异常检测算法更有效，什么时候使用监督学习算法更有效。

• 异常检测 正常例子数量非常少，异常例子数量非常多。我们可以用异常例子拟合p(x)p(x)p(x)，用正常例子做交叉验证集和测试集。
• 有许多不同类型的异常，例如航空发动机有许多不同途径可能导致异常。因此，在这种情况下，我们只有很少数量的正样本，对一个算法就很难从小数量的正样本中去学习异常是什么，尤其是未来可能出现的异常看起来可能会与现在的截然不同。如果是这种情况，那么更有可能的是对负样本用高斯分布模型p(x)p(x)p(x)来建模，而不是费尽心思对正样本建模。