异常检测(Anomaly detection): 什么是异常检测及其一些应用
2017-08-18 20:54
211 查看
异常检测的例子:
如飞机引擎的两个特征:产生热量与振动频率,我们有m个样本画在图中如上图的叉叉所示,这时来了一个新的样本(xtest),如果它落在上面,则表示它没有问题,如果它落在下面(如上图所示),表示这个样本有些问题,在把它交付给客户之前,我们需要对它做进一步的检测。
对异常检测一般化的描述:
我们有m个正常的样本,来了一个新的样本xtest,我们需要检测它是否异常???
→我们的方法是根据这m个正常的样本,来建立一个模型p(x),即对x的分布概率建模
→建好模型后,根据这个模型p(x)来看新的需要检测的数据xtest,根据P(xtest)是否小于一个阀值(ε)来判断它是否为异常(anomaly)
→这样会发现靠近中心点的p(x)值会大些,远离中心点的p(x)的值会小,为异常点。
异常检测的一些应用
欺诈检测:如用x来表示用户的一系列行为,如x1表示用户登陆的次数,x2表示用户访问某个网页的次数,x3用来表示用户提交的次数等等,通过对这些用户的行为进行建模来检测异常用户,这些异常用户不仅仅是被盗号的用户,而是行为有异常的用户。
工业生产领域:如找到异常的飞机引擎,进一步细查这些引擎的质量。
数据中心的计算机监控:数据中心或者计算机集群,根据机器的一些使用情况,如内存使用量、硬盘访问量、CPU载量等来建模p(x),当检测到某台计算机有异常时(p(x)<ε)需要对其做进一步的检查。
如飞机引擎的两个特征:产生热量与振动频率,我们有m个样本画在图中如上图的叉叉所示,这时来了一个新的样本(xtest),如果它落在上面,则表示它没有问题,如果它落在下面(如上图所示),表示这个样本有些问题,在把它交付给客户之前,我们需要对它做进一步的检测。
对异常检测一般化的描述:
我们有m个正常的样本,来了一个新的样本xtest,我们需要检测它是否异常???
→我们的方法是根据这m个正常的样本,来建立一个模型p(x),即对x的分布概率建模
→建好模型后,根据这个模型p(x)来看新的需要检测的数据xtest,根据P(xtest)是否小于一个阀值(ε)来判断它是否为异常(anomaly)
→这样会发现靠近中心点的p(x)值会大些,远离中心点的p(x)的值会小,为异常点。
异常检测的一些应用
欺诈检测:如用x来表示用户的一系列行为,如x1表示用户登陆的次数,x2表示用户访问某个网页的次数,x3用来表示用户提交的次数等等,通过对这些用户的行为进行建模来检测异常用户,这些异常用户不仅仅是被盗号的用户,而是行为有异常的用户。
工业生产领域:如找到异常的飞机引擎,进一步细查这些引擎的质量。
数据中心的计算机监控:数据中心或者计算机集群,根据机器的一些使用情况,如内存使用量、硬盘访问量、CPU载量等来建模p(x),当检测到某台计算机有异常时(p(x)<ε)需要对其做进一步的检查。
相关文章推荐
- 个性化推荐是什么及其应用
- Java 异常处理及其应用
- 应用开发中的异常处理的一些疑问
- Android应用崩溃检测----Bugly捕获Crash异常
- Java 异常处理及其应用
- otsu自适应阈值分割的算法描述和opencv实现,及其在肤色检测中的应用
- 请描述Java中异常处理机制的简单原理和应用,并说明Error与Exception有什么区别?
- 看看什么App最先进!安卓应用检测小工具
- 一种简单并行的轨迹关联算法及其在小目标检测中的应用
- otsu自适应阈值分割的算法描述和opencv实现,及其在肤色检测中的应用
- 机器学习经典算法详解及Python实现---朴素贝叶斯分类及其在文本分类、垃圾邮件检测中的应用
- 请描述Java中异常处理机制的简单原理和应用,并说明Error与Exception有什么区别?
- 异常检测: 应用多元高斯分布进行异常检测
- AJAX工作原理及其优缺点 1.什么是AJAX? AJAX全称为“Asynchronous JavaScript and XML”(异步JavaScript和XML),是一种创建交互式网页应用的网页
- 基于大数据分析的异常检测方法及其思路实例
- 一些运行时异常及其对应的例子
- python脚本应用中的检测:处理异常和触发异常
- Hibernate一些异常及其解决办法
- 电信IP骨干网络异常流量及其检测