论文笔记：Chaotic Invariants of Lagrangian Particle Trajectories for Anomaly Detection in Crowded Scenes

【原创】Liu_LongPo 转载请注明出处

【CSDN】http://blog.csdn.net/llp1992

最近在关注 crowd scene方面的东西，因为某些原因需要在crowd scene上实现 anomaly detection，所以看到了这篇论文，该论文是目前在crowd scene中进行abnormal detection做的最好的，记录下笔记当做学习资料。

传统的 anomaly detection中，很多突发事件监测都是基于motion information的，这样就忽略了由于appreance导致但是又没有造成 motion abnormal的情况下的漏监测。 比如卡车超重在桥上行走

传统的光流法，像素变化直方图，或者是背景差分法都很难应用于 crowd scenes ，因为此时的背景是 dynamic的。

也有将 motion 和 appreance 结合在一起进行abnormal detection的

在crowd scene中，很多一般的abnormal even detection方法都不能取得很好的效果，因为crowd scene的背景是经常剧烈变化的，传统的方法不能充分检测到这种变化。

关于Anomaly detection的，关注得不多，目前看到的方法有以下几种：

Social force model

Optical flow

social force model 主流的Optical flow方法有点不同，它主要是考虑crowd scene中的Froce，因此就没有Optical flow中的遮挡问题

该论文提出的方法也是基于 Optical flow的，能够适用于 coherent and incoherent scene，创新点如下：

利用粒子轨迹对crowd scene进行建模，并提出具有代表性的trajectories 来对复杂的crowd flows进行建模

在 crowd context 中引入 chaotic dynamics(混沌动力学)，并通过调节一系列的 chaotic invariant feature来抽取 复杂的crowd motions 信息，这可以用来进行 anomaly detection

提出一个概率框架来进行anomaly detection and localization

Significance of Crowd Scene Analysis

管理大量人群在有限空间的聚集事件

突发事件检测、定位以及警告

集群监督，公共场所监控，安全控制等等

如下图，是不同密集层度的集群

challenge

检测的人群目标密度非常大

有多种运动目标的密集层度，如上图

传统方法

是适合在稀疏空间

会受到严重遮挡，检测目标小，目标appreance类似的问题

另外，在crowd scene中，很多一般的abnormal even detection方法都不能取得很好的效果，因为crowd scene的背景是经常剧烈变化的，传统的方法不能充分检测到这种变化

论文的Idea

拉格朗日质点动力学 + 混沌不变量

框架如下：

论文创新点

目前唯一利用粒子轨迹聚类来对crowsed scene 进行建模

在 crowd context中引入混沌不变量

能够处理连贯和不连贯的人流

Particle Advection

其中，T T 是视频帧，WW 是视频帧的宽度， HH 是视频帧的高度

Cluster Particle Trajectories

原则：几条轨迹流可能只是有一个单一的运动目标产生

方法：聚类

step1 ： 去除那些相对运动量比较少的点或轨迹，因为它们包含的运动信息比较少

step2 ： 根据轨迹流的位置信息进行K-means聚类

输出：聚类后的代表性轨迹流

在step1中去除点或轨迹的标准是轨迹流的方差，设定阈值 ϵ\epsilon, 去除那些方差比ϵ\epsilon小的轨迹流

var{(Xtw,Yth)}<ϵvar\{(X^t_w,Y^t_h)\} < \epsilon

轨迹流聚类后如下：





这些聚类后的轨迹流就是 representative trajectories。实验结果证明，突发事件检测基本上对cluster number不敏感

Chaotic Invariants

Representation of scenes: Representative trajectories

To identify the scene’s dynamics in terms of the dynamics of representative trajectories: lChaotic dynamics by measurable chaotic invariants

论文中说到，运用上面提取的 representative trajectories 可以创建一个基于 Chaotic Invariants 的模型，该模型能够 handle both coherent and incoherent scenes and offer a description using only two features

也就是两个Chaotic Invariants：largest Lyapunov exponent :L 和 correlation dimension：D。

此外，为了进行 anomaly detection，还增加了feature M，代表的是轨迹流 xx 和 yy 的平均坐标 MM

对于 Chaotic Invariants，我个人不是很懂，理解得不太好。如果有懂得人还望不吝赐教。

Feature Set

由上面可知，本模型得到的特征集如下： F={L,D,M}F=\{L,D,M\}

L: Largest Lyapunov exponent

D: Correlation dimension

M: Mean of representative trajectories (Only necessary for position-caused anomalies)

则求解 LL 和 DD 的过程如下：





求解过程还是挺好懂的，就是先找一条轨迹流的最邻近的轨迹流组成轨迹流pairs，然后进行求解LL 和 DD

Advantages of the Algorithm

Proven to be insensitive to the changes in time delay, embedding dimension, size of data set and to some extent noise

Ensure L>0 for condition of chaotic analysis

计算chaotic feature 时需要的特征比较多，因此本文在轨迹中插入一些点来达到每个事件序列都有500个点

Anomaly Detection

Definition of anomaly: Spatiotemporal change of scene/system dynamics (chaotic or/and positions)

Global anomaly: entire change of dynamics

Local anomaly: dynamics changes near particular spatial points

Approach: Probabilistic model

具体方法如下：

首先运用GMM算法描述正常场景的概率密度函数：

P(Γ|Φ)=∑k=1KwkN(Γ;uk,Σk)P(\Gamma|\Phi) = \sum^{K}_{k=1}w_kN(\Gamma;u_k,\Sigma_k)

其中：

Γ\Gamma denotes a four (or six if M features are included) dimensional set of random variables with two features for each time series in x and y

KK : 高斯元的个数

uu : 均值

Σ\Sigma : 方差

Φ\Phi : 模型参数

Model Learning

Normality model: Multi-variate GMM

Learning by: EM + IPRA algorithm

Principle for judging a query as normal or abnormal: Probability of the query belonging to the normality model + ML criterion

也就是，当我们用一些正常的视频序列 SS 来训练模型P(Γ|Φ)=∑Kk=1wkN(Γ;uk,Σk)P(\Gamma|\Phi) = \sum^{K}_{k=1}w_kN(\Gamma;u_k,\Sigma_k)，模型的输入每一个 representative trajectories，学习得到模型参数 Φm \Phi_m 后，就可以将测试视频流输入模型，对所有的representative trajectories输出的概率求平均值，根据最大似然准则(ML)将平均值与阈值 LthresL_{thres} 比较判断测试视频是属于normal还是abnormal。

Anomaly Localization

1.计算每个representative trajectory 对于模型的输出概率

2.定位那些比阈值LthresL_{thres}小的representative trajectory

3.根据位置信息对它们进行聚类得到多个cluster

4.去除那些包含少量trajectories的cluster

5.剩下的那些cluster就是主要的abnormal region

Experiment Results

举个栗子，下面两个图中，人工标记***框汇总有人站起来跳舞，其他人在鼓掌，跳舞的人就属于 abnormal 的。（其实只给一帧的图片我看不太出）





这是实验结果，中间的图是检测到的所有的abnormal region，右边是去除那些包含少量trajectories 的cluster后的情况，基本可以定位成功

关于 GMM和EM算法的资料：

/article/2655580.html

K-means聚类和EM思想

http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006910.html

（EM算法）The EM Algorithm ：

http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html

高斯混合模型（GMM） ：

http://www.cnblogs.com/mindpuzzle/archive/2013/04/24/3036447.html

EM及高斯混合模型:

http://www.cnblogs.com/zhangchaoyang/articles/2624882.html