图像特征之LBP 局部二值模式

1. 摘要：本文主要介绍图像纹理描述的一种特征LBP（局部二值模式），基于LBP特征在人脸识别、表情识别方面应用较多。

2. 应用背景

在数字图像处理和模式识别领域，LBP指局部二值模式，英文全称：Local Binary Patterns。最初功能为辅助图像局部对比度，并不是一个完整的特征描述子。后来提升为一种有效的纹理描述算子，度量和提取图像局部的纹理信息，对光照具有不变性。LBP有很多变种，或说改进。单纯的LBP记录像素点与其周围像素点的对比信息，或说差异。

3. 特征计算

a. 传统LBP计算：原始的LBP算子定义为在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3领域内的8个点可产生8bit的无符号数，即得到该窗口的LBP值，并用这个值来反映该区域的纹理信息。

b. 均匀LBP(uniform LBP)

传统LBP特征是得到一个8位的二进制编码，将其转换为10进制数之后，共有256个取值。但是，研究人员发现，在实际情况中LBP计算得到的8位的编码，90%以上的编码，他们的跳变不超过两次（即一串二进制数，从0到1或从1到0的改变次数不超过2次）。于是提出了，将改变两次以上的这些编码计为一个模式（都赋予同一个值），于是，均匀LBP的取值从原来的256种，变为了59种。

c.旋转不变模式LBP
为了解决因图片旋转而使LBP值改变的问题，又出现了旋转不变的LBP特征。其邻域点的选取不再是正方形，而是从一个半径为R的圆形区域统计纹理信息。这个R可以取小数，因其确定的非整数位置像素取值，由双线性插值得到。这样还不能解决旋转引起的问题，将得到的二进制编码，进行循环位移操作，选取其中的最小值作为LBP特征值，这样就得到了旋转不变的LBP特征。

d. 旋转不变的均匀LBP

均匀LBP特征值在原始LBP特征上做了降维操作，而选择不变LBP使LBP特征对图片的旋转具有更好的鲁棒性；而将两者结合既有降维的效果又具有旋转不变的特性，就是旋转不变的均匀LBP特征。其结合了两者的特性，采用圆形模板计算均匀LBP特征值，并通过对编码循环位移操作选取其中的最小值作为特征值。

e.LBP直方图特征
实际使用中，更多的是利于LBP的直方图统计特征进行分析。一幅图片通过LBP特征计算，产生一幅同样大小的LBP特征值图。选取一定大小的矩形区域，统计每个不同位置矩形区域的直方图，再将直方图根据所在位置串联，就得到了一个具有位置信息和纹理信息的全局特征，其中对每个局部直方图还可以根据一定的策略采取加权处理。

4. 基于LBP特征的扩展
DLBP（Double Local Binary Pattern）：关于降低LBP特征对噪声的敏感及解决LBP特征无法区分邻域数值是否相等的问题。

参见：《Background Subtraction Based on a Combination of Texture,Color and Intensity ICSP 2008》

STLBP（spatio-temporal local binary patterns）：用在视频序列中，考虑前后两帧的LBP特征，建立时间和空间相关的LBP特征模型。

参见：《Dynamic Background Modeling and Subtraction Using Spatio-Temporal Local Binary Patterns ICIP 2008》

VLBP：（volume local binary patterns）：用在视频序列中，利于多帧的加权LBP特征进行分析。

参见：《Dynamic Texture Recognition Using Volume Local Binary Patterns Workshop on Dynamical Vision 2007》