python opencv入门 直方图反向投影（24）

内容来自OpenCV-Python Tutorials 自己翻译整理

目标：

直方图反向投影

原理：

反向投影可以用来做图像分割，寻找感兴趣区间。它会输出与输入图像大小相同的图像，每一个像素值代表了输入图像上对应点属于目标对象的概率，简言之，输出图像中像素值越高的点越可能代表想要查找的目标。直方图投影经常与camshift（追踪算法）算法一起使用。

算法实现的方法，首先要为包含我们感兴趣区域的图像建立直方图（样例要找一片草坪，其他的不要）。被查找的对象最好是占据整个图像（图像里全是草坪）。最好使用颜色直方图，物体的颜色信息比灰度图像更容易被分割和识别。再将颜色直方图投影到输入图像查找目标，也就是找到输入图像中每一个像素点的像素值在直方图中对应的概率，这样就得到一个概率图像，最后设置适当的阈值对概率图像进行二值化。

numpy算法：

建立两幅颜色直方图，目标图像直方图（M），输入图像直方图（I）

import cv2
import numpy as np
from matplotlib import pyplot as plt
#roi图片，就想要找的的图片
roi = cv2.imread('3.jpg')
hsv = cv2.cvtColor(roi,cv2.COLOR_BGR2HSV)
#目标搜索图片
target = cv2.imread('33.jpg')
hsvt = cv2.cvtColor(target,cv2.COLOR_BGR2HSV)
#创建直方图
M = cv2.calcHist([hsv],[0,1],None,[180,256],[0,180,0,256])
I = cv2.calcHist([hsvt],[0,1],None,[180,256],[0,180,0,256])

计算比值：R=MI。反向投影R，根据R这个调色板创建新图像，每一个像素代表这个点事目标的概率。例如，B(x,y)=R[h(x,y),s(x,y)，其中H为点(x,y)的色调（hue）值，s为点（x,y）的饱和度（saturation）。最后加入条件B(x,y)=min([B(x,y),1]

h,s,v = cv2.split(hsvt)
B = R[h.ravel(),s.ravel()]
B = np.minimum(B,1)
B = B.reshape(hsvt.shape[:2])

使用圆盘算子做卷积，B=D×B，其中D为卷积核

disc = cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(5,5))#定义结构形状，5×5的椭圆
B=cv2.filter2D(B,-1,disc)#对图像进行卷积运算
B = np.uint8(B)
cv2.normalize(B,B,0,255,cv2.NORM_MINMAX)

其中函数cv2.getStructuringElement是定义结构元素，例如

element = cv2.getStructuringElement(cv2.MORPH_CROSS,(5,5)) 定义了一个十字形，5×5的结构



输出图像中灰度最大的地方就是目标位置。如果要找的是一个区域，可以使用一个阈值对图像二值化，这样能得到不错的结果。

ret,thresh = cv2.threshold(B,50,255,0)

opencv反向投影

函数 cv2.calcBackProject()直接实现反向投影，参数与cv2.calcHist基本一致。其中一个参数是要查找的目标的直方图。在使用目标直方图反向投赢钱应该进行归一化处理。返回结果是一个概率图像，然后进行圆盘形状卷积操作，再二值化。

roi区域图片



待搜索图片



结果

import cv2
import numpy as np
from matplotlib import pyplot as plt
#roi图片，就想要找的的图片
roi = cv2.imread('33.jpg')
hsv = cv2.cvtColor(roi,cv2.COLOR_BGR2HSV)

#目标搜索图片
target = cv2.imread('3.jpg')
hsvt = cv2.cvtColor(target,cv2.COLOR_BGR2HSV)

#计算目标直方图
roihist = cv2.calcHist([hsv],[0,1],None,[180,256],[0,180,0,256])
#归一化，参数为原图像和输出图像，归一化后值全部在2到255范围
cv2.normalize(roihist,roihist,0,255,cv2.NORM_MINMAX)
dst = cv2.calcBackProject([hsvt],[0,1],roihist,[0,180,0,256],1)

#卷积连接分散的点
disc = cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(5,5))
dst = cv2.filter2D(dst,-1,disc)

ret,thresh = cv2.threshold(dst,50,255,0)
#使用merge变成通道图像
thresh = cv2.merge((thresh,thresh,thresh))

#蒙板
res = cv2.bitwise_and(target,thresh)
#矩阵按列合并,就是把target,thresh和res三个图片横着拼在一起
res = np.hstack((target,thresh,res))

cv2.imwrite('res.jpg',res)
#显示图像
cv2.imshow('1',res)
cv2.waitKey(0)

效果很赞！